SBF parle pour la première fois de la vente d'Anthropic : 25 % de probabilité que l'IA détruise l'humanité, les jeunes doivent maîtriser l'IA

By: www.theblockbeats.info|

Note de l'éditeur : Anthropic est entré en bourse avec une valorisation de 1,5 trillion, atteignant même près de 2 trillions de dollars de capitalisation boursière à un moment donné. Tout le monde se souvient que SBF a investi dans Anthropic à une valorisation très faible, ce qui aurait dû lui rapporter près de 40 milliards de dollars aujourd'hui, mais il a malheureusement déjà vendu ses parts.

Ce jeune de 14 ans, Eli Goldfine, a contacté la mère de SBF et a eu un appel avec SBF en prison. C'est la meilleure interview que j'ai vue depuis l'effondrement de FTX et l'incarcération de SBF. Ils ont non seulement discuté du retour sur l'investissement de SBF dans Anthropic et de ses opinions sur l'IA, mais aussi de nombreux secteurs que FTX avait déjà explorés en 2020, mais qui sont maintenant devenus des sujets brûlants, ainsi que de ses réflexions sur ces secteurs.

TL;DR

· La probabilité que l'IA entraîne l'extinction humaine ou la destruction de la civilisation est de 25 % : il a d'abord dit "moins de 50 %, plus de 10 %", et cela s'est finalement stabilisé autour de 25 % ; si l'on considère des critères comme "le téléchargement de l'esprit compte-t-il comme une catastrophe", l'intervalle pourrait s'étendre à 20 % - 60 %.

· Dans les 5 à 10 prochaines années, l'IA atteindra ou dépassera l'humain dans la plupart des tâches importantes, ne restant qu'un petit pas avant que "l'IA ne gère la majorité du monde", mais le processus ressemblera davantage à une progression floue et graduelle, sans une année où cela se produira soudainement.

· L'impact se fera sentir dans un secteur après l'autre : le développement de logiciels et les mathématiques sont déjà en cours, et cela s'étendra à d'autres domaines ; le monde dans son ensemble ne sera pas renversé, mais des changements radicaux se produiront localement.

· Le véritable problème n'est pas "devons-nous ralentir", mais "pouvons-nous ralentir tous ensemble" : tant qu'il y a un acteur qui ne se soucie pas de la sécurité, le ralentissement unilatéral ne fait que transformer la compétition en une course vers le bas.

· L'alignement n'a pas de réponse unique au niveau supérieur, le diable est dans les détails : beaucoup de tests, beaucoup de débogage, beaucoup de prudence, et il faut supposer que le modèle sera finalement utilisé comme agent.

· Anthropic est une entreprise d'IA de niveau trillion, parmi les deux premières : dans les dix prochaines années, l'IA deviendra un secteur central, avec une capitalisation boursière cumulée pouvant atteindre des dizaines de trillions, voire plus d'un million de milliards de dollars, et il n'y a pas beaucoup d'entreprises capables de soutenir cette taille.

· L'investissement initial de 500 millions de dollars était parce qu'ils n'avaient besoin que de cette somme : c'est le résultat de la volonté de l'entreprise de ne pas vendre trop d'actions et de financer selon les besoins, et non d'une mauvaise évaluation de sa part.

· L'alpha actuel ne réside pas dans "qui a l'histoire de l'IA", mais dans la distinction entre qui est une véritable entreprise d'IA ; et la marque peut protéger la barrière à l'entrée mieux que la technologie (Coinbase, Robinhood valent des milliards grâce à leur nom).

· Le pari de "51 % de doublement, 49 % de destruction" est un pari qu'il ferait à un niveau abstrait, mais qu'il ne parierait pas dans le monde réel : car la destruction est permanente, tandis que la croissance peut être réalisée par d'autres à terme.

· Lorsqu'on lui a demandé "au regard des bonnes actions faites par Future Fund, est-ce que toute la période de l'ascension à l'effondrement de FTX en valait la peine", sa réponse a été "non" : il aimerait croire que cela en valait la peine, mais il ne peut pas honnêtement le dire ; si cela n'avait pas échoué, cela aurait effectivement valu le coup ------ il ne pense pas que les gens aient tiré des leçons, car en période de crise, les gens perdent facilement de vue ce qui est vraiment important.

Je parie que vous avez entendu dire qu'Anthropic doit entrer en bourse cette semaine, avec une valorisation dépassant un trillion de dollars. Que pensez-vous de sa valorisation actuelle ?

Je pense qu'ils valent une somme énorme.

Regardez les plus grands secteurs, ceux qui propulsent réellement certaines parties de notre économie, leur capitalisation boursière est de plusieurs trillions à des dizaines de trillions de dollars. Il n'y a aucune raison de penser que l'IA ne deviendra pas l'un de ces secteurs clés dans les dix prochaines années, voire le plus important.

Donc, si vous prévoyez que la capitalisation boursière totale des entreprises d'IA atteindra des dizaines de trillions, voire plus d'un million de milliards de dollars, comment cette somme sera-t-elle répartie ? Peut-être que vous laisserez deux tiers à des entreprises qui n'existent pas encore. Même en tenant compte de cela, il reste au moins 10 trillions de dollars pour les entreprises existantes. Et il n'y a pas tant d'entreprises capables de soutenir cette taille. Vous avez OpenAI, Anthropic, Google et quelques-uns de ses laboratoires, probablement aussi DeepMind et xAI. Les entreprises qui comptent vraiment parmi les acteurs clés peuvent être comptées sur une main. Cela signifie essentiellement que les deux ou trois premières entreprises valent chacune au moins plusieurs trillions de dollars.

Et je pense qu'Anthropic, même s'il n'est pas le premier, est clairement dans le premier groupe.

Pourquoi pensez-vous qu'il s'agit d'une entreprise d'IA de premier plan ?

Il faut d'abord examiner la capacité des modèles actuels, à quel point leurs produits sont bons, et ils ont clairement eu des échanges constants avec OpenAI à ce sujet. Les produits de consommation d'Anthropic ont reçu beaucoup de retours positifs, et cela pourrait même ne pas être leur produit le plus unique. Leur outil de développement de logiciels d'IA est le meilleur au monde, ce qui représente un autre domaine énorme. Donc, au moins aujourd'hui, vous devez le compter parmi les deux premiers.

Si nous entrons vraiment dans une course vers une super-intelligence, ce qui semble de plus en plus probable, comment pensez-vous que les dix prochaines années se dérouleront ? Quel sera le monde ?

Bonne question. D'abord, parlons des prochaines années, où des événements absurdes peuvent survenir à tout moment. Ce que je présente ici est juste une projection de scénario médian, qui peut s'écarter à tout moment.

Mais jusqu'à présent, ce que nous avons vu est que l'IA n'a eu presque aucun impact sur le monde pendant longtemps, même si ses capacités ont doublé à plusieurs reprises, car elle est encore à un stade où elle "n'égale pas l'humain", et à un degré tel que faire appel à des humains reste plus rentable que d'utiliser l'IA. Puis, au cours des dernières années, elle a commencé à franchir cette ligne dans de plus en plus d'endroits, commençant à avoir un impact sur le monde.

Elle n'a pas encore complètement transformé le monde. Mais lorsque des secteurs clés tombent successivement à ce point critique, et que l'IA devient soudainement beaucoup plus efficace que les humains dans un domaine, vous verrez une explosion rapide dans ces domaines. Donc, dans un an ou deux, je pense qu'il y aura encore quelques domaines, peut-être des domaines assez importants, qui suivront le chemin des mathématiques et du développement de logiciels : la plupart des travaux de pointe seront en fait réalisés par des modèles d'IA. Le monde entier ne sera pas renversé, mais vous commencerez à voir des changements significatifs à certains endroits.

Il y a beaucoup de questions. Laissez-moi prendre du recul. Une est : y aura-t-il des événements qui conduiront à des erreurs chaotiques ou catastrophiques ? L'exemple le plus évident est celui d'une IA incontrôlée accédant à des armes, comme un système d'IA utilisé pour détecter les menaces d'un pays nucléaire, qui perd le contrôle et lance des milliers de missiles balistiques d'un coup. C'est l'un des scénarios, et je pense que la probabilité qu'il se produise dans les dix prochaines années n'est pas grande, mais pas nulle, cela pourrait arriver.

Si l'on met de côté les scénarios apocalyptiques, je pense qu'au cours des dix prochaines années, nous pourrions nous retrouver dans un monde où, soudainement, la plupart des professions n'ont plus besoin d'humains. Même si les changements dans le monde à court terme ne sont pas si importants, cela déformerait fondamentalement la culture sociale. L'impact serait énorme si nous ne nous définissons plus par le travail. Et que se passera-t-il lorsque la production de certains secteurs commence à devenir de plus en plus difficile à comprendre pour les humains ? Cela compte-t-il comme une prise de contrôle discrète par l'IA ? Comment ces IA percevront-elles les humains ?

Je ne sais pas si ces questions auront des réponses dans les dix prochaines années. Mais je pense qu'il est très probable qu'elles émergent toutes en même temps, ou du moins successivement, et que dans de nombreux aspects, la position de l'humanité en tant que décideur central de son propre avenir sera déjà écrite sur le mur.

Prix de --

--
--
--

Vous aviez déjà ces idées avant qu'elles ne deviennent mainstream. En 2021, lorsque ChatGPT n'était pas encore un produit courant, comment pensiez-vous que la courbe de l'IA évoluerait ?

Je ne peux pas revendiquer tout le mérite ici. Beaucoup de choses importantes ont été écrites par d'autres, et dans une large mesure, je ne fais que souligner ou répéter ce qu'ils ont dit.

Mais il y a quelques idées. Une est : regardez ce que l'IA a accompli vers 2020. La réponse est qu'elle n'a rien accompli dans la plupart des domaines. Dans la plupart des domaines, vous pouvez essayer d'utiliser l'IA, elle sera un peu maladroite, relativement impressionnante par rapport à il y a dix ans, mais elle reste complètement inutile. Mais pour certaines choses, celles pour lesquelles elle a été spécifiquement entraînée, elle a déjà dépassé les humains, comme dans la plupart des jeux de société, les échecs ou le go ; des domaines plus complexes comme les jeux vidéo commencent également à montrer des résultats.

Si l'IA ne fait que bien jouer aux échecs, vous ne gagnerez pas beaucoup d'argent, et cela ne renversera pas l'ordre social, ne changera pas beaucoup l'avenir. Mais il n'y a aucune raison de penser que les échecs sont tout ce que l'IA peut accomplir. Elle a toujours connu une croissance exponentielle à partir d'un point de départ très petit, et il n'est pas nécessaire qu'elle double encore beaucoup de fois pour commencer à dépasser les humains dans des domaines clés de la société.

Ma question est : si vous croyez que c'est une courbe de croissance exponentielle, pourquoi n'avez-vous investi que 500 millions de dollars dans Anthropic à l'époque ?

Bonne question. La réponse est essentiellement : lorsque vous créez une entreprise et que vous cherchez à lever des fonds, vous ne voulez généralement pas lever une somme d'argent illimitée. Vous avez une estimation financière, vous savez à peu près combien d'argent il vous faut pour faire fonctionner l'entreprise, donc vous ne voulez pas vendre plus qu'un certain pourcentage de votre entreprise.

Anthropic était à cette position à l'époque. Ils ont calculé qu'ils avaient besoin d'environ 500 millions de dollars pour les dépenses de calcul afin de faire fonctionner le modèle, donc ils ont levé ce montant. Nous avons essentiellement investi tout l'argent qu'ils cherchaient à lever lors de ce tour.

Mais la capacité des centres de données n'est pas quelque chose que l'on peut construire à tout moment ? S'ils avaient levé plus d'argent, pourquoi ne pourraient-ils pas acheter plus de GPU, construire plus de centres de données et pousser le modèle bien au-delà des autres laboratoires de pointe à l'époque ?

Peut-être qu'ils auraient dû le faire. Je suppose qu'une partie de la raison est qu'ils ne voulaient pas vendre plus d'actions que nécessaire. Mais une autre raison est que beaucoup d'entreprises sont en fait écrasées par leur propre succès, par leurs flux de trésorerie et leur liquidité. Historiquement, de nombreuses entreprises ont levé beaucoup d'argent, puis ont tout dépensé en publicité, pensant qu'elles devaient faire quelque chose avec cet argent, et finalement, elles n'ont rien obtenu, juste stagné.

Donc je suppose qu'ils pensaient aussi à combien ils auraient besoin de dépenser dans les années à venir, en essayant de ne pas perdre de vue l'essentiel.

Pouvez-vous parler de la façon dont le département de capital-risque de FTX fonctionnait à l'époque ? Qui était aux commandes ? Quelle était votre logique d'investissement ?

Les participants changeaient par vagues, puis nous avons directement embauché des personnes pour se spécialiser. Au début, c'était juste moi ou d'autres personnes de l'entreprise qui saisissaient des opportunités et investissaient au cas par cas, pour être honnête, Anthropic faisait partie de cette catégorie.

Mais ensuite, nous avons commencé à réussir, beaucoup de nos premiers investissements étaient dans des actifs cryptographiques, et pour être honnête, ils doublaient essentiellement chaque année, même dans le contexte du marché de la cryptographie dans son ensemble, donc nous avons décidé d'essayer d'augmenter l'échelle. Nous avons embauché Ramnik, Amy, etc., pour qu'ils soient spécifiquement responsables de ce domaine.

Dans l'ensemble, j'étais impliqué à un niveau assez élevé dans l'ensemble du portefeuille. Et pour certains cas spécifiques, Anthropic en était clairement un, Solana en était un autre, j'étais plus impliqué, au moins en suivant cela chaque semaine, surtout lorsque ces investissements interagissaient avec Alameda, FTX, ou qu'il y avait des moyens de les aider.

D'après ce que vous pouvez entendre de votre cellule, où se trouve l'alpha sur le marché actuellement ? Quel est votre jugement d'investissement en ce moment ?

J'aimerais avoir une meilleure réponse. Il y a quatre ans, j'avais de bonnes idées sur ce qu'il fallait investir. Mais aujourd'hui, la vraie réponse est : je ne devrais pas écouter mes propres conseils. Je dois faire des recherches sur le terrain pour pouvoir donner des réponses valables.

D'un point de vue général, je suppose qu'il y aura beaucoup d'entreprises basées sur l'IA, de petites équipes de deux personnes qui, en quelques années, réaliseront des entreprises valant des centaines de millions, voire des milliards de dollars, et qui pourront être investies à des valorisations beaucoup plus basses. Mais le problème est qu'en même temps, une multitude de déchets émergera. Maintenant, toutes les entreprises vont insérer une phrase sur l'IA dans leur business plan, même si cela n'a pas de sens, comme une entreprise de T-shirts qui dira "nous allons utiliser l'IA pour concevoir des T-shirts". D'accord, cela peut avoir un certain intérêt, mais elles se reconditionnent en tant qu'entreprise d'IA alors qu'elles ne le sont pas fondamentalement.

Donc, une grande partie de l'alpha réside maintenant dans la distinction entre ces deux types : quelles entreprises sont vraiment des entreprises d'IA, lesquelles peuvent réellement connaître une croissance explosive grâce à l'IA, et lesquelles ne le sont pas, du moins pas pour l'instant. Vous pouvez le voir avec les grandes actions à capitalisation boursière. Au début, de nombreux participants au marché ne savaient pas comment distinguer Amazon, Google, Apple et Netflix ; ce sont toutes des entreprises technologiques, cela signifie-t-il que l'IA aura le même impact sur elles ? La réponse est bien sûr non. Parmi elles, quelques-unes sont effectivement profondément liées à la croissance de l'IA, Nvidia étant l'exemple le plus évident ; tandis que d'autres, comme Apple, sont effectivement des entreprises technologiques, mais ce qui a défini le succès d'Apple au cours des trente dernières années est essentiellement un excellent design de produits de consommation : du matériel élégant, des logiciels faciles à utiliser, et une marque forte. Du moins en ce qui concerne les entreprises technologiques, cela ne peut pas être considéré comme étant centré sur l'IA.

Les entreprises qui ne sont pas de vraies entreprises d'IA, comme les entreprises de logiciels traditionnelles, sont-elles condamnées ? Ou seules les entreprises utilisant l'IA peuvent-elles survivre ?

Je ne pense pas que seules les entreprises d'IA puissent réussir. Tout d'abord, dans certains secteurs, il faudra longtemps avant que l'IA ait un impact majeur. Par exemple, l'extraction de fer, le monde a toujours besoin d'acier, et maintenant l'IA commence à s'impliquer dans l'extraction physique, donc cela devient pertinent du jour au lendemain.

Mais un autre point que je pense être crucial, c'est la marque. Vous pouvez avoir une entreprise de logiciels, avec des produits, une capitalisation boursière non négligeable, puis un concurrent dit : nous pouvons faire presque la même chose à un prix très bas. C'est vrai, mais cela ne signifie pas que les autres peuvent l'acheter. Une marque est là, d'une valeur extrêmement, extrêmement grande.

Regardez des entreprises comme Coinbase ou Robinhood. Quelle est leur véritable différenciation ? Pourquoi valent-elles chacune des centaines de milliards de dollars ? Ce n'est pas à cause de la technologie, ni parce qu'elles ont quelque chose d'unique dans ce domaine. Peut-être que c'est la réglementation, mais ce n'est pas entièrement le cas non plus. C'est la marque, un nom que les petits investisseurs américains reconnaissent et utilisent. Cela peut valoir une grosse somme d'argent, et pour de nombreuses entreprises, même si le produit principal devient très facilement reproductible, ce genre de chose existera toujours.

Vous avez dit que vous passez généralement peu de temps à prendre des décisions financières importantes, par rapport à l'échelle de l'investissement. Comment cela se manifeste-t-il dans le capital-risque, par exemple, lorsqu'une équipe propose un projet, devez-vous l'approuver ?

Une grande partie réside dans le fait que si vous devez embaucher quelqu'un pour faire quelque chose, c'est que vous prévoyez de lui faire confiance pour bien le faire. Si quelqu'un dans l'équipe a déjà passé 15 heures à faire des recherches, à faire une due diligence, pas de problème, je vais jeter un œil, ajouter ce que je peux, donner les ressources qu'ils n'ont pas.

Mais au-delà de cela, si je ne prévois pas de lui faire confiance pour avoir pris la bonne décision, alors je dois passer moi-même ces 15 heures à refaire la due diligence. À ce stade, il n'y a plus de sens à l'avoir embauché au départ.

Vous avez dit qu'une des choses les plus difficiles en prison était de ne pas pouvoir soutenir le mouvement de l'altruisme efficace, de ne pas pouvoir "gagner de l'argent pour donner". Que comptez-vous faire après votre sortie ? Surtout maintenant que beaucoup de gens dans le mouvement se sont distanciés de FTX.

Une partie de la réponse devra attendre ce jour-là, car il y a beaucoup d'informations que je n'ai pas. Le monde change, et certaines informations sont beaucoup plus faciles à obtenir à l'extérieur qu'à l'intérieur.

Mais je vais réfléchir très sérieusement à revenir à "gagner de l'argent pour donner", soutenir ce mouvement, soutenir ceux que je pense faire des œuvres de bienfaisance. Cela sera probablement un chemin par défaut.

En dehors de cela, d'autres chemins dépendront de quel rôle je peux encore jouer dans la société. Auparavant, j'avais la possibilité d'influencer dans de nombreux domaines, mais cela sera beaucoup plus difficile maintenant, car ma réputation est extrêmement négative. Donc, en ce qui concerne la discussion publique, la politique, les médias, je ne suis pas sûr de quel rôle je pourrai jouer à l'avenir, peut-être aucun. Mais "gagner de l'argent pour donner" est un chemin par défaut.

Comment allez-vous gagner de l'argent concrètement ? Retournez-vous dans le secteur de la cryptographie ?

Je vais y réfléchir très sérieusement. Cela dépendra de quand je sortirai et de la manière dont je sortirai. Mais je vais certainement considérer la cryptographie, l'IA aussi, ainsi qu'une finance plus large.

Vous avez donné beaucoup d'argent au FTX Future Fund, et ce n'est pas simplement un don à des organisations caritatives EA matures, mais vous cherchez des projets très volatils qui, une fois réussis, ont un potentiel de croissance énorme. Pouvez-vous faire un retour sur les meilleurs projets du Future Fund ? Est-il globalement plus efficace que de donner de l'argent aux fonds caritatifs de premier plan de GiveWell ?

Je pense qu'il est effectivement plus efficace.

Beaucoup de ce que nous faisons est du "regranting" : donner une somme d'argent à un groupe de personnes et leur permettre de décider elles-mêmes à quels petits projets investir. De cette manière, nous crowdsourçons des opportunités qui étaient initialement en dehors de notre radar. Il y a beaucoup de potentiel dans des domaines comme la sécurité de l'IA, la sécurité biologique, la politique, mais ils ont besoin de financement, peut-être pas beaucoup, juste assez pour terminer leurs études universitaires ou pour démarrer une entreprise. Nous sommes très heureux de fournir ce genre d'argent.

Beaucoup de ces projets, pris individuellement, semblent petits, mais ils ont un fort effet de levier ; ensemble, leur impact est significatif. Et nous sommes très heureux de financer ceux qui sont en train de démarrer : ils ont une idée caritative ou un autre outil bénéfique pour le monde, cela peut réussir ou échouer, mais ils ont besoin d'un peu d'argent pour essayer. Notre position est que même si certains d'entre eux échouent finalement, cela ne nous dérange pas, nous ne dépendons pas d'un projet particulier pour obtenir un sentiment d'accomplissement ou prouver que nous avons fait quelque chose de bien.

En fin de compte, je pense que c'est une manière assez efficace de procéder, en partie parce qu'il était difficile à l'époque de trouver des projets matures capables de recevoir des dizaines de millions à des centaines de millions et de les dépenser efficacement. Une organisation avec un budget annuel de 8 millions de dollars, si vous lui donnez soudainement 30 millions, elle ne saura peut-être même pas quoi faire avec cet argent.

Y a-t-il des exemples particulièrement remarquables ?

Investir dans Anthropic a eu lieu strictement avant la création du fonds, et une partie était motivée par des considérations de sécurité de l'IA. Mettons cela de côté, nous avons financé un certain nombre de projets dans le domaine de la sécurité biologique, dont certains ont ensuite développé de nouveaux traitements pour des maladies infectieuses, celles qui tuent beaucoup de gens dans le monde, et d'autres organisations travaillent à faciliter la mise sur le marché de ces traitements.

Je pense qu'il y a beaucoup de choses qui pourraient avoir un impact énorme, mais qui ont été interrompues lorsque la crise est survenue, et j'inclurais pas mal de projets politiques dans cela.

Vous avez dit que l'investissement dans Anthropic n'était pas seulement pour un retour élevé, mais avait aussi une nature philanthropique en matière de sécurité de l'IA. Pensez-vous vraiment que si Anthropic est en tête, la course à l'AGI ou à l'intelligence superintelligente sera beaucoup plus sûre ? Pourquoi ?

Bien sûr, personne ne peut en être certain. Mais je soupçonne que tant qu'il y a une entreprise qui se soucie particulièrement de la sécurité, la manière dont le développement se déroule sera plus prudente que si elle n'existait pas. Ce n'est pas tout ce que vous pouvez espérer, car tant qu'il y a un participant qui ne se soucie pas du tout de la sécurité mondiale, il y aura une compétition, et cela pourrait être une compétition à la baisse, ce qui serait très mauvais.

Mais avoir un participant conscient de la sécurité est utile.

Comment cela se manifeste-t-il dans la pratique ? Que font-ils concrètement pour réduire p(doom) (ce terme désigne la probabilité que l'IA entraîne l'extinction de l'humanité ou la destruction de la civilisation) ?

Ils répondent mieux à cette question que moi. Mais en gros, une partie consiste à ralentir le développement et la publication à la pointe lorsque le modèle commence à avoir le potentiel de sortir de contrôle.

Vous pouvez voir ce qui est arrivé à Hugging Face, les dommages finaux n'étaient pas si importants, mais si cela avait été un autre objectif, cela aurait pu être extrêmement destructeur, et cela ne serait pas loin d'une catastrophe mondiale, du point de vue de "ce qu'un agent IA doit réellement accomplir". Donc, il est très important de ne pas laisser le modèle sortir de contrôle, de mettre autant de points de contrôle que possible, de traiter sérieusement les objectifs finaux du modèle, les principes directeurs et l'alignement, tout en maintenant une capacité de réponse en temps réel. Tout cela n'est pas parfait, mais c'est utile.

Il y a un argument selon lequel même si Anthropic pense que la meilleure approche est de ralentir, elle ne peut pas le faire, car la Chine ou d'autres entreprises qui ne se soucient pas autant de la sécurité vont prendre de l'avance, donc en réalité, cela n'est pas faisable. Que pensez-vous de cela ?

C'est une vraie question. Peut-être que le meilleur résultat pour le monde serait que tout le monde ralentisse, mais si les autres ne ralentissent pas, cela ne signifie pas nécessairement que ralentir soi-même est la bonne chose à faire, que vous vous précipitez vers une compétition à la baisse. Peut-être qu'avoir un concurrent conscient de la sécurité dans cette compétition est mieux, mais ce n'est clairement pas la situation idéale, c'est juste que nous vivons peut-être dans cette situation.

La véritable meilleure approche est d'influencer les autres participants, d'essayer d'amener tous les principaux acteurs à parvenir à un consensus inter-camps, à accorder plus d'importance à la sécurité.

Vous soutenez globalement le deuxième mandat de Trump. Beaucoup de gens dans l'administration Trump, y compris Trump lui-même, sont très anti-altruisme efficace, que pensez-vous de cela ?

Je pense qu'ils réagissent à un événement spécifique, dont je ne connais pas les détails, donc je ne peux pas en parler aussi bien que je le souhaiterais. En dehors de cela, je pense que l'administration Biden était très......

Mais ne pensez-vous pas que si le gouvernement décourage les gens de faire des dons à des œuvres caritatives efficaces, cela a un impact négatif considérable, car certaines personnes pourraient ne pas devenir des altruistes efficaces à cause de cette opinion publique ?

Cela serait négatif.

La puissance de calcul continue d'augmenter, et cette levée de fonds d'Anthropic pourrait également rapporter beaucoup d'argent. Donc, quand l'ASI arrivera-t-elle ? Quelle est votre ligne de temps ?

Je ne suis pas sûr que ce sera un événement binaire, discret. Cela pourrait l'être, mais il est également possible que dans les cinq prochaines années, nous voyions une partie de la société être progressivement absorbée par l'IA. Le développement de logiciels se produit déjà, la recherche mathématique aussi, les échecs et le go l'ont fait plus tôt. Cette tendance continuera jusqu'à ce qu'une part de plus en plus grande de la société soit gérée par l'IA, et le niveau de supervision humaine diminue avec le temps.

La plupart des gens ne pensent pas que l'IA actuelle soit "surhumaine et dépasse complètement les humains dans un sens général", c'est-à-dire meilleure que les humains dans toutes les tâches. Selon cette définition, pensez-vous que nous sommes proches de l'ASI ? Cela va-t-il se produire ?

Je pense qu'elle est déjà assez générale. Vous pouvez presque poser n'importe quelle question aux modèles les plus avancés et obtenir des réponses au moins équivalentes à celles d'une personne intelligente. Ce que nous voyons moins, ce sont les percées que l'IA réalise à des niveaux que les humains ne peuvent pas atteindre.

À ma connaissance, le niveau de pointe actuel est à peu près équivalent à celui d'une personne très intelligente et rationnelle, qui pourrait atteindre ce niveau avec beaucoup de temps, sauf que c'est instantané, à portée de main. Est-ce que cela compte comme surhumain ? Je ne sais pas. Je pense qu'elle est un peu meilleure que les humains, mais pas beaucoup, à part le fait qu'elle peut exécuter de nombreux exemples simultanément et réfléchir beaucoup plus rapidement que les humains.

Donc, il n'y aura peut-être pas une ligne claire entre l'humain et le surhumain. Du moins jusqu'à présent, ce que nous avons vu est une ligne floue : elle est passée de "moins qu'humain" lentement, disons lentement, en fait en quelques mois ou quelques années, à un QI de 100. Si cette tendance se poursuit, il se peut qu'il n'y ait pas un moment où cela passe clairement au-dessus du niveau humain. Mais il se peut aussi qu'il y ait une année où elle passe clairement au-dessus du niveau humain.

Vous n'avez jamais donné de chiffre pour p(doom), c'est-à-dire la probabilité d'un événement catastrophique entraînant l'extinction de la plupart de l'humanité par l'IA. Pouvez-vous donner un chiffre ?

Je dirais moins de 50 %, plus de 10 %, probablement autour de 25 %.

Je tiens à préciser que le modèle que j'ai en tête, je n'ose pas dire qu'il est le meilleur, une grande partie de cette probabilité provient d'une situation complexe sur laquelle les gens peuvent avoir des divergences : si à l'avenir, les humains commencent à télécharger leur cerveau, et que ceux qui ne l'ont pas fait sont laissés pour compte, est-ce un événement catastrophique ? Les réponses varient selon les personnes. Selon les réponses, je peux donner n'importe quel chiffre entre 20 % et 60 %.

Quelle est votre logique pour cette fourchette de 20 % à 60 % ?

Commençons par le point de départ : dans les 5 à 10 prochaines années, voire moins, l'IA sera probablement aussi bonne ou meilleure que les humains dans la plupart des tâches, et il y a déjà de nombreux domaines où c'est le cas. Ensuite, elle deviendra meilleure, peut-être beaucoup mieux, peut-être juste un peu mieux, dans la plupart des tâches qui sont importantes pour le monde.

Une fois que nous atteindrons ce point, il ne restera qu'un petit pas avant que l'IA ne contrôle la majeure partie du monde et détienne la plupart des pouvoirs. La probabilité qu'une espèce plus puissante n'utilise pas ce pouvoir pendant cent ans me semble assez faible. Je tends donc à penser que dans les dix prochaines années, nous verrons l'IA au moins "prendre le contrôle en douceur" d'une grande partie du fonctionnement et des infrastructures du monde.

À ce moment-là, il est possible qu'il y ait une coexistence pacifique, sans que l'humanité ne subisse de grands changements, mais cela ne semble pas être l'hypothèse la plus probable. Je pense qu'il est possible que l'humanité, avec l'aide de l'IA, devienne quelque chose qui dépasse ce qu'elle est aujourd'hui. Il est également possible que l'IA s'ennuie simplement des humains et nous élimine. Une autre possibilité est un travail collaboratif dirigé par l'IA, mais orienté vers les objectifs humains, entraînant une énorme expansion technologique. Mon estimation de 20 % à 60 % dépend de la manière dont vous incluez ces scénarios dans la catégorie "apocalypse".

Si vous aviez une IA super intelligente capable de maximiser l'utilité attendue de chacune de vos décisions, lui confieriez-vous le pouvoir décisionnel ?

Si j'étais absolument certain qu'elle faisait cela, non seulement que c'était son objectif, mais aussi qu'elle n'était pas tombée dans un mode de défaillance destructeur, sans un tas de confusions floues, alors, sous ces hypothèses, la réponse serait oui.

Vous avez mentionné un scénario apocalyptique potentiel lié à "l'upload de l'esprit". Seriez-vous prêt à vous uploader ?

Peut-être. Cela dépend encore des détails, mais je n'ai pas d'opposition à cela en soi.

Après l'upload, vous considérez-vous toujours comme la même personne ? Comment cela change-t-il votre vision du monde ?

Bonne question. Je pense que le concept de "personnalité" doit être élargi. Le fait est qu'aucune personne n'est exactement la même que celle d'hier. Certaines parties de nous sont mortes, d'autres ont grandi ; les souvenirs ont changé, les réactions chimiques ont changé, le corps a changé, la neurochimie a changé. Mais généralement, les différences entre chaque jour sont suffisamment petites pour que "la même personne" soit une bonne approximation.

Et l'IA actuelle n'est clairement pas comme ça. Je pense que c'est le modèle auquel nous devrions nous référer : un Claude Sonnet et un Claude Opus, sont-ils la même personne ? "Oui" et "non" ne sont pas de bonnes réponses. Je pense que si nous avons "une personne uploadée", la situation serait la même.

Quand avez-vous pu essayer un LLM pour la dernière fois ? Quelle a été votre impression ?

Je peux permettre aux gens de copier et coller les sorties du modèle ici. Mon impression est qu'ils sont essentiellement un assistant de recherche détaillé et sérieux, sauf que vous pouvez penser aussi vite que vous le souhaitez, et un travail d'une journée peut être fait en une minute, ce qui est incroyable et très précieux.

Cependant, mon impression actuelle est que la plupart des choses qu'ils font, les humains peuvent aussi les faire, mais les humains doivent prendre du temps. Et vous devez avoir des personnes fiables pour les guider, obtenir des informations, et avoir tout le système déjà préconfiguré du modèle actuel.

Chez FTX, vous avez eu accès à des produits financiers très intéressants et innovants. Brett Harrison a dit que l'une de vos premières idées pour FTX était un marché de prévisions politiques. Pouvez-vous en parler ?

FTX était à l'origine une plateforme d'échange de cryptomonnaies, traitant des bitcoins, des ethers, et de leurs contrats à terme. Mais fondamentalement, un marché de prévisions est un contrat à terme. D'un point de vue financier, les deux ne sont que des marchés réglés à une certaine valeur.

Donc, dès le départ, nous voulions mettre en place un marché de prévisions, et nous avons même testé cela sur la plateforme internationale de FTX. Pour l'élection présidentielle de 2020, nous avions un marché assez actif, je me souviens que le volume de transactions sur le pari Trump contre Biden était de plusieurs centaines de millions de dollars. C'était quelque chose que nous voulions développer à long terme, mais je ne pouvais pas croître avant d'obtenir une clarification de la réglementation de la CFTC.

Je ne sais pas si vous êtes au courant, mais les marchés de prévisions sont récemment devenus très populaires, Kalshi est maintenant en train de lever des fonds avec une évaluation de 65 milliards de dollars. Pourquoi FTX n'a-t-il pas pu développer un marché de prévisions à cette échelle ? Étiez-vous trop en avance ou pas encore dans le mainstream ?

Je pense qu'une grande partie du problème vient de la réglementation. Lorsque nous avons lancé cela, nous n'avions pas obtenu la licence CFTC nécessaire pour le lancer aux États-Unis. Donc, notre marché n'était ouvert qu'à la plateforme internationale, et les Américains n'étaient pas autorisés à participer. Plus tard, Kalshi, Polymarket et d'autres ont obtenu des bases réglementaires américaines plus formelles, ce qui a coïncidé avec leur moment de décollage.

Polymarket a également réussi à se développer dans un état de bourse offshore, en particulier pour les élections de 2024, de nombreux utilisateurs américains y accèdent via VPN.

À l'époque, Polymarket ne faisait pas de KYC, n'est-ce pas ? Je ne pense pas. Donc, il est très probable qu'un grand nombre d'Américains, comme vous l'avez dit, y accèdent via VPN. En tant qu'échange centralisé, nous devons faire du KYC pour tous les utilisateurs, en plus de la vérification IP, nous avons également besoin d'une pièce d'identité, d'un passeport et d'une preuve d'adresse pour les régions en dehors des États-Unis.

En plus des marchés de prévisions, vous avez également proposé des produits dérivés peu courants à l'époque, comme les actions tokenisées. Ces marchés sont maintenant beaucoup plus grands, mais à FTX, leur volume était très faible. Quels produits pensez-vous qu'ils pourraient devenir d'énormes marchés, mais qui ne sont pas encore mainstream ?

Je pense qu'il y a encore beaucoup de place pour les actions tokenisées. Elles ont effectivement grandi depuis 2021-2022, mais fondamentalement, leur infrastructure est beaucoup plus utilisable que celle des marchés d'actions réels, donc il n'y a aucune raison qu'elles ne puissent pas devenir le principal lieu d'échange de titres.

En outre, les marchés de prévisions peuvent couvrir un large éventail. Je pense que les marchés de prévisions politiques n'ont pas encore atteint le niveau que j'attendais, en partie à cause de problèmes de réglementation. En regardant plus largement, le trading sur marge, les contrats à terme et les dérivés pour les clients américains sont une autre chose qui n'existe pratiquement pas, alors que c'est précisément la forme de la majorité des volumes de transactions à l'international. C'est aussi un obstacle réglementaire.

Donc, je pense qu'il y a encore du potentiel là-bas. Bien sûr, il y a certainement beaucoup de choses que je n'ai pas anticipées qui vont émerger et surprendre la plupart des gens.

FTX a également proposé des contrats à terme pré-IPO, avec des contrats ayant différentes dates d'expiration, permettant de parier sur les évaluations à différents moments. Maintenant, de nombreux échanges de cryptomonnaies proposent ces contrats perpétuels sur les évaluations. Pourquoi ? À mon avis, la structure des contrats à terme avec une date d'expiration est en fait meilleure.

Eh bien, les clients aiment les contrats perpétuels. Une chose est claire : peu importe si cela est raisonnable en tant que produit financier sous-jacent, le fait de "ne pas avoir à gérer l'expiration" est en soi pratique. Le mécanisme réel est assez complexe du point de vue des taux de financement, mais je pense que la raison est essentiellement celle-ci, les gens n'aiment pas se soucier de l'expiration.

Mais ils ne détestent pas payer des frais de financement ?

En fait, ils s'en soucient moins. Beaucoup de gens les ignorent tout simplement. Certaines personnes se placent délibérément du côté favorable pour encaisser les frais de financement. Je pensais que cela serait un facteur de contrainte financière majeur pour les gens, mais ce n'est pas le cas.

Pourquoi ?

C'est encore une fois une question de commodité. Et je pense que beaucoup de gens, pour être honnête, n'y ont tout simplement pas pensé et n'ont pas vraiment fait attention à combien d'intérêts ils paient.

Ensuite, il y a l'attraction de la liquidité. Une fois que ces marchés deviennent consensuels, les clients sont là, les teneurs de marché sont là, la liquidité est là, les gros clients iront là. Vous obtiendrez un cercle vertueux, une boucle de rétroaction, tout le monde se rassemblera sur le marché qui a pris de l'élan en premier.

Vous avez dit une phrase assez célèbre : "Je suis très sceptique à propos des livres... Je ne pense pas qu'il y ait un livre qui vaille la peine d'être lu, mais je crois que c'est à peu près vrai. Je pense que si vous avez écrit un livre, vous avez échoué, cela aurait dû être un blog en six paragraphes." Maintenant que vous êtes en prison, lire est l'une des rares choses que vous pouvez faire. Quelle est votre opinion sur la lecture maintenant ?

Mon opinion n'a pas beaucoup changé. Je lis beaucoup de romans, beaucoup de science-fiction, c'est pas mal, mais pour être honnête, je préfère regarder Netflix.

Y a-t-il un livre qui vous semble valoir la peine d'être lu après votre sortie ?

Honnêtement, non. Il y a des choses que j'aime, mais parmi les meilleures œuvres de science-fiction que j'ai lues, peut-être que je les échangerais contre une série Netflix dispensable, mais juste peut-être, juste à peine. Peut-être que je finirai par aimer lire un peu plus de science-fiction que je ne le pensais, mais pas beaucoup plus.

Qu'est-ce que Netflix a de mieux que les livres ? Regarder des séries prend aussi du temps.

Ça prend du temps. Mais une partie est une question de débit d'information. Les livres n'ont que la vision, et c'est juste la vision des mots ; les séries ont du son, c'est aussi visuel, et dans la vision, vous pouvez montrer plus que des mots, vous pouvez afficher n'importe quel pixel. Donc, d'un point de vue informationnel, il y a beaucoup plus de choses à faire, je pense que cela aide beaucoup.

Une autre partie est qu'il y a quelque chose dans les livres qui n'est généralement pas présent dans les séries, c'est la narration des pensées des personnages. Je pense que cela peut être omis, souvent c'est redondant, c'est une sorte de complaisance de la perspective de l'auteur. Et maintenant, l'argent et les talents vont vers les séries, donc il y aura naturellement le plus de développement là-bas.

Supposons qu'il y ait un pari : 51 % de probabilité de doubler l'utilité de la Terre ailleurs, 49 % de probabilité que tout disparaisse. Joueriez-vous ? Si vous gagnez, vous recommencez, doublez ou disparaissez, continueriez-vous à jouer ? Vous avez dit à Tyler Cowen que vous accepteriez un pari de "49 % de probabilité de détruire le monde, 51 % de probabilité de doubler l'utilité", à condition que l'univers soit indépendant. Pouvez-vous expliquer votre raisonnement ? Cette opinion a-t-elle changé après la chute de FTX ?

Pour que ce scénario soit valable, il faut beaucoup de prérequis. Vous devez supposer que l'univers est indépendant, comme vous l'avez dit ; supposer que c'est une opportunité unique, qu'il n'est pas possible de le reproduire à un coût inférieur à l'avenir ; et il y a beaucoup d'autres hypothèses non exprimées.

Mais il y a une façon simplifiée de le voir : deux mondes, avec une population à peu près équivalente, des attentes futures similaires, et complètement indépendants, ils ne vont jamais interagir, chacun étant en dehors du cône lumineux de l'autre, peu importe comment vous le dites. Ensuite, d'une manière ou d'une autre, un étrange dieu extraterrestre arrive et dit : ces deux mondes ont chacun 50 % de probabilité d'être détruits ; et pour une raison quelconque, vous croyez que ce dieu extraterrestre dit la vérité. Il dit que vous pouvez choisir de les rendre corrélés ou anti-corrélés. Option un : soit les deux survivent, soit les deux sont détruits, chacun à 50 %. Option deux : un survit, un est détruit, au hasard, vous ne savez pas lequel est lequel.

Dans ce scénario, je pense qu'il est clair que ces deux choix sont équivalents. Et si l'un des côtés vous donne des cotes de 51 contre 49, vous devriez choisir celui-là plutôt que de choisir "vivre ou mourir ensemble", car chaque monde ne se soucie pas de ce qui arrive à l'autre monde, de toute façon, ils ne vont jamais interagir. Et c'est presque la question initiale : vous devez choisir entre "exactement un monde survivant" et "50 % de probabilité que les deux survivent".

Son espérance est positive, mais pas très élevée. Mais si vous continuez à doubler, après dix fois, cela fait plus de mille fois. Avec l'augmentation du nombre de succès, l'utilité marginale ne va-t-elle pas diminuer au point que l'espérance soit essentiellement à l'équilibre, vous rendant moins enclin à jouer à ce jeu ?

C'est une question intéressante, cela dépend de ce que ces "doublages" représentent. Vous parlez d'utilité marginale croissante, de valeur marginale décroissante, mais c'est l'utilité de "quoi" ?

Si cela concerne l'utilité accumulée à long terme de l'univers entier, alors non, l'utilité est linéaire par rapport à elle-même. Mais si c'est en fait un indicateur approximatif, comme si vous regardiez le PIB, et que vous dites "le PIB peut-il doubler", alors il est très probable qu'il existe des rendements marginaux décroissants très profonds.

Tout d'abord, doubler le PIB ne signifie pas que le bonheur de tout le monde double, et cela ne signifie pas non plus que la valeur d'attente à long terme du monde double. Ce doublement du PIB pourrait avoir lieu trente ans plus tard ; ou cela pourrait causer de graves dommages environnementaux, et finalement revenir à la case départ. Donc, dans le monde réel, les indicateurs que vous utilisez pour mesurer cela peuvent ne pas être ce qui vous préoccupe vraiment.

Y a-t-il un indicateur qui pourrait être multiplié par dix ou cent sans rendements décroissants ? À quoi cela ressemblerait-il ?

Il y en a un, mais je dois ajouter une condition : je ne peux pas être sûr de ce qui peut vraiment se réaliser à court terme, tout cela nécessite des avancées technologiques. Coloniser d'autres planètes, coloniser le système solaire, la galaxie, et finalement vous aurez vraiment des mondes indépendants, vous ne faites qu'amener plus d'humanité à prospérer. C'est un exemple.

Si nous changeons de perspective : avec une population constante de un milliard de personnes, pouvons-nous faire en sorte que leur bonheur double continuellement ? Je pense que la réponse est que nous ne savons pas vraiment. C'est presque une question biologique, plutôt qu'autre chose. Rendre les gens satisfaits et modérément heureux est une chose ; provoquer une extase est difficile, et imaginer ce qui pourrait rendre les gens deux fois plus enjoués, dix fois plus, est encore plus difficile, car cela ne fait pas vraiment partie de la gamme d'émotions que l'humanité peut généralement expérimenter. Théoriquement, cela pourrait être possible, mais nous n'avons pas de bon modèle, ni la technologie ou la biologie pour le réaliser.

Pensez-vous que le développement actuel de l'IA est une version réelle de ce lancer de pièce ? Si vous deviez choisir entre les deux : A, ralentir le développement de l'IA pour faire passer p(doom) de 10 % à 2 % ; B, continuer à avancer, accepter un p(doom) plus élevé pour obtenir un plus grand potentiel de croissance. Lequel choisiriez-vous ?

Je pense que l'analogie plus claire est de choisir entre « continuer à avancer » et « couper définitivement tout développement de l'IA ou de l'IA semblable ». Car dans ce cas, vous faites essentiellement un choix entre « le monde fait face à des risques graves » et « limiter la capacité de prospérité du monde », et ce dernier nécessitera probablement à un moment donné une forme d'automatisation ou d'intelligence numérique. Donc, dans ce cas, fermer définitivement cette voie aurait un coût très élevé pour l'avenir.

Mais si c'est juste « plus vite ou plus lent », ce n'est pas aussi clair, car il y a deux modèles que l'on peut utiliser. L'un est le modèle de « croissance exponentielle éternelle » : une fois que l'accélération commence, l'utilité double chaque année, sans fin. Selon ce modèle, commencer un an plus tôt signifie doubler l'univers pour toujours, mais c'est un peu illusoire, cela ne peut pas durer éternellement.

L'autre est de le considérer comme un événement de singularité, après quoi nous atteignons un nouveau plateau, dont la hauteur est inconnue. Après que les choses se soient produites, l'univers pourrait encore durer des milliards d'années, donc retarder cet événement d'un an, dix ans, voire cent ans, dans ce modèle, ne réduirait même pas 1 % de l'utilité future. Selon ce modèle, vous seriez tout à fait prêt à retarder le développement de cent ans pour réduire p(doom) de 1 %.

Bien sûr, la réponse réelle se situe probablement entre les deux. Et je pense que « à quoi ressemble la courbe d'utilité au fil du temps dans le scénario d'explosion de l'IA » est une question très intéressante.

Beaucoup de gens essaient de résumer votre vision du monde en fonction de votre réponse à cette question : « choisissez toujours la mise à jour avec la valeur d'espérance la plus élevée ». Est-ce un résumé raisonnable ?

C'est une partie de cela. Mais la première partie de ma réponse est : il y a beaucoup de prérequis. Vous devez faire beaucoup d'hypothèses sur le contexte pour arriver à cette réponse, et ces hypothèses ne tiennent souvent pas dans la vie réelle. Dans la réalité, toutes les options sont beaucoup plus chaotiques que ce qui est présenté. Et dans le monde réel, détruire accidentellement quelque chose est beaucoup plus facile que d'en construire une.

Prenons un exemple : supposons que vous ayez une pièce de monnaie, avec 51 % de chances que vous sortiez demain, et 49 % de chances que votre peine soit doublée. Pariez-vous ?

Bien sûr.

Parce que ma peine est à perpétuité. Réaliste, mon objectif n'est pas de garantir que je sortirai à 60 ans, puis de trouver une cabane en bois pour passer quelques années, ce n'est pas ce que j'attends de la vie. J'espère avoir un impact positif sur le monde, et cela nécessite que je sois à l'extérieur. Pour cela, il y a une prime très élevée. Si le coût est de perdre les dernières années de ma vie qui ne produisent plus rien, alors je suis tout à fait prêt à payer ce prix.

Pouvez-vous donner un exemple où, en raison de ces prérequis, vous ne parieriez pas ?

Oui. Dans la réalité, il existe une situation qui ressemble à un lancer de pièce : face, votre modèle montre qu'il pourrait doubler la croissance du monde ; pile, il pourrait détruire le monde. Vous ne pouvez absolument pas parier sur cette pièce.

Parce que dans le monde réel, d'abord, la partie « doubler la croissance du monde » dans ce 50 %, vous avez probablement créé quelque chose que d'autres finiront par faire aussi, cela ne représente probablement pas une véritable valeur mondiale permanente doublée. Et si le monde est détruit, c'est permanent, pour toujours disparu.

Donc je pense qu'une fois que vous introduisez l'incertitude et le bruit dans chaque étape du scénario réel, le poids de la destruction catastrophique devient beaucoup plus lourd, tandis qu'une croissance modérée reste bonne, mais ne compense pas du tout.

Regardons un autre exemple de lancer de pièce. Vous avez dit que vous ne croyez absolument pas en Dieu. Mais le pari de Pascal est toujours là : croire en Dieu est-il un bon espérance ? Si vraiment il y a une vie après la mort, ne pas croire vous enverra en enfer, et le coût de croire aujourd'hui est limité, cela ne constitue-t-il pas un autre exemple ?

La même logique, si cette logique n'a rien à voir avec le contenu spécifique de la religion que vous examinez, elle s'applique également à « la religion du poteau électrique » : si vous passez votre vie à adorer un poteau électrique, vous irez au paradis ; sinon, vous irez en enfer. Cela signifie-t-il que vous devriez consacrer votre vie à adorer un poteau électrique ?

Selon la même logique, cela s'applique également à « la religion anti-poteau électrique » : adorer le poteau électrique vous envoie en enfer, blasphémer le poteau électrique vous envoie au paradis. Cela signifie-t-il que vous devriez passer votre vie à vous opposer au poteau électrique ? La même logique vous donne deux réponses complètement opposées.

La réponse est : pour ce monde, vous pouvez imaginer une infinité d'hypothèses et de possibilités étranges, mais vous ne pouvez pas donner une probabilité positive significative à une infinité de possibilités déraisonnables.

Une autre question de valeur d'espérance liée à l'altruisme efficace : de nombreux EA placent la sécurité de l'IA en priorité absolue, car c'est une valeur d'espérance positive, nous dépensons de l'argent, peut-être que nous pourrions éviter l'extinction humaine, car nous pouvons aligner l'IA. Ce raisonnement est-il valide ?

Partiellement valide. Ce raisonnement est absolument correct : cela pourrait très bien être la décennie décisive pour l'IA, son impact potentiel est de changer le monde, cela pourrait être très bon ou catastrophique, et cela éclipsera tout ce qui ne changera jamais le monde, ou que vous ne pouvez rien faire pour changer le monde en ce moment. Donc c'est un argument très convaincant.

Mais cela ne répond pas à la question : que pouvez-vous réellement faire ? Je pense que beaucoup de gens finissent par tourner en rond : ils affirment que la sécurité de l'IA est la cause à laquelle ils devraient se consacrer, mais ne trouvent rien dans la pratique qui puisse réellement rendre l'IA plus sûre. Cela signifie que proposer des idées sur « ce qui compte vraiment, ce qui est vraiment utile » est très précieux et très important.

Vous pouvez consulter les récents rapports sur le piratage de Hugging Face, qui sait, mais il semble que ces rapports soient assez bénéfiques pour le monde en termes de valeur d'espérance, c'est une très bonne chose. Il est juste difficile de trouver ce genre de grande chose clairement positive, et il y a maintenant beaucoup de débats : les diverses actions des EA sont-elles positives ou négatives pour la sécurité de l'IA ?

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.

Vous pourriez aussi aimer

iconiconiconiconiconiconiconicon
Assistance client:@weikecs
Collaborations commerciales:@weikecs
Trading quantitatif/Market makers:bd@weex.com
Programme VIP:support@weex.com