"Vendre l'AGI aux gouvernements des États-Unis, de la Chine et de la Russie"... OpenAI avait envisagé une "enchère nationale"

L'une des raisons pour lesquelles Dario Amodei a quitté OpenAI

Fuite d'un résumé d'un livre sur le fondateur d'Anthropic

"La rupture entre Altman et Amodei est une question de confiance"

[Journaliste James Jung de Block Media] Le départ de Dario Amodei d'OpenAI n'était pas seulement dû à des différences philosophiques concernant la sécurité de l'intelligence artificielle (IA).

Il y avait eu des discussions chez OpenAI sur la vente des droits de l'intelligence artificielle générale (AGI) aux gouvernements des États-Unis, de la Chine et de la Russie par le biais d'enchères pour financer le développement. Amodei a été informé de ce plan, connu sous le nom de "plan national", ce qui a conduit à une rupture de confiance entre les deux parties.

Le "plan national" discuté en interne chez OpenAI partait de l'idée que les risques de l'AGI seraient gérés collectivement par la communauté internationale. Cependant, OpenAI, qui faisait face à des difficultés financières à l'époque, a envisagé une solution choquante consistant à mettre aux enchères les droits futurs de l'AGI auprès des gouvernements.

Dario Amodei, qui était responsable de la recherche chez OpenAI, a vivement contesté ce plan, affirmant qu'il pourrait déclencher une course aux armements en matière d'IA et des violations des droits de l'homme.

Financement par la vente de l'AGI aux États

Le magazine américain The Atlantic a publié le 29 septembre (heure locale) un extrait du nouveau livre de Kevin Roose, "Les Chroniques de l'AGI". Roose a interviewé plus de 150 personnes liées à OpenAI, Anthropic et Google DeepMind et a suivi le processus de rupture entre Amodei et la direction d'OpenAI à partir de documents internes.

Amodei a rejoint OpenAI, alors un institut de recherche à but non lucratif, après avoir quitté Google en 2016. Il a dirigé des recherches montrant que l'augmentation de l'échelle des modèles d'IA conduit à une amélioration de l'intelligence.

Le conflit a commencé en 2017. Avec l'arrêt du financement d'Elon Musk, OpenAI devait trouver de nouvelles façons de financer ses coûteux développements en IA.

Greg Brockman, cofondateur d'OpenAI, et Ilya Sutskever, scientifique en chef, ont proposé le "plan national". Au départ, l'idée était que plusieurs pays créeraient une organisation internationale pour gérer collectivement les risques de l'AGI et partager les bénéfices.

Cependant, lors de la phase de présentation interne, la nature du plan a changé. Il a été discuté de fournir des droits sur les technologies futures de l'AGI aux États-Unis, à la Chine, à la Russie, etc., et de financer cela par une sorte d'enchère. Un participant a déclaré que cela ressemblait à une idée de start-up visant à obtenir de l'argent des gouvernements.

Il n'a pas été confirmé si cette idée d'enchère a été directement proposée par Sam Altman, le PDG d'OpenAI.

Si nous devons de toute façon le remettre aux gouvernements, vendons-le

L'idée de l'enchère était liée à la sécurité nationale. Si l'AGI devenait réalité, il est probable que les gouvernements des pays s'empareraient des technologies des entreprises de développement. La logique était que si la technologie devait de toute façon être remise aux gouvernements, il valait mieux sécuriser des fonds auprès d'eux au moment où des fonds étaient nécessaires.

Ce plan choquant est né alors qu'OpenAI cherchait de nouvelles sources de financement, mais il est également lié aux débats actuels sur la théorie de l'apocalypse de l'IA et le développement de l'IA dirigé par l'État. Cela soulève la question fondamentale : "Pourquoi les entreprises privées de développement de l'IA créent-elles des technologies AGI ?"

Amodei s'est opposé frontalement au plan national. En décembre 2017, il a envoyé un courriel à Brockman, Sutskever et d'autres dirigeants, affirmant que ce plan pourrait non seulement ne pas réduire la course aux armements, mais l'aggraver. Il a également soulevé la possibilité que des gouvernements autoritaires obtiennent une AGI reflétant leurs valeurs, ce qui pourrait entraîner de graves violations des droits de l'homme.

Il a averti que ce plan pourrait également compromettre la légitimité morale d'OpenAI. L'idée qu'une organisation prônant le développement d'une AGI sécurisée fournisse des technologies puissantes aux gouvernements contredisait son objectif initial.

En réalité, le plan n'a pas été mis en œuvre. Par la suite, Microsoft (MS) a investi massivement dans OpenAI, et le plan national a disparu dans les tiroirs.

OpenAI a contesté les affirmations de Roose, déclarant qu'elle avait brièvement examiné la possibilité de transformer OpenAI en un projet de coopération internationale, mais qu'elle n'avait pas envisagé de vendre l'AGI à la Chine ou à la Russie.

De "plan national" à MS et GPT-3... la méfiance grandissante

Le plan national n'était pas la seule cause de la rupture. Plusieurs événements se sont chevauchés, augmentant la méfiance entre Amodei et la direction.

Il y avait également des conflits autour de la version non publique de GPT-3. Amodei a demandé à Altman la liste des clients ayant obtenu l'autorisation d'utiliser le modèle. Cependant, il a ensuite découvert qu'il existait une liste plus longue que celle qu'il avait reçue. Amodei a commencé à soupçonner que les informations qui lui étaient fournies étaient filtrées.

Les négociations d'investissement avec MS posaient également problème. Les statuts d'OpenAI stipulaient qu'en cas de projet de développement d'AGI par d'autres projets axés sur la sécurité, la concurrence devait être suspendue et la coopération devait être envisagée. Amodei souhaitait que cette possibilité soit garantie dans le contrat d'investissement avec MS.

Cependant, Altman a expliqué que MS ne l'accepterait probablement pas. Amodei a commencé à douter de la force avec laquelle Altman avait réellement soulevé cette exigence lors des négociations. Les désaccords sur des décisions commerciales individuelles se sont élargis en une question de confiance envers la direction.

En 2020, la tentative de fournir un accès à la version bêta de GPT-3 au rappeur Kanye West a également suscité des controverses. Altman a tenté d'inviter West à la bêta non officielle de GPT-3 après l'avoir rencontré. Jack Clark, alors responsable des politiques d'OpenAI, est intervenu et l'invitation n'a finalement pas eu lieu.

Pour Amodei, le cœur du problème était finalement la "confiance". On rapporte qu'il a tenu un registre séparé des cas où il a estimé avoir été "trompé" par Altman pendant son temps chez OpenAI. Selon les documents fournis, une note indiquait que le cœur du problème était "Altman lui-même".

Effondrement de la confiance et rupture

Le conflit s'est finalement transformé en une question de structure de pouvoir au sein de l'organisation. Amodei a demandé qu'on lui accorde un droit de veto sur le lancement de nouveaux produits par l'équipe de sécurité comme condition pour rester chez OpenAI. La question clé était de savoir qui devait avoir le dernier mot si la sécurité de l'IA entrait en conflit avec les objectifs commerciaux.

Pendant les négociations, Amodei et six de ses collègues ont créé un canal Slack informel appelé "BATNA". BATNA (Meilleure Alternative à un Accord Négocié) désigne la meilleure alternative à choisir si les négociations échouent.

Le groupe secret comprenait Daniella Amodei (cousine de Dario), Jack Clark, Sam McCandlish, Tom Brown, Chris Olah et Jared Kaplan. Ils préparaient leur séparation tout en négociant pour rester chez OpenAI.

Finalement, les deux parties ont impliqué des avocats pour négocier les conditions de départ, qu'elles ont appelées "divorce" en interne. Altman a accepté de donner à ces personnes l'occasion d'embaucher des employés d'OpenAI pendant une certaine période, mais a convenu de ne pas embaucher d'autres personnes pendant un an par la suite. Il y avait aussi une condition stipulant qu'aucune des parties ne devait se dénigrer publiquement.

En décembre 2020, lors d'une visioconférence de l'ensemble de l'entreprise, Amodei et ses collègues ont annoncé qu'ils quittaient l'entreprise pour créer une nouvelle organisation de sécurité de l'IA. À la fin de la réunion, leurs accès aux e-mails et à Slack d'OpenAI ont également été bloqués. Amodei a fondé Anthropic en 2021.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.