"Vendiamo l'AGI ai governi di Stati Uniti, Cina e Russia"... OpenAI aveva progettato un'asta statale

Uno dei motivi per cui Dario Amodei ha lasciato OpenAI

Rivelazione del riassunto del libro sulla fondazione di Anthropic

"La rottura tra Altman e Amodei è stata una questione di fiducia"

[Reporter James Jung di Block Media] Il motivo per cui Dario Amodei, fondatore di Anthropic, ha lasciato OpenAI non era solo una differenza filosofica riguardo alla sicurezza dell'intelligenza artificiale (AI).

C'era stata una discussione su come OpenAI potesse raccogliere fondi vendendo i diritti sull'intelligenza artificiale generale (AGI) ai governi degli Stati Uniti, della Cina e della Russia tramite un'asta. Quando Amodei venne a conoscenza di questo piano noto come "piano dei paesi", emersero testimonianze che la fiducia tra le due parti era crollata.

Il "piano dei paesi" discusso internamente in OpenAI partiva dall'idea che i rischi dell'AGI dovessero essere gestiti congiuntamente dalla comunità internazionale. Tuttavia, OpenAI, che stava affrontando difficoltà finanziarie, stava considerando l'idea scioccante di mettere praticamente all'asta i diritti sull'AGI futuro ai governi di vari paesi.

Dario Amodei, che era il responsabile della ricerca di OpenAI, si oppose fermamente a questo piano, affermando che avrebbe potuto innescare una corsa agli armamenti nell'AI e violazioni dei diritti umani.

Finanziamento vendendo l'AGI ai governi

La rivista americana The Atlantic ha pubblicato il 29 dello scorso mese (ora locale) estratti dal nuovo libro di Kevin Roose, "The AGI Chronicles". Roose ha intervistato oltre 150 persone coinvolte in OpenAI, Anthropic e Google DeepMind, e ha tracciato il processo di rottura tra Amodei e la dirigenza di OpenAI basandosi su documenti interni.

Amodei si unì a OpenAI, allora un'organizzazione no-profit, nel 2016 dopo aver lasciato Google. Ha guidato ricerche che dimostravano che l'aumento della scala dei modelli AI portava a un miglioramento dell'intelligenza.

L'inizio del conflitto risale al 2017. Con la cessazione del finanziamento da parte di Elon Musk, OpenAI doveva trovare nuovi modi per raccogliere enormi fondi per lo sviluppo dell'AI.

Greg Brockman, co-fondatore di OpenAI, e Ilya Sutskever, scienziato capo, proposero il "piano dei paesi". Inizialmente, l'idea era che diversi paesi formassero un'alleanza internazionale per gestire congiuntamente i rischi dell'AGI e condividere i benefici.

Tuttavia, durante la fase di presentazione interna, la natura del piano cambiò. Si discusse di fornire diritti sulla tecnologia AGI futura ai governi degli Stati Uniti, della Cina e della Russia, in un certo senso come un'asta per raccogliere fondi. Un partecipante che ascoltò il piano ricordò che sembrava un'idea da startup per ottenere soldi dai governi.

Non è stato confermato se l'idea dell'asta fosse stata proposta direttamente dal CEO di OpenAI, Sam Altman.

Se dobbiamo comunque cederlo ai governi, vendiamolo

L'idea dell'asta era collegata alla sicurezza nazionale. Con la realizzazione dell'AGI, era probabile che i governi di vari paesi prendessero la tecnologia dalle aziende sviluppatrici. Se la tecnologia doveva comunque essere ceduta ai governi, era più logico assicurarsi i fondi dai governi in anticipo nel momento in cui si aveva bisogno di denaro.

Questo piano scioccante emerse mentre OpenAI cercava nuove fonti di finanziamento, ma si intreccia anche con le attuali controversie riguardanti la teoria della distruzione dell'AI e lo sviluppo dell'AI guidato dallo stato. Solleva domande fondamentali su "che cosa stanno pensando le aziende private nello sviluppare la tecnologia AGI".

Amodei si oppose frontalmente al piano dei paesi. Nel dicembre 2017, inviò un'email a Brockman, Sutskever e altri dirigenti, sostenendo che questo piano non avrebbe ridotto, ma piuttosto ampliato la corsa agli armamenti. Sollevò anche la possibilità che i governi autoritari potessero garantire un'AGI che riflettesse i loro valori, portando a gravi violazioni dei diritti umani.

Avvertì che un tale piano avrebbe potuto compromettere la legittimità morale di OpenAI. L'idea che un'organizzazione che promuove lo sviluppo sicuro dell'AGI fornisse tecnologie potenti ai governi di vari paesi per ottenere finanziamenti era in conflitto con la missione originale.

In effetti, il piano non fu mai attuato. Successivamente, Microsoft (MS) investì enormi somme in OpenAI, e il piano dei paesi svanì nel dimenticatoio.

OpenAI ha smentito le affermazioni di Roose, affermando che "all'epoca si stava esaminando se OpenAI potesse essere trasformata in un progetto di cooperazione internazionale", ma ha negato di aver considerato la vendita dell'AGI alla Cina o alla Russia.

Dal 'piano dei paesi' a MS e GPT-3... la crescente sfiducia

Il piano dei paesi non era l'unica causa della rottura. Dopo, si accumularono vari eventi che aumentarono la sfiducia tra Amodei e la dirigenza.

Ci furono anche conflitti riguardo alla versione non pubblica di GPT-3. Amodei chiese ad Altman di ricevere l'elenco dei clienti autorizzati a utilizzare il modello, ma scoprì successivamente che esisteva un elenco più lungo di quello che aveva ricevuto. Amodei iniziò a sospettare che le informazioni fornite a lui fossero selettive.

Le trattative di investimento con MS furono un altro problema. Lo statuto di OpenAI conteneva il principio che se altri progetti che danno priorità alla sicurezza si avvicinassero allo sviluppo dell'AGI, la competizione sarebbe stata interrotta e si sarebbe potuto collaborare. Amodei desiderava che questa possibilità fosse garantita anche nel contratto di investimento con MS.

Tuttavia, Altman spiegò che MS non avrebbe accettato tale condizione. Amodei iniziò a dubitare di quanto forte fosse stata la richiesta di Altman durante le trattative effettive. La questione si ampliò in un problema di fiducia riguardo le decisioni aziendali individuali.

Nel 2020, ci fu anche una controversia riguardo al tentativo di fornire accesso alla versione beta di GPT-3 al rapper Kanye West. Altman tentò di invitare West a una beta non ufficiale di GPT-3 dopo averlo incontrato. Jack Clark, allora responsabile delle politiche di OpenAI, intervenne e l'invito effettivo non si concretizzò.

Per Amodei, il problema centrale era alla fine la "fiducia". Si dice che abbia tenuto un registro separato dei casi in cui si sentiva "ingannato" da Altman mentre lavorava in OpenAI. Secondo i documenti forniti, in una nota è stato registrato che il problema centrale era "lo stesso Altman".

La rottura della fiducia e la separazione

Il conflitto si trasformò infine in una questione di struttura di potere all'interno dell'organizzazione. Amodei chiese di avere il potere di veto per impedire il lancio di nuovi prodotti da parte del team di sicurezza come condizione per rimanere in OpenAI. La questione centrale era chi dovesse avere l'autorità finale nel caso in cui la sicurezza dell'AI entrasse in conflitto con gli obiettivi aziendali.

Durante le trattative, Amodei e sei colleghi crearono un canale Slack informale chiamato "BATNA". BATNA (Best Alternative To a Negotiated Agreement) si riferisce alla migliore alternativa che si può scegliere se le trattative falliscono.

Nel gruppo segreto c'erano Daniela Amodei (cugina di Dario), Jack Clark, Sam McCandlish, Tom Brown, Chris Olah e Jared Kaplan. Mentre negoziavano per rimanere in OpenAI, stavano anche preparando la loro separazione.

Alla fine, entrambe le parti coinvolsero avvocati e iniziarono a negoziare le condizioni di uscita, che internamente chiamarono "divorzio". Altman accettò di dare loro l'opportunità di assumere dipendenti di OpenAI per un certo periodo, a condizione che non assumessero ulteriormente per un anno. Fu inclusa anche una condizione di non denigrazione pubblica reciproca.

Nel dicembre 2020, durante una videoconferenza aziendale, Amodei e i suoi colleghi annunciarono che avrebbero lasciato l'azienda per creare una nuova organizzazione di sicurezza AI. Alla fine della riunione, i loro accessi alle email e a Slack di OpenAI furono bloccati. Amodei fondò Anthropic nel 2021.

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.