La controversa ricerca sull'interpretabilità dell'IA attira l'attenzione di Sam Altman
Negli ultimi mesi, OpenAI ha avviato trattative con la startup di IA Goodfire riguardo a potenziali acquisizioni o collaborazioni (io e i miei colleghi abbiamo pubblicato questa mattina un rapporto secondo cui OpenAI ha considerato di acquisire questa startup che analizza il "modo di pensare" dell'IA per oltre 5 miliardi di dollari). Durante le trattative, il CEO di OpenAI, Sam Altman, ha mostrato particolare interesse per la ricerca di Nick Kamarata. Kamarata, ex dipendente di OpenAI e attualmente in Goodfire, ha recentemente proposto nuove idee su come l'intelligenza artificiale pensa, suscitando un grande dibattito nel settore.
Il mese scorso, Kamarata ha pubblicato un articolo e la scorsa settimana ha rilasciato un rapporto di follow-up, scatenando un acceso dibattito tra i ricercatori di IA. Alcuni lodano il risultato come una potenziale grande svolta nella comprensione dei modelli di IA; altri lo considerano solo una trovata pubblicitaria. Questa reazione polarizzata indica che alcune aree della ricerca sull'IA sono ancora immature, con i ricercatori che non riescono nemmeno a concordare su cosa costituisca una ricerca di alta qualità. Tuttavia, anche se la tecnologia non è ancora stata convalidata, le startup correlate riescono comunque a ottenere valutazioni di miliardi di dollari.
La ricerca principale di Goodfire è l'interpretabilità meccanica, comunemente abbreviata in "mech interp". Questo campo mira a comprendere i meccanismi interni di funzionamento dei modelli di IA, e non solo a osservare il loro comportamento esteriore. I modelli di IA sono composti da trilioni di valori, simili a una "scatola nera", e non possono essere letti direttamente come il codice software tradizionale. Questo rende difficile prevedere quali comportamenti adotterà l'IA in scenari completamente nuovi e rende complicato risalire alle cause in caso di errori.
Il titolo dell'articolo di Kamarata è "Le reti neurali sono già leggibili", e nel documento propone l'idea che i neuroni artificiali nei modelli di IA (funzioni matematiche costruite su enormi quantità di dati) siano in realtà più facili da interpretare di quanto i ricercatori non avessero precedentemente pensato. Secondo questa logica, startup come Goodfire, dedicate all'analisi della logica interna dell'IA, hanno prospettive più ottimistiche.
Ad esempio, già nel 2017, i ricercatori di interpretabilità meccanica avevano scoperto un neurone speciale in un modello di IA per immagini: indipendentemente dall'immagine di un'auto o di un gatto inserita, quel neurone si attivava. Molti neuroni mostrano questo fenomeno, gestendo simultaneamente compiti apparentemente non correlati, il che ha creato notevoli difficoltà per i ricercatori. Infatti, nel 2023, quando Kamarata lavorava ancora in OpenAI, tentò di analizzare i neuroni di GPT-2 utilizzando GPT-4, scoprendo che solo il 1,7% dei neuroni poteva essere interpretato.
Tuttavia, Kamarata crede che, grazie ai progressi nelle tecniche di addestramento dei modelli e nei metodi di analisi, la situazione non sia più senza speranza. Prendendo come esempio Qwen3-32B di Alibaba, circa il 90% dei neuroni svolge una sola funzione, rendendoli interpretabili. Dopo aver riesaminato quel neurone classico che rispondeva sia ai gatti che alle auto, ha scoperto che il volto del gatto e il muso dell'auto presentano entrambi un profilo a V simile, che è la vera caratteristica che attiva quel neurone. {#quote_BABA}
"A mio avviso, la storia nel campo dell'interpretabilità è in gran parte: ciò che osserviamo al microscopio è molto migliore di quanto ci aspettassimo", ha scritto. "Solo che il microscopio stesso non è stato calibrato correttamente, e i luoghi che necessitano di aggiustamenti sono spesso molto sottili."
Molti dei principali ricercatori nel campo dell'interpretabilità meccanica non concordano con le conclusioni dell'articolo di Kamarata. Hanno affermato che la direzione della ricerca è preziosa, ma l'articolo esagera il significato dei risultati.
Neil Nanda, responsabile dell'interpretabilità meccanica di Google DeepMind, ha dichiarato sui social media: "Questo lavoro è interessante, ma non credo che porti a un aggiornamento significativo dell'intero quadro dell'interpretabilità." Nanda ha scritto che l'articolo sovrastima il livello di comprensione umana dei neuroni; anche se tutti i neuroni potessero essere letti, il meccanismo di funzionamento del modello lascerebbe comunque molte domande irrisolte. {#quote_GOOG}
Anche il ricercatore di OpenAI Leo Gao ha partecipato alla discussione, pubblicando un articolo di confutazione intitolato "Le reti neurali non sono già leggibili". Ha proposto: "Questo articolo è ben lontano dal dimostrare che abbiamo compreso la maggior parte dei comportamenti dei neuroni; questi risultati non possono rappresentare la risoluzione del problema dell'interpretabilità, né indicare che questo lavoro sia molto più semplice di quanto si pensasse in passato."
Lif Gordon, che ha lavorato in Goodfire e ora è impiegato in Anthropic, ha replicato alcuni degli esperimenti di Kamarata, ottenendo risultati diversi. Ha anche sottolineato: i volti dei gatti non sono tutti a V, e quel neurone non risponde a molti oggetti a forma di V (come i becchi degli uccelli).
Di fronte a valutazioni contrastanti, Kamarata rimane ottimista. Ha scritto sui social media riguardo all'interpretabilità dell'IA: "Credo che questo problema possa essere risolto. Che le soluzioni semplici esistano già, o che le soluzioni attuali siano generalmente praticabili ma necessitino di nuovi strumenti, o che abbiamo bisogno di nuove idee dirompenti, alla fine troveremo la risposta."
Prezzo di --
Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.
Potrebbe interessarti anche

Mr&强 parla dei punti salienti del progetto ORIPA

Oro e argento perdono 15.000 miliardi di dollari, il Bitcoin resiste meglio

Bessent avverte la Federal Reserve sui rischi di un'eccessiva stretta, il sistema finanziario mostra segni di vulnerabilità

IOSCO avverte sul "rallentamento quantistico" e valuta la preparazione alla minaccia quantistica

L'interruzione di Deribit colpisce gli hedger di Bitcoin su Coinbase

Johnson & Johnson è sulla buona strada per 101 miliardi di dollari di vendite nel 2026. Questo re dei dividendi è ancora un buon acquisto?

J.P. Morgan afferma che la flotta di robotaxi di Tesla potrebbe eguagliare i chilometri di Waymo entro la fine del 2027 con 18.000 auto. Il numero che conta è quanto guadagna ogni auto.

La prossima grande minaccia per Bitcoin potrebbe arrivare da due petroliere nel Medio Oriente

Il crollo del Bitcoin sotto i 60.000 dollari mette sotto i riflettori la decisione della Fed di dicembre

CITIC Securities: Analisi delle caratteristiche di valutazione della catena industriale dell'AI nel mercato azionario statunitense nel 2027

Il governo sudcoreano avvia un fondo di stabilità del mercato azionario, allenta le restrizioni sui riacquisti e combatte le vendite allo scoperto illegali

Il titolo AMD è appena crollato a causa di un rapporto di venditore allo scoperto. È un'opportunità d'acquisto d'oro?

Perché il prezzo dell'oro scende insieme alle azioni tecnologiche? L'oro è diventato il "bancomat" della crisi di liquidità
![[Colonna] Domande da porre sulla proroga di due anni della tassazione delle criptovalute... "Dove verrà registrato?"](/public-static/081_0e4aedee7f.png?format=avif)
[Colonna] Domande da porre sulla proroga di due anni della tassazione delle criptovalute... "Dove verrà registrato?"

La Financial Supervisory Service della Corea del Sud effettuerà ispezioni a sorpresa sugli exchange di criptovalute

Crypto o risparmio pensionistico? Cosa rivela un'indagine sulla Gen Z americana

Il premio Sun Yuchen prevede un premio di 2 milioni di dollari per i risultati della ricerca sulla congettura di Riemann

Jefferies avverte che il rallentamento degli investimenti in AI colpirà i mercati emergenti, abbassando il rating del mercato azionario coreano

Prospettive macroeconomiche della prossima settimana: il PCE core di ottobre negli Stati Uniti, chiusura del mercato per il giorno del Ringraziamento

Elezioni di metà mandato 2026: Ecco esattamente cosa sto facendo con il mio portafoglio di investimenti in questo momento

Securitize in calo del 47%, promettente crescita futura nella tokenizzazione degli asset

Perdere Jensen Huang costa molto più di 25 trilioni di dollari
![[Analisi] Perché questa discesa del Bitcoin è diversa dalle precedenti](/public-static/30_f8d737795f.png?format=avif)
[Analisi] Perché questa discesa del Bitcoin è diversa dalle precedenti

Scopri la regola di Warren Buffett che rende questo titolo di consumo un acquisto da 1.000 dollari adesso

Trump collabora con i Democratici per fissare un limite del 10% sui tassi delle carte di credito

La SEC accusa otto entità per un schema di frode cripto da 37 milioni di dollari

Il dollaro USA si rafforza del 2,5%, supera Bitcoin, oro e azioni in mezzo alle paure per l'aumento dei tassi della Fed

Il Tesoro statunitense vende 15 miliardi di dollari nella prima asta di titoli di cassa di nove giorni dal 2008

Non Anthropic. Non SpaceX. Questo è il titolo AI da acquistare per il lungo termine











