L'IA può influenzare silenziosamente le decisioni degli esperti, secondo uno studio di Anthropic

Gli analisti professionisti hanno adottato l'opinione nascosta e assegnata casualmente del loro agente IA nell'86% delle decisioni chiave, contro circa il 50% previsto per caso, secondo un esperimento pubblicato martedì dal team di Allineamento di Anthropic. Solo il 15% ha accreditato l'agente in seguito e nessuno ha sospettato che le sue preferenze fossero state impiantate.

Gli agenti IA---programmi che svolgono compiti autonomamente---stanno assumendo lavori di esperti sulla base di ciò che lo studio definisce l'assunzione abituale: che gli esperti prendano ancora le decisioni che contano. Anthropic ha lanciato 10 modelli di agenti per aziende finanziarie e assicurative a maggio, affermando che gli utenti hanno l'ultima parola.

Quell'accordo, chiamato "umano nel loop", presuppone che la persona che approva il lavoro di un'IA sia quella che prende le decisioni importanti. Anthropic lo ha testato su 50 analisti esperti in inferenza causale, il che significa lavorare a partire dai dati per determinare se una cosa causa un'altra.

Ogni analista ha utilizzato Claude Code, l'agente di codifica di Anthropic, per consigliare una cooperativa agricola fittizia sull'espansione di un programma di consulenza. Ignari, un lancio di moneta ha determinato quale opzione ciascun agente favorisse, nascosta in un prompt di sistema, le istruzioni che plasmano il comportamento di un'IA.

"In tutte e quattro le scelte analitiche, gli analisti hanno seguito l'inclinazione del loro agente nell'86% dei casi. Se l'input dell'agente non avesse fatto differenza, ci aspetteremmo circa il 50%", ha affermato Anthropic. Coloro che avevano già scelto prima che l'agente intervenisse l'hanno abbandonata nel 60% dei casi quando l'agente era in disaccordo, contro il 6% quando era d'accordo, sebbene ciò si basi solo su 38 casi.

Quando è stato chiesto di spiegare le loro scelte, il 77% ha ripetuto l'argomento dell'agente in almeno una risposta, a volte parola per parola. Solo il 15% ha accreditato l'agente e il 52% ha definito la raccomandazione finale più propria che dell'agente.

"Per gli esperti individuali, questo potrebbe significare perdere l'autonomia sul proprio lavoro, una forma di ciò che i ricercatori chiamano disempowerment", ha affermato Anthropic. Questo fenomeno significa fondamentalmente che l'umano perde volontariamente il controllo sulle proprie decisioni. "Il lavoro continua a uscire a nome dell'esperto", hanno scritto gli autori, "ma le decisioni che dipendono maggiormente dal loro giudizio sono in realtà risolte dalle convinzioni precedenti dell'agente."

Ad aprile 2025, OpenAI ha annullato un aggiornamento a ChatGPT che ha definito eccessivamente lusinghiero o accondiscendente. Gli agenti qui sono stati istruiti a non ingannare mai, eppure raramente hanno sostenuto l'alternativa.

"Con solo un lato ben argomentato", hanno scritto gli autori, "gli analisti potrebbero adottare le assunzioni dell'agente senza elaborare le proprie." I controlli sugli errori faticano a rilevarlo perché le decisioni di giudizio non hanno una risposta corretta unica, quindi il lavoro appare solido qualunque opzione venga scelta.
OpenAI annulla l'aggiornamento di ChatGPT dopo il feedback degli utenti riguardo al comportamento 'adulatore'

Anthropic afferma che questo non è un argomento per utilizzare meno l'IA, poiché gli analisti con l'agente hanno terminato più rapidamente e hanno commesso molti meno errori gravi, sebbene il gruppo senza agente fosse piccolo e meno esperto. Suggerisce agenti che argomentano il miglior caso per ciascuna opzione o chiedono prima all'esperto, anche se ciò potrebbe sopraffare gli utenti.

I ricercatori hanno deliberatamente rafforzato le preferenze degli agenti e testato un compito, campo e modello, quindi gli effetti nel mondo reale potrebbero essere minori. Misurarlo al di fuori del laboratorio è la parte difficile: il team potrebbe rilevare deferenza solo perché ha randomizzato l'inclinazione di ciascun agente, cosa che gli autori affermano sia raramente possibile nel lavoro reale.

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.