Une étude sur l'explicabilité de l'IA suscite l'attention de Sam Altman

By: finance.sina.com.cn|

Au cours des derniers mois, OpenAI a engagé des négociations avec la startup d'IA Goodfire concernant un potentiel rachat ou partenariat (mon collègue et moi avons publié un rapport ce matin, indiquant qu'OpenAI avait envisagé d'acquérir cette startup qui analyse la "manière de penser" de l'IA pour un montant de 5 milliards de dollars ou plus). Pendant les négociations, le PDG d'OpenAI, Sam Altman, s'est particulièrement intéressé aux recherches de Nick Kamarata. Kamarata, ancien employé d'OpenAI et actuellement chez Goodfire, a récemment proposé de nouvelles idées sur la manière dont l'intelligence artificielle pense, suscitant un grand débat dans l'industrie.

Le mois dernier, Kamarata a publié un article, suivi la semaine dernière d'un rapport complémentaire, qui a provoqué des discussions animées parmi les chercheurs en IA. Certains louent cette réalisation comme un potentiel tournant dans la compréhension des modèles d'IA, tandis que d'autres estiment qu'il ne s'agit que de battage médiatique. Cette réaction polarisée montre que certains domaines de recherche en IA restent immatures, et que les chercheurs ne parviennent même pas à s'accorder sur ce qui constitue une recherche de qualité. Cependant, même si la technologie n'a pas encore été validée, les startups concernées peuvent tout de même obtenir des évaluations de plusieurs milliards de dollars.

La recherche principale de Goodfire est l'explicabilité des mécanismes, souvent abrégée en "mech interp". Ce domaine vise à comprendre le fonctionnement interne des modèles d'IA, et pas seulement à observer leur comportement externe. Les modèles d'IA sont constitués de billions de valeurs, semblables à une "boîte noire", que l'on ne peut pas lire directement comme on le ferait avec le code d'un logiciel traditionnel. Cela rend difficile la prévision des comportements de l'IA dans de nouveaux scénarios, et complique la traçabilité en cas d'erreur.

Le titre de l'article de Kamarata est "Les réseaux de neurones sont déjà lisibles". Il y avance que les neurones artificiels dans les modèles d'IA (des fonctions mathématiques basées sur d'énormes valeurs) sont en réalité plus faciles à interpréter que ce que les chercheurs pensaient auparavant. Selon cette hypothèse, les startups comme Goodfire, qui se consacrent à l'analyse de la logique interne de l'IA, ont un avenir plus prometteur.

Par exemple, dès 2017, des chercheurs en explicabilité des mécanismes ont découvert un neurone particulier dans un modèle d'IA d'image : que l'on entre une image de voiture ou de chat, ce neurone s'active. De nombreux neurones présentent ce phénomène, traitant simultanément plusieurs tâches apparemment sans rapport, ce qui pose un grand défi aux chercheurs. En fait, en 2023, alors que Kamarata travaillait encore chez OpenAI, il a tenté d'utiliser GPT-4 pour analyser les neurones de GPT-2, et a découvert que seulement 1,7 % des neurones pouvaient être interprétés.

Cependant, Kamarata pense qu'avec les avancées dans les techniques d'entraînement des modèles et les méthodes d'analyse, la situation n'est plus désespérée. Prenons l'exemple de Qwen3‑32B d'Alibaba, environ 90 % des neurones remplissent une seule fonction, ce qui les rend interprétables. En réexaminant ce neurone classique qui réagissait à la fois aux chats et aux voitures, il a découvert que les visages de chat et de voiture avaient tous deux un contour en V similaire, qui est la véritable caractéristique activant ce neurone. {#quote_BABA}

"À mon avis, l'histoire de l'explicabilité est en grande partie : ce que l'on observe sous un microscope est bien meilleur que ce que nous avions imaginé", a-t-il écrit. "C'est juste que le microscope lui-même n'est pas correctement réglé, et les ajustements nécessaires sont souvent très subtils."

De nombreux chercheurs de premier plan dans le domaine de l'explicabilité des mécanismes ne sont pas d'accord avec les conclusions de l'article de Kamarata. Ils affirment que la direction de la recherche est précieuse, mais que l'article exagère l'importance des résultats.

Neil Nanda, responsable de l'explicabilité des mécanismes chez Google DeepMind, a déclaré sur les réseaux sociaux : "Ce travail est intéressant, mais je ne pense pas qu'il apporte une mise à jour significative à l'ensemble du tableau de l'explicabilité." Nanda a écrit que l'article surestime le niveau de compréhension des neurones par l'humanité ; même si tous les neurones pouvaient être compris, le fonctionnement des modèles laisserait encore de nombreuses questions sans réponse. {#quote_GOOG}

Leo Gao, chercheur chez OpenAI, a également participé à la discussion, publiant un article en réponse intitulé "Les réseaux de neurones ne sont pas déjà lisibles". Il a avancé : "Cet article est loin de prouver que nous avons compris la grande majorité des comportements des neurones ; ces résultats ne peuvent pas signifier que le problème de l'explicabilité est résolu, ni que ce travail est beaucoup plus simple que ce que l'on imaginait auparavant."

Lif Gorton, qui a travaillé chez Goodfire et est maintenant chez Anthropic, a reproduit certaines des expériences de Kamarata et a obtenu des résultats différents. Elle a également souligné que tous les visages de chat ne sont pas en V, et que ce neurone ne réagit pas à de nombreux objets en V (comme le bec d'un oiseau).

Face aux évaluations variées, Kamarata reste optimiste. Il a écrit sur les réseaux sociaux au sujet de l'explicabilité de l'IA : "Je crois que ce problème peut être résolu. Que les solutions simples existantes fonctionnent, que les solutions actuelles soient généralement viables mais nécessitent encore des outils supplémentaires, ou que nous ayons besoin de nouvelles idées révolutionnaires, nous finirons par trouver la réponse.

Prix de --

--
--
--

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.

Vous pourriez aussi aimer

iconiconiconiconiconiconiconicon
Assistance client:@weikecs
Collaborations commerciales:@weikecs
Trading quantitatif/Market makers:bd@weex.com
Programme VIP:support@weex.com