La vitesse d'évolution de Claude a doublé, 80 % de l'augmentation provient de l'IA

Éditeur｜Zenan

L'IA aide à accélérer le développement de la prochaine génération d'IA, et nous avons enfin des chiffres concrets.

Le 5 novembre, l'agence d'évaluation tierce METR a publié un rapport d'enquête sur Anthropic, indiquant que les progrès réalisés par cette entreprise au cours de l'année écoulée équivalent à ceux des deux années précédentes.

Entre le 12 août et le 29 octobre, cette agence a passé environ 11 semaines à examiner les performances des modèles d'Anthropic, la puissance de calcul utilisée pour l'entraînement, l'efficacité de la recherche, etc., et a interviewé des chercheurs.

Leur analyse a utilisé l'indicateur de capacité globale AECI d'Anthropic. Les données montrent qu'après octobre 2025, la vitesse de progrès des grands modèles sur cet indicateur est d'environ 1,9 fois celle des périodes précédentes, avec un intervalle de confiance de 95 % de 1,5 à 2,8 fois.

Depuis le 7 octobre 2025, ce score est passé d'environ 15 points par an à environ 29 points par an, réalisant en un an ce qui aurait pris environ deux ans auparavant, un niveau équivalent à Claude 2.1 à Sonnet 4.5. Le rapport de risque d'Anthropic avait précédemment supposé que Mythos Preview était un saut unique, après quoi il reviendrait à la tendance précédente, mais maintenant, de nouveaux modèles sont apparus, et la nouvelle pente continue.

Dans l'ensemble du secteur, l'accélération des modèles de pointe n'est que de 1,4 fois.

Plus important encore, METR est convaincu que cette accélération ne provient pas de l'augmentation de la puissance de calcul pour entraîner l'IA. La principale raison de l'avancement des capacités de l'IA provient de l'aide que l'IA elle-même apporte.

Lors des entretiens, un phénomène récurrent est que les chercheurs peuvent enfin essayer plus d'idées.

Auparavant, une expérience pouvait nécessiter un ou deux jours pour être réalisée, le temps et le coût de calcul étant des obstacles insurmontables, de nombreuses idées étaient mises de côté avant même d'être vérifiées. Aujourd'hui, les chercheurs peuvent soumettre plusieurs idées à un Agent pour voir lesquelles valent la peine d'être poursuivies.

Un chercheur a décrit que son travail est maintenant principalement limité par les idées et la puissance de calcul, le code n'étant plus un goulot d'étranglement. D'autres estiment qu'après avoir utilisé Claude, ils ont l'impression d'avoir un post-doctorant et un étudiant diplômé travaillant ensemble sur le projet. Les expériences et les réalisations sont devenues moins coûteuses, ce qui incite les chercheurs à essayer davantage, et de nombreuses petites expériences qui étaient auparavant considérées comme peu valables ont maintenant la possibilité de devenir de nouvelles directions de recherche.

Le rapport de METR a également révélé une partie des progrès internes que le public ne pouvait pas voir auparavant. Leur analyse a inclus trois modèles d'Anthropic qui n'ont pas encore été rendus publics, désignés respectivement par Model 2, Model 3 et Model 4. Ils ont été formés entre juillet et octobre de cette année.

Le modèle le plus puissant est actuellement ce Model 4 (certains pensent qu'il s'agit de Claude 6), qui a déjà dépassé 90 % sur de nombreux benchmarks courants. Les employés d'Anthropic ont effectué une estimation subjective en octobre, votant pour estimer que son efficacité moyenne sur leur travail a atteint environ 12 fois.

Ces modèles n'ont pas encore été publiés, et il n'est même pas certain qu'ils deviendront des produits publics, mais leur existence rappelle au public que se fier uniquement aux conférences de lancement et aux classements publics peut ne pas permettre de juger complètement ce qui se passe à l'intérieur des grandes entreprises d'IA. De 1 fois au début de 2025, à environ 2,5 fois pour Opus 4.5, environ 5 fois pour Mythos 5, et un saut à 12 fois pour Model 4, l'ajustement exponentiel est de 3,9 fois par an.

METR estime qu'à la date d'octobre de cette année, environ 80 % de l'accélération de la recherche en IA provient de l'IA elle-même. Les 20 % restants sont dus à des facteurs non liés à l'IA, dont les détails ne sont pas divulgués par Anthropic.

Alors, l'IA est-elle déjà capable de développer indépendamment sa propre prochaine génération ?

Actuellement, il reste un écart avant que l'IA puisse réaliser une amélioration autonome complète de ses modèles (RSI). Les chercheurs d'Anthropic estiment qu'en ce qui concerne la partie la plus importante de l'entraînement des modèles, l'IA n'a pas encore apporté de contributions significatives et entièrement autonomes, les principaux bénéfices provenant encore de l'assistance de l'IA aux recherches humaines.

Cependant, les chercheurs d'Anthropic ont déjà décrit les nombreuses contributions autonomes de l'IA comme des « signes de vie », et il existe des analyses quantitatives statistiques sur la proportion des tâches réalisées par l'IA par rapport aux humaines, mais ces données ont été supprimées par Anthropic.

Tant que des modèles plus puissants peuvent aider les chercheurs à développer plus rapidement la prochaine génération, le processus de rétroaction pourrait continuer à s'intensifier. La distance que le chemin RSI peut parcourir dépend des étapes qui ne sont pas encore automatisées, ainsi que de la capacité des ressources telles que la puissance de calcul à suivre.

En ce qui concerne les prévisions à court terme, METR n'a pas identifié de goulet d'étranglement qui pourrait interrompre de manière significative les progrès rapides au cours des 12 prochains mois, mais a également reconnu qu'avec l'augmentation des informations, ils ont modifié leur jugement à plusieurs reprises, et leur confiance est actuellement limitée.

De plus, bien qu'Anthropic ait permis à l'agence tierce METR d'enquêter à l'intérieur, le rapport de 100 pages fourni a été considérablement réduit par leurs soins. La plupart des preuves les plus convaincantes ont été supprimées par Anthropic lui-même.

La révision publiée le même jour a également mis en lumière les divergences entre les deux parties concernant l'expression des risques : Anthropic avait décrit un indicateur avancé comme ayant une vitesse de progrès « inférieure à deux fois », tandis que METR, sur la base de ses données internes, a calculé environ 1,97 fois, estimant que la formulation plus précise devrait être « environ deux fois ». Le doublement de l'accélération concerne le seuil d'alerte précoce d'Anthropic.

METR estime qu'il ne faut pas exclure la possibilité que le seuil pertinent ait déjà été franchi au 15 juillet, mais la plupart des chercheurs concernés penchent encore pour le fait qu'il n'avait pas été franchi à ce moment-là. Les deux parties conviennent également que le risque catastrophique direct des modèles concernés était faible à l'époque.

À mesure que la vitesse de développement des modèles augmente, la question de savoir si les gens peuvent percevoir les changements à temps et si les entreprises peuvent divulguer pleinement les incertitudes devient une question à laquelle il faut répondre avant l'arrivée de la prochaine génération d'IA.

Contenu de référence :

https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/#executive-summary

https://x.com/METR_Evals/status/2118412183860351084

© THE END

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.