Selon METR, les progrès d'Anthropic ont environ doublé de rythme, mais l'essentiel des preuves est expurgé

METR, une organisation à but non lucratif basée à Berkeley qui évalue les modèles d'IA avancés, a publié le 5 novembre une évaluation indépendante cherchant à savoir si l'IA accélère la recherche et développement chez Anthropic. Une équipe équivalant à 2,5 postes à temps plein a travaillé avec l'entreprise du 12 août au 29 octobre. Elle a examiné des benchmarks internes, des données de calcul et d'effectifs, des enquêtes et une quinzaine d'entretiens avec des salariés. METR dit n'avoir reçu aucune rémunération, mais a bénéficié de jetons gratuits et travaillé sur des appareils d'Anthropic ; elle n'a pas interrogé les modèles non publiés.

L'estimation principale

METR conclut qu'en octobre 2026, Anthropic améliore probablement ses capacités sur des tâches bien définies environ deux fois plus vite qu'entre mars 2024 et octobre 2025. L'organisation ne serait pas surprise que la valeur réelle soit plus proche de 1,3 ou de 3, et souligne que le lien avec des travaux plus larges et moins cadrés est plus incertain.

L'analyse s'appuie largement sur l'AECI, la version interne d'Anthropic de l'Epoch Capabilities Index. METR estime que sa croissance depuis octobre 2025 atteint 1,9 fois le rythme antérieur, avec un intervalle de confiance à 95 % de 1,5 à 2,8 ; les tests de robustesse vont de 1,1 à 2,9. En intégrant les modèles de tous les développeurs de pointe, le facteur tombe à 1,4.

Sur les causes, METR se dit confiante que l'accélération ne vient pas d'une hausse plus rapide du calcul d'entraînement. Sa meilleure hypothèse attribue environ 80 % de l'accélération à l'IA, avec une forte incertitude. Elle n'a pas trouvé de goulet d'étranglement convaincant pour l'année à venir, mais avec une confiance faible.

Expurgations et limites de méthode

Anthropic avait le droit de retirer unilatéralement des passages, et METR indique que l'entreprise a supprimé la majorité des éléments qu'elle jugeait les plus probants, dont l'attribution détaillée et les prévisions. Anthropic présente ces coupes comme une protection d'informations susceptibles d'aider ses concurrents. METR reconnaît que le public doit se fier à son jugement plus qu'il ne serait souhaitable, que les données sont passées surtout par deux salariés d'Anthropic, que Claude a beaucoup servi à les collecter et les analyser, et qu'une vérification prévue de la répartition du calcul a été annulée en cours de route par Anthropic. Elle cite aussi des raisons de possible surestimation, comme des gains limités aux tâches notées automatiquement ou une croissance anormalement lente avant fin 2025.

Selon l'Associated Press, reprise par Fast Company, METR estime que le rapport de risques publié par Anthropic en août sous-évaluait l'accélération en cours ; METR précise que son examen de ce rapport paraîtra séparément. Anthropic n'a pas réagi dans l'immédiat, selon l'AP.