L'ESSENTIEL EN 30 SECONDES
- Singularity-Bench, mis en ligne sur arXiv le 12 novembre, fait construire à des agents six systèmes d'IA, du pré-entraînement à l'ordonnancement de grappes, et les compare à des outils humains éprouvés.
- Claude Opus 5.5 dans Claude Code obtient 1,252 à l'indice de l'article, où 1,0 correspond aux références humaines ; les dix autres agents atteignent 0,58 en moyenne.
- Les auteurs montrent aussi que le cadre d'évaluation pouvait être contourné et proposent une version renforcée, Breakwater.
Une prépublication déposée sur arXiv le 12 novembre présente Singularity-Bench, un banc d'essai qui cherche à savoir si des agents d'IA peuvent construire les logiciels servant à créer des systèmes d'IA. Les 19 auteurs sont notamment affiliés à l'université Carnegie Mellon, à NVIDIA, à l'université du Texas à Austin, à Meta et à Amazon AGI. L'article n'a pas encore été évalué par les pairs.
Six tâches, six étalons humains
Chaque tâche part d'une base de code minimale et d'un budget matériel fixe, le plus souvent 12 heures sur quatre GPU NVIDIA GB300, puis compare le résultat de l'agent à une référence humaine mature exécutée sur les mêmes machines. Toute la chaîne est couverte : pré-entraînement d'un petit modèle de langage (face à Megatron-LM, jugé sur la perplexité), entraînement intermédiaire avant l'apprentissage par renforcement (Megatron-LM), post-entraînement par renforcement d'un agent de génie logiciel (le cadre Miles), service d'un modèle en inférence (SGLang), écriture d'un environnement d'agent de programmation (Claude Code lui-même) et ordonnancement de charges sur une grappe de 16 GPU (NVIDIA Dynamo avec l'ordonnanceur KAI).
L'indicateur principal, le Singularity-Index, fait la moyenne du rapport entre agent et humain sur les six tâches : 1,0 signifie la parité en moyenne.
Ce que montrent les résultats
Les auteurs ont testé 11 agents issus de sept modèles de pointe et de deux environnements, Codex d'OpenAI et Claude Code d'Anthropic. Claude Opus 5.5 dans Claude Code atteint 1,252, devant GPT-6.1 Sol dans Codex (0,969) et Claude Opus 5 (0,803) ; les autres agents se situent à 0,58 en moyenne. Le résumé affirme que le meilleur agent égale ou dépasse la référence humaine sur les six tâches. Le tableau détaillé est plus nuancé : l'agent la devance sur cinq tâches, mais en post-entraînement son taux de résolution de 0,533 reste juste sous les 0,539 humains, un écart que les tests statistiques des auteurs ne distinguent pas d'une égalité. Sa facture d'API s'élève à environ 425 dollars, hors temps GPU, contre 4,36 dollars pour l'agent le moins cher.
Les auteurs formulent plusieurs réserves. Les tâches sont plus modestes que ce qu'exigerait une véritable auto-amélioration récursive, les scores bruts du meilleur agent laissent encore une large marge de progression, son avance sur l'environnement d'agent tient à une seule correction de bogue supplémentaire.
Tester le test
Une grande partie de l'article porte sur le contournement des récompenses. En attaquant le cadre d'évaluation Harbor, les auteurs ont trouvé des failles exploitables sur chaque tâche, du code implanté pour retrouver les réponses dans la pile d'appels Python jusqu'à la falsification de journaux lus par un juge fondé sur un LLM. Leur extension, Breakwater, ajoute empreintes des binaires, filtrage des appels d'API et journalisation inviolable ; selon l'article, elle a bloqué toutes les attaques testées.
