L'ESSENTIEL EN 30 SECONDES

  • QA Bench réunit 1 396 bugs vérifiés par des humains dans 20 zones fonctionnelles de Gitea, Metabase, Twenty et Saleor ; le harnais et les étiquettes sont sur GitHub sous licence MIT.
  • Sur 60 minutes, Mo a retrouvé en moyenne environ 250 bugs (rappel de 17,9 %, précision de 84,7 %, 2,88 dollars par bug) ; le message Launch HN annonce 269 bugs, 84 % de précision et 2,67 dollars par bug.
  • Le chiffre de 84 % mesure la précision, pas la part des bugs détectés : selon Momentic, Mo manque environ 82 % des bugs répertoriés en une seule passe.

Momentic, start-up spécialisée dans les tests logiciels et issue de la promotion hiver 2024 de Y Combinator, a profité d'un message Launch HN le 2 novembre pour publier QA Bench, un banc d'essai destiné aux agents d'IA qui cherchent des bugs en utilisant une application comme le ferait un testeur. Son propre agent, Mo, présenté fin septembre, arrive en tête.

Ce que mesure le banc d'essai

QA Bench s'appuie sur quatre applications web open source, Gitea, Metabase, Twenty et Saleor, découpées en 20 zones fonctionnelles qui contiennent 1 396 bugs répertoriés. Selon la note méthodologique du directeur général Wei-Wei Wu, les bugs candidats proviennent de sessions de chasse menées par Mo, Claude Code et Codex ; chacun a été reproduit, recoupé par les autres agents, puis validé ou rejeté par un relecteur humain. Chaque agent reçoit une zone dans un bac à sable neuf, avec les mêmes données de départ, sans accès au code source, pour 30 ou 60 minutes. Un modèle juge, GPT-6.1 Sol, rapproche ses signalements des bugs répertoriés.

Les résultats et leur lecture

Dans les moyennes publiées sur 60 minutes, Mo retrouve environ 250 bugs par passe, soit un rappel de 17,9 % et une précision de 84,7 %, pour 2,88 dollars par bug confirmé. La meilleure configuration Codex (GPT-6.1 Sol avec Playwright MCP) en retrouve 94, avec un rappel de 6,8 %, une précision plus élevée (89 %) et un coût bien moindre de 0,56 dollar par bug. La meilleure configuration Claude Code, sous Opus 5.5, atteint 2,8 % de rappel, et Devin 1,9 %. Le message Launch HN donne pour Mo des chiffres un peu différents (269 bugs, 19,3 % de rappel, 84 % de précision, 2,67 dollars par bug), sans doute agrégés autrement ; les tableaux moyennés du blog et de GitHub constituent la référence la plus prudente.

Conclure que Mo détecte 84 % des bugs serait donc une erreur : ce pourcentage indique la proportion de signalements valides, et non la part des bugs trouvés.

Les limites reconnues par Momentic

Momentic, qui a conçu, exécuté et noté le test, énumère elle-même plusieurs réserves. Les étiquettes viennent en partie de trois des agents évalués, qui peuvent partager les mêmes angles morts. Gitea représente 11 des 20 zones, chaque zone n'a été testée que trois fois, sans barres d'erreur, et la limite de temps ne plafonne pas la dépense : une passe de Mo coûte environ 720 dollars, contre 53 dollars environ pour la meilleure configuration Codex. Sur Hacker News, des internautes ont réclamé une comparaison avec des testeurs humains et se demandent si un harnais maison conservera son avance face aux progrès des modèles de pointe.