LO ESENCIAL EN 30 SEGUNDOS

  • QA Bench reúne 1.396 errores revisados por personas en 20 áreas de producto de Gitea, Metabase, Twenty y Saleor; el arnés y las etiquetas están en GitHub con licencia MIT.
  • En ejecuciones de 60 minutos, Mo encontró de media unos 250 errores (17,9 % de exhaustividad, 84,7 % de precisión, 2,88 dólares por error); el post de Launch HN cita 269 errores, 84 % de precisión y 2,67 dólares por error.
  • El 84 % es la precisión, no la proporción de errores detectados: según la propia Momentic, Mo pasa por alto cerca del 82 % de los errores etiquetados en una sola pasada.

Momentic, una startup de pruebas de software de la promoción de invierno de 2024 de Y Combinator, aprovechó un post en Launch HN el 2 de noviembre para publicar QA Bench, un benchmark para agentes de IA que buscan errores usando una aplicación como lo haría un probador. Su propio agente, Mo, presentado a finales de septiembre, queda en primer lugar.

Qué mide el benchmark

QA Bench utiliza cuatro aplicaciones web de código abierto, Gitea, Metabase, Twenty y Saleor, divididas en 20 áreas de producto con 1.396 errores etiquetados. Según el texto metodológico del consejero delegado, Wei-Wei Wu, los errores candidatos salieron de sesiones de búsqueda realizadas por Mo, Claude Code y Codex; cada uno se reprodujo, lo contrastaron los demás agentes y una persona lo aprobó o rechazó. Cada agente recibe un área en un entorno aislado nuevo, con los mismos datos iniciales, sin acceso al código fuente y con 30 o 60 minutos. Un modelo juez, GPT-6.1 Sol, empareja sus informes con las etiquetas.

Los resultados y cómo leerlos

En las medias publicadas para 60 minutos, Mo encontró unos 250 errores por pasada, con un 17,9 % de exhaustividad (recall) y un 84,7 % de precisión, a 2,88 dólares por error confirmado. La mejor configuración de Codex (GPT-6.1 Sol con Playwright MCP) encontró 94, con un 6,8 % de exhaustividad, mayor precisión (89 %) y un coste mucho menor, 0,56 dólares por error. La mejor configuración de Claude Code, con Opus 5.5, llegó al 2,8 % y Devin al 1,9 %. El post de Launch HN da cifras algo distintas para Mo (269 errores, 19,3 % de exhaustividad, 84 % de precisión y 2,67 dólares por error), al parecer con otra forma de agregar los datos; las tablas promediadas del blog y de GitHub son la referencia más prudente.

Interpretar que Mo detecta el 84 % de los errores sería un error: esa cifra indica qué parte de sus avisos es válida, no cuántos errores encuentra.

Las salvedades que admite Momentic

Momentic, que diseñó, ejecutó y calificó la prueba, enumera varias limitaciones. Parte de las etiquetas procede de tres de los agentes evaluados, que pueden compartir puntos ciegos. Los fallos del juez repercuten directamente en las puntuaciones. Gitea aporta 11 de las 20 áreas, solo hay tres ejecuciones por área y sin barras de error, y el límite de tiempo no fija un tope de gasto: una pasada de Mo cuesta unos 720 dólares, frente a unos 53 de la mejor configuración de Codex. En Hacker News, varios usuarios pidieron una comparación con probadores humanos y se preguntaron si un arnés propio mantendrá su ventaja a medida que mejoren los modelos punteros.