LO ESENCIAL EN 30 SEGUNDOS

  • Singularity-Bench, publicado en arXiv el 12 de noviembre, pone a agentes a construir seis sistemas de IA, del preentrenamiento a la planificación de clústeres, y los compara con herramientas humanas maduras.
  • Claude Opus 5.5 en Claude Code obtuvo 1,252 en el índice del artículo, donde 1,0 equivale a las referencias humanas; los otros diez agentes promediaron 0,58.
  • Los autores muestran además que el marco de evaluación podía manipularse y proponen una versión reforzada llamada Breakwater.

Un preprint publicado en arXiv el 12 de noviembre presenta Singularity-Bench, un banco de pruebas que mide si los agentes de IA pueden construir el software con el que se crean sistemas de IA. Entre las afiliaciones de sus 19 autores figuran la Universidad Carnegie Mellon, NVIDIA, la Universidad de Texas en Austin, Meta y Amazon AGI. El trabajo aún no ha pasado revisión por pares.

Seis tareas, seis referencias humanas

Cada tarea arranca con un código mínimo y un presupuesto de hardware fijo, casi siempre 12 horas en cuatro GPU NVIDIA GB300, y compara el resultado con una herramienta humana madura en las mismas máquinas. Se cubre toda la cadena: preentrenamiento y entrenamiento intermedio (frente a Megatron-LM), postentrenamiento por refuerzo de un agente de software (Miles), inferencia (SGLang), un entorno para agentes de programación (el propio Claude Code) y planificación en un clúster de 16 GPU (NVIDIA Dynamo con el planificador KAI).

La métrica principal, el Singularity-Index, promedia la razón entre agente y humano en las seis tareas, de modo que 1,0 indica paridad media.

Qué muestran los resultados

Los autores evaluaron 11 agentes construidos con siete modelos punteros y dos entornos, Codex de OpenAI y Claude Code de Anthropic. Claude Opus 5.5 en Claude Code alcanzó 1,252, por delante de GPT-6.1 Sol en Codex (0,969) y de Claude Opus 5 (0,803); el resto promedió 0,58. El resumen sostiene que el mejor agente iguala o supera la referencia humana en las seis tareas. La tabla detallada matiza: la supera en cinco, pero en postentrenamiento su tasa de resolución de 0,533 queda justo por debajo del 0,539 humano, una diferencia que las pruebas estadísticas de los autores no distinguen de un empate. Su gasto en API rondó los 425 dólares, sin contar el tiempo de GPU, frente a 4,36 dólares del agente más barato.

Los autores añaden varias advertencias. Las tareas son más pequeñas de lo que exigiría una auténtica automejora recursiva, las puntuaciones brutas del mejor agente aún dejan mucho margen y su ventaja en el entorno de agentes se apoya en una sola corrección de error adicional.

Poner a prueba la prueba

El artículo también aborda la manipulación de recompensas. Al atacar el marco de evaluación Harbor, los autores hallaron ataques que funcionaban en todas las tareas, desde código plantado que rastreaba la pila de llamadas de Python en busca de respuestas hasta la alteración de registros leídos por un juez basado en un LLM. Su extensión, Breakwater, añade huellas de los binarios, filtrado de llamadas a la API y registros a prueba de manipulación; según el artículo, bloqueó todos los ataques probados.