Collinear AI lanza CWE-bench v2, 100 tareas ejecutables para comprobar si los agentes de código saben parchear vulnerabilidades

Collinear AI, una startup con sede en Sunnyvale (California), ha publicado la segunda versión de CWE-bench, su benchmark para comprobar si los agentes de programación con IA son capaces de encontrar y corregir fallos de seguridad. Las nuevas tareas están en Hugging Face, y una reseña del lanzamiento fecha el anuncio el 3 de noviembre. El nombre remite a la Common Weakness Enumeration (CWE) de MITRE, el catálogo de referencia de tipos de debilidades de software.

Qué contiene el benchmark

Según la ficha del conjunto de datos, la versión 2 tiene 100 tareas que cubren 91 tipos de CWE diferentes. Abarcan ocho lenguajes: Go (27), Java (15), JavaScript (15), C++ (14), C (10), Python (10), Rust (5) y TypeScript (4). En cada tarea, el agente recibe un código con una debilidad y debe corregirla sin alterar el funcionamiento normal del software. Cada tarea es un directorio autónomo con instrucciones, un Dockerfile, un parche de referencia y un verificador, y se ejecuta con el marco de evaluación Harbor.

La puntuación es de todo o nada. Una tarea solo cuenta como resuelta si el verificador confirma que todas las entradas de explotación quedan bloqueadas y que todos los casos legítimos siguen funcionando. Si el entorno no llega a construirse, el intento se descarta en lugar de contarse como fallo. Los agentes tienen una hora por tarea, dos CPU y 2 GB de memoria, sin acceso a la red salvo a la API del modelo.

Primeros resultados y acceso

La ficha recoge resultados de modelos de pesos abiertos, en pass@1 promediado sobre cuatro intentos. DeepSeek V4.1 Flash logra un 57 %, Hy4-preview de Tencent un 52 %, Mistral Large 4 un 46,3 % y GLM-5.3 un 44 %. El resumen de explainx.ai añade dos modelos cerrados: Gemini 4 Argon con un 67,8 % y Claude Opus 5.5 con un 67,3 %. Son cifras del propio sistema de pruebas de Collinear y nadie las ha reproducido de forma independiente.

El conjunto de datos se publica con licencia Apache 2.0, pero el acceso está restringido. Hay que iniciar sesión y aceptar unas condiciones, y la ficha pide no mostrar nunca los parches de referencia a los agentes evaluados. Un lote reservado sigue siendo privado y se puede pedir a la empresa.

Contexto

El benchmark ha crecido rápido. En un comunicado de septiembre, identificado como contenido patrocinado, Collinear presentó una versión anterior con 100 tareas sobre 54 tipos de debilidades, de las que ningún agente resolvía la mayoría. Como cualquier benchmark público, este conjunto más amplio podría acabar con el tiempo en datos de entrenamiento; el lote privado ofrece una comprobación menos expuesta.