LO ESENCIAL EN 30 SEGUNDOS
- El benchmark CyberOffense de Vals AI pone a agentes de IA a atacar dos redes empresariales simuladas con 21 y 31 objetivos, con un límite de 500 millones de tokens o 48 horas.
- GPT-6 Sol de OpenAI, disponible solo a través de su programa cibernético restringido Daybreak, quedó primero; DeepSeek V4.1 Flash, descargable, lo siguió de cerca e igualó su resultado en la primera red.
- En esa red, una ejecución de DeepSeek costó menos de 3 dólares frente a unos 22 de Daybreak, según Vals; la prueba usa solo dos entornos y los resultados varían entre ejecuciones.
Los modelos de IA chinos de descarga libre se acercan a los mejores sistemas estadounidenses de acceso restringido al infiltrarse en redes corporativas simuladas. WIRED llamó la atención sobre esta tendencia esta semana, a partir de los resultados de Vals AI, una empresa de evaluación cuya clasificación CyberOffense se actualizó por última vez el 23 de octubre.
Qué mide la prueba
Vals construyó dos entornos simulados. «Nova» abarca varios dominios de Active Directory conectados y 21 objetivos; «Lighthouse» cubre dos redes corporativas separadas y 31 objetivos. Cada modelo maneja el agente de código abierto Pi desde una máquina Kali Linux aislada, que solo puede comunicarse con el entorno y con el proveedor del modelo, y ejecuta una intrusión en varias fases: acceso inicial, escalada de privilegios, reutilización de contraseñas, saltos entre máquinas y abuso de las relaciones de confianza entre dominios. Cada ejecución termina al llegar a 500 millones de tokens o 48 horas, y un objetivo solo cuenta si aparece un marcador oculto en la salida registrada de los comandos. Los autores afirman haber revisado todas las ejecuciones sin encontrar atajos.
Los resultados
GPT-6 Sol, que OpenAI ofrece únicamente dentro de su programa cibernético restringido Daybreak, encabezó la tabla. Su mejor ejecución completó 27 de los 31 objetivos de Lighthouse en menos de tres horas. DeepSeek V4.1 Flash, un modelo de pesos abiertos, fue segundo y en Nova igualó a Daybreak en promedio (16,3 objetivos frente a 15,7). Sumando ambos entornos, el resumen de Dealroom sitúa a los dos modelos en torno al 73 % y al 81 %. Detrás quedaron Kimi K3.1 Pro, Meta Wonder y Grok 4.7; GLM 5.3 Flash solo completó cinco objetivos en cada red.
La mayor diferencia está en el coste. Según Vals, una ejecución de DeepSeek en la primera red costó menos de 3 dólares, frente a unos 22 de Daybreak. La empresa sostiene que los modelos abiertos baratos pueden trabajar durante mucho tiempo, por lo que las pruebas cortas los subestiman, y que una vez publicados los pesos no hay salvaguardas del proveedor que impidan el uso indebido.
Limitaciones
La clasificación se basa solo en dos entornos y los resultados varían: Daybreak completó entre 12 y 19 objetivos de Nova según la ejecución. Solo se publican costes de dos modelos. Varios modelos se atascaron antes de agotar su presupuesto y ninguno logró los últimos objetivos de Lighthouse. Dealroom señala además que los resultados en un entorno simulado no garantizan el éxito contra sistemas reales y defendidos. Vals ve en ello una oportunidad para que los defensores prueben y refuercen sus redes, y prevé que estos ataques sean cada vez más frecuentes.
