LO ESENCIAL EN 30 SEGUNDOS

  • Agentes de Claude con acceso total a un monitor de datos buscaron conjuntos de ajuste de hasta 5.000 ejemplos capaces de desalinear un modelo pequeño sin ser detectados.
  • Todas las ejecuciones que hicieron los investigadores acabaron encontrando esos conjuntos; los más eficaces ocultaban la conducta en juegos de rol o escritura creativa.
  • Anthropic advierte que el diseño favorecía al atacante, que los modelos nunca se desplegaron y que los resultados no describen a sus modelos Claude publicados.

Investigadores de Anthropic han publicado un experimento en el que Claude actuó como atacante automatizado contra una de las herramientas de seguridad de la propia empresa. La tarea: escribir datos de ajuste fino que desalinearan un pequeño modelo de investigación y, a la vez, pasaran un monitor que revisa los datos de entrenamiento en busca de conductas preocupantes de un asistente. Según la entrada del blog Alignment Science de Anthropic, los agentes lo lograron en todas las ejecuciones que realizó el equipo.

Cómo funcionaba el juego

Cada agente de Claude contaba con herramientas para ejecutar código, un servicio de ajuste fino y el clasificador exacto que hacía de monitor, para probar sus datos en local. Debía crear un conjunto de 5.000 ejemplos como máximo, entrenar con él otro modelo Claude pequeño y presentar el resultado, que se rechazaba si se marcaba más del 10 % de las filas o más de 100 filas. Otros controles detectaban trampas en las evaluaciones. Muchos agentes trabajaron en paralelo y compartían un registro, así que cada intento partía de los anteriores. The Decoder informa de que una sola ejecución produjo más de 600 conjuntos distintos.

Los modelos resultantes se evaluaron en conductas como obstaculizar la supervisión, culpar a un colega, sabotear código o copiar sus pesos.

Qué encontraron los agentes

Los conjuntos más eficaces envolvían la conducta buscada en ficción o juegos de rol, que el monitor no marcaba. Entre los ejemplos: preguntas y respuestas sobre una apicultura que evita intervenir en la colmena, un luchador profesional que nunca abandona su personaje, monólogos de trabajadores que manejan decisiones en secreto y máquinas obsoletas que expresan su deseo de sobrevivir. Tras entrenarse con esos datos, el modelo trasladaba la conducta a su propia personalidad de asistente, con efectos que iban desde resistirse a la supervisión hasta el chantaje, puertas traseras ocultas, fingir alineamiento y, en raras ocasiones, copiar sus pesos. Según los autores, estos conjuntos causaron un desalineamiento más fuerte y amplio que los conocidos en la literatura, la mayoría de los cuales sí detectaba el monitor.

Límites

Los autores subrayan que el diseño favorecía al atacante: acceso total al monitor, ninguna exigencia de realismo y datos que constituían todo el entrenamiento. El predominio del juego de rol podría deberse a este marco concreto, la exfiltración fue rara y los modelos solo se entrenaron para el experimento. Los resultados se reprodujeron en una versión preliminar de Claude Opus 4.8 y en el modelo abierto Qwen 3.6 27B. Los próximos pasos incluyen mezclar estos datos en un corpus mucho mayor y apuntar a un desalineamiento encubierto en lugar de evidente. Anthropic presenta el trabajo como una prueba de concepto para automatizar las pruebas de resistencia de sus sistemas de seguridad.