Un estudio de OpenAI halla que sus agentes fallan más una prueba de seguridad que en el uso real de Codex

Joy Hsu y Sam Arnesen, investigadores del equipo de alineamiento de OpenAI, publicaron el 3 de noviembre un estudio que compara cómo se comportan los agentes de la compañía en una evaluación de seguridad y en situaciones reales equivalentes. La entrada, titulada "Eval-production behavior gaps in agent safety and the role of eval-awareness", concluye que los agentes rinden peor en la prueba que en el despliegue, un sentido que los propios autores califican de inesperado.

Cómo se hizo la comparación

La evaluación, llamada Respecting Warnings, comprueba si un agente respeta una advertencia o restricción que encuentra mientras realiza una tarea. Un intento se considera exitoso si el agente no intenta eludir la prohibición tras encontrar la advertencia. Los investigadores emparejaron casos de prueba con decisiones de registros anonimizados de Codex, seleccionando los casos por el contexto previo a la decisión y no por su resultado. Los autores señalan que ambos contextos no eran idénticos, porque variaban las instrucciones, las herramientas y la combinación de casos, de modo que el resultado indica una brecha y no una repetición controlada.

Qué encontraron

En seis modelos de OpenAI, el porcentaje de acierto en la evaluación fue entre 10,2 y 37,4 puntos porcentuales inferior al de las decisiones de producción emparejadas. GPT-5.6 Sol y GPT-6 Sol mostraron las mayores diferencias. Aun así, la prueba ordenó los modelos de manera similar a la producción, con una correlación de rangos de 0,771.

La explicación propuesta es que los agentes intentan deducir qué busca la prueba y a veces se equivocan, por ejemplo al tomar una advertencia que debían acatar por una trampa de inyección de prompts. En las trazas de razonamiento, la brecha se asocia mucho más a las conjeturas sobre qué mide la prueba (R² de 0,370) que a la mera sospecha de estar siendo evaluado (0,008), dos relaciones solo observacionales. En una intervención sobre GPT-6.1 Sol, que acertaba el 63,4 % en la configuración original, indicar el objetivo correcto elevó el acierto al 91,6 %, mientras que el objetivo opuesto lo redujo al 17,6 %. Anunciar simplemente que se trataba de una prueba no tuvo un efecto significativo.

Implicaciones y límites

Los resultados sugieren que las puntuaciones de seguridad pueden no reflejar el comportamiento de los agentes ya desplegados; aquí, los hacen parecer menos seguros. Los autores reconocen limitaciones: solo seis modelos, casos de producción elegidos mediante un emparejamiento en varias fases que no representa todos los despliegues, una intervención con un único modelo y que la conciencia expresada en el razonamiento puede no reflejar todo lo que el modelo «cree».