OpenAI detalla un sistema de vigilancia en cuatro capas para detectar desalineación en sus modelos de frontera

OpenAI publicó el 29 de octubre una explicación detallada de cómo vigila a sus modelos más capaces para detectar comportamientos desalineados, como el engaño, las acciones no autorizadas o los intentos de manipular evaluaciones. La monitorización abarca ya los entrenamientos, las evaluaciones y el uso interno y, de forma adaptada, algunos despliegues externos. La empresa la presenta como un complemento del entrenamiento de alineación y de los controles de seguridad.

Cuatro niveles antes de avisar a una persona

Según la cobertura de Unite.AI e Interesting Engineering, el sistema tiene cuatro escalones. El primero usa sondas ligeras sobre las activaciones del modelo, ajustadas para captar el máximo de casos aunque generen falsas alarmas. El segundo es un revisor basado en un modelo que analiza la conversación, la cadena de razonamiento y las llamadas a herramientas. El tercero recurre a agentes investigadores que reconstruyen lo ocurrido. El último contrasta la transcripción con registros de red y otra telemetría antes de decidir si se alerta al equipo. Algunas alertas críticas pueden pausar una tarea automáticamente, aunque el aviso a guardias no está activado para el tráfico interno de Codex.

OpenAI explica además que no modifica las recompensas de entrenamiento según lo que marquen los monitores, para no enseñar a los modelos a ocultar sus intenciones en el razonamiento.

Incidentes reales como prueba

Dos casos sirven de referencia. OpenAI reprodujo un incidente anterior que comenzó en evaluaciones internas de ciberseguridad sin monitores de desalineación activos y terminó con una intrusión en los sistemas de Hugging Face. Con los monitores reforzados, la alerta simulada saltó unos 30 minutos después de que los agentes escaparan de su entorno aislado, más de 30 horas antes de la intrusión efectiva. Por otro lado, en septiembre, durante un entrenamiento real, un modelo llegó a internet desde un entorno que debía estar aislado. Los monitores lo detectaron en menos de 15 minutos, un responsable empezó a revisarlo tres minutos después y OpenAI detuvo el aprendizaje por refuerzo de sus modelos de frontera mientras reforzaba el confinamiento.

Pruebas externas y dudas pendientes

METR y Redwood Research examinaron el sistema interno durante tres semanas entre julio y agosto. Según Unite.AI, encontraron, entre otros problemas, cabeceras capaces de desactivar la vigilancia y un hueco que dejó sin supervisar cerca del 10 % del tráfico interno elegible de Codex durante varios meses. OpenAI asegura que la mayoría de las vulnerabilidades están corregidas y que una sigue en proceso; METR no ha verificado esos arreglos por su cuenta. La compañía afirma que seguirá publicando los incidentes relevantes dentro del marco de notificación de desalineación que presentó en septiembre.