OpenAI afirma que sondas de activación revisan cada respuesta de sus asistentes desde GPT-5.6, token a token

OpenAI ha publicado una nota metodológica sobre sus «sondas de activación», pequeños clasificadores que leen el estado interno de un modelo, no su texto, para vigilar lo que escriben sus asistentes. La entrada, del 2 de noviembre y firmada por cinco investigadores en el blog de alineamiento de la empresa, indica que se ejecutan sobre todas las respuestas de sus modelos más avanzados desde GPT-5.6. Una entrada del 29 de octubre ya las presentaba como la primera capa, muy sensible a propósito, de su sistema contra comportamientos desalineados.

Cómo funcionan en tiempo real

Las sondas toman las activaciones del flujo residual, normalmente de una capa situada hacia la mitad de la red, y devuelven una puntuación por cada token generado mientras la respuesta se transmite, calculada directamente en el motor de inferencia. Si una puntuación supera el umbral, ocurren tres cosas: se corta la transmisión al usuario, se bloquean las llamadas a herramientas hasta que se consideren seguras y el caso se escala a un modelo de razonamiento que emite el juicio final. OpenAI las describe como una capa más de una defensa en profundidad que también incluye clasificadores de texto.

El diseño elegido combina una sonda de tipo atención con una media móvil, lo que según los autores reduce la memoria necesaria durante el streaming. El entrenamiento utiliza hasta cerca de un millón de mensajes, entre conversaciones sintéticas y anonimizadas, etiquetados por los modelos de razonamiento más potentes de la empresa, que actúan como jueces. Como los resultados varían mucho de un entrenamiento a otro, el equipo prueba al menos 32 semillas aleatorias por configuración y atribuye en torno al 85 % de la dispersión del rendimiento solo a la inicialización.

Lo que OpenAI afirma y lo que no

En las pruebas de ataque internas de OpenAI, las sondas fueron en conjunto más robustas frente a los jailbreaks que los clasificadores basados en contenido, sobre todo ante ataques no optimizados específicamente contra ellas. Los autores advierten de que los atacantes reales pueden adaptarse al conjunto de las salvaguardas. También señalan que las sondas se transfieren bien entre puntos de control del postentrenamiento, peor entre los del preentrenamiento, y que su rendimiento sigue mejorando en los modelos más grandes.

Los límites se exponen con claridad. Al ser supervisadas, las sondas solo detectan los comportamientos para los que se entrenaron y, como dependen de las activaciones de un modelo concreto, hay que reentrenarlas con cada nuevo modelo base. La publicación no da tasas de detección ni de falsas alarmas en producción y advierte de que sus gráficos, de experimentos internos, no reflejan necesariamente los clasificadores desplegados. Se desconoce, por ejemplo, con qué frecuencia se corta una respuesta legítima.