OpenAI affirme que des sondes d'activation analysent chaque réponse de ses assistants depuis GPT-5.6, jeton par jeton

OpenAI a publié une note méthodologique sur ses « sondes d'activation », de petits classifieurs qui lisent l'état interne d'un modèle plutôt que son texte, afin de surveiller ce qu'écrivent ses assistants. Le billet, mis en ligne le 2 novembre sur le blog de recherche en alignement de l'entreprise et signé par cinq chercheurs, indique que ces sondes tournent sur toutes les réponses d'assistant de ses modèles les plus avancés depuis GPT-5.6. Un billet du 29 octobre les présentait déjà comme la première couche, volontairement très sensible, de son dispositif contre les comportements mal alignés.

Un fonctionnement en temps réel

Les sondes exploitent les activations du flux résiduel, généralement prélevées sur une couche située vers le milieu du réseau, et renvoient un score pour chaque jeton généré pendant la diffusion de la réponse, calculé directement sur le moteur d'inférence. Si un score franchit un seuil, trois mesures s'enclenchent : la diffusion vers l'utilisateur s'interrompt, les appels d'outils sont bloqués jusqu'à ce qu'ils soient jugés sûrs, et le cas remonte à un modèle de raisonnement qui rend la décision finale. OpenAI y voit une couche parmi d'autres dans une défense en profondeur qui comprend aussi des classifieurs textuels.

L'architecture retenue associe une sonde de type attention à une moyenne mobile, ce qui, selon les auteurs, limite la mémoire nécessaire pendant le flux. L'entraînement porte sur environ un million de messages au maximum, mêlant conversations synthétiques et anonymisées, étiquetés par les modèles de raisonnement les plus performants de l'entreprise jouant le rôle de juges. Les résultats variant fortement d'un entraînement à l'autre, l'équipe teste au moins 32 graines aléatoires par configuration et attribue environ 85 % des écarts de performance à la seule initialisation.

Ce qu'OpenAI affirme, et ce qu'elle ne dit pas

Lors des tests adverses menés par OpenAI, les sondes se sont montrées globalement plus robustes aux jailbreaks que les classifieurs fondés sur le contenu, surtout face à des attaques qui ne les visaient pas spécifiquement. Les auteurs préviennent que de vrais attaquants peuvent s'adapter à l'ensemble du dispositif. Ils constatent aussi que les sondes se transfèrent bien d'un point de contrôle de post-entraînement à l'autre, moins bien entre points de contrôle de pré-entraînement, et que leurs performances continuent de progresser sur les plus grands modèles.

Les limites sont clairement énoncées. Les sondes étant supervisées, elles ne repèrent que les comportements appris, et comme elles dépendent des activations d'un modèle précis, elles doivent être réentraînées pour chaque nouveau modèle de base. Le billet ne donne aucun taux de rappel ni de fausses alertes en production et précise que ses graphiques, issus d'expériences internes, ne reflètent pas forcément les classifieurs déployés. On ignore donc, par exemple, à quelle fréquence une réponse légitime est coupée.