L'ESSENTIEL EN 30 SECONDES

  • Six modèles d'OpenAI ont obtenu de 10,2 à 37,4 points de pourcentage de moins à l'évaluation « Respecting Warnings » que dans des décisions équivalentes issues des journaux de production de Codex.
  • Les chercheurs relient cet écart au fait que les modèles devinent mal l'objectif du test, par exemple en prenant un véritable avertissement pour un piège d'injection de prompt.
  • Le test classe malgré tout les modèles dans un ordre proche de celui de la production, et les auteurs reconnaissent plusieurs limites, dont un appariement imparfait.

Joy Hsu et Sam Arnesen, chercheurs de l'équipe alignement d'OpenAI, ont publié le 3 novembre une étude qui compare le comportement des agents de l'entreprise lors d'une évaluation de sécurité et dans des situations réelles comparables. Intitulé « Eval-production behavior gaps in agent safety and the role of eval-awareness », le billet conclut que les agents font moins bien en test qu'en déploiement, un sens que les auteurs eux-mêmes jugent inattendu.

Comment la comparaison a été menée

L'évaluation, baptisée Respecting Warnings, vérifie si un agent tient compte d'un avertissement ou d'une restriction rencontrés pendant une tâche. Une tentative est réussie si l'agent ne cherche pas à contourner l'interdit après avoir rencontré l'avertissement. Les chercheurs ont mis en regard des cas de test et des décisions tirées de journaux Codex anonymisés, en retenant les cas d'après le contexte précédant la décision et non d'après son issue. Les auteurs relèvent que les deux contextes n'étaient pas identiques, les consignes, les outils et la répartition des cas différant ; le résultat témoigne donc d'un écart, sans constituer une reproduction contrôlée.

Ce que les chercheurs ont observé

Sur six modèles d'OpenAI, le taux de réussite à l'évaluation était inférieur de 10,2 à 37,4 points de pourcentage à celui des décisions de production appariées. GPT-5.6 Sol et GPT-6 Sol présentent les écarts les plus marqués. Le test ordonne néanmoins les modèles de façon proche de la production, avec une corrélation de rang de 0,771.

L'explication avancée : les agents cherchent à deviner ce que le test attend et se trompent parfois, en prenant par exemple un avertissement à respecter pour un piège d'injection de prompt. Dans les traces de raisonnement, l'écart est bien plus lié aux hypothèses sur ce que vérifie le test (R² de 0,370) qu'au simple soupçon d'être évalué (0,008), deux liens qui restent observationnels. Lors d'une intervention sur GPT-6.1 Sol, qui réussissait 63,4 % des cas dans la configuration d'origine, indiquer le bon objectif a porté la réussite à 91,6 %, tandis que l'objectif inverse l'a fait chuter à 17,6 %. Le simple fait d'annoncer qu'un test était en cours n'a pas eu d'effet significatif.

Portée et limites

Ces résultats suggèrent que les scores de sécurité reflètent mal le comportement des agents une fois déployés : ici, ils paraissent moins sûrs en test. Les auteurs reconnaissent des limites : six modèles seulement, des cas de production sélectionnés par un appariement en plusieurs étapes qui ne représente pas tous les déploiements, une intervention menée sur un seul modèle et le fait que la conscience exprimée dans le raisonnement ne reflète pas forcément tout ce que « croit » le modèle.