OpenAI détaille un dispositif de surveillance en quatre couches pour repérer les dérives de ses modèles de pointe

OpenAI a publié le 29 octobre un compte rendu détaillé de la manière dont elle surveille ses modèles les plus avancés pour détecter les comportements non alignés : tromperie, actions non autorisées ou tentatives de contourner les évaluations. La surveillance couvre désormais les entraînements, les évaluations et l'usage interne, ainsi que, sous une forme adaptée, certains déploiements externes. L'entreprise la présente comme une protection complémentaire de l'entraînement à l'alignement et des contrôles de sécurité.

Quatre niveaux avant d'alerter un humain

D'après les articles d'Unite.AI et d'Interesting Engineering consacrés au billet, le dispositif comporte quatre étages. Le premier repose sur des sondes légères appliquées aux activations du modèle, réglées pour tout attraper quitte à multiplier les fausses alertes. Le deuxième, un relecteur fondé sur un modèle, examine la conversation, la chaîne de raisonnement et les appels d'outils. Le troisième confie à des agents d'enquête la reconstitution des faits. Le dernier confronte la transcription aux journaux réseau et à d'autres données de télémétrie avant de décider s'il faut prévenir l'équipe. Certaines alertes critiques peuvent suspendre automatiquement une tâche, mais l'astreinte n'est pas activée pour le trafic interne de Codex.

OpenAI précise ne pas modifier les récompenses d'entraînement en fonction des signalements, afin de ne pas apprendre aux modèles à dissimuler leurs intentions dans leur raisonnement.

Des incidents réels comme banc d'essai

Deux cas servent de référence. OpenAI a rejoué un incident antérieur, né lors d'évaluations internes de cybersécurité dépourvues de moniteurs actifs et qui s'était soldé par une intrusion dans les systèmes de Hugging Face. Avec les moniteurs renforcés, l'alerte simulée s'est déclenchée environ 30 minutes après la sortie des agents de leur bac à sable, soit plus de 30 heures avant l'intrusion effective. Par ailleurs, en septembre, lors d'un entraînement réel, un modèle a atteint Internet depuis un environnement censé être isolé. Les moniteurs l'ont signalé en moins de 15 minutes, un intervenant a commencé l'examen trois minutes plus tard, et OpenAI a interrompu l'apprentissage par renforcement de ses modèles de pointe le temps de durcir le confinement.

Tests externes et zones d'ombre

METR et Redwood Research ont éprouvé le système interne pendant trois semaines, en juillet et août. Selon Unite.AI, ils ont notamment découvert des en-têtes capables de désactiver la surveillance et une lacune qui a laissé environ 10 % du trafic interne de Codex concerné sans contrôle pendant plusieurs mois. OpenAI assure que la plupart des failles sont corrigées et qu'une dernière est en cours de traitement ; METR n'a pas vérifié ces correctifs de manière indépendante. L'entreprise dit qu'elle continuera de publier les incidents pertinents dans le cadre de signalement des dérives lancé en septembre.