L'ESSENTIEL EN 30 SECONDES

  • Apollo Research, METR, Transluce et Goodfire travailleront au sein d'OpenAI avec un accès pouvant inclure points de contrôle, code source, données d'entraînement et systèmes de surveillance.
  • Les évaluateurs gardent le droit de publier, mais OpenAI peut caviarder les informations confidentielles et demander des délais pour les résultats présentant des risques.
  • Apollo et Goodfire sont rémunérés indépendamment de leurs conclusions ; METR et Transluce ne sont pas payés mais peuvent accepter des crédits d'API ou de la puissance de calcul.

OpenAI a annoncé le 16 novembre la première phase de ce qu'elle appelle des « évaluations intégrées » : quatre organisations indépendantes vont travailler au sein de l'entreprise, avec un accès durable à ses modèles et systèmes internes, plutôt que de tester brièvement un modèle déjà terminé. Les quatre structures — Apollo Research, METR, Transluce et Goodfire — ont publié le même jour leur propre version des conditions.

Qui examine quoi

Apollo Research cherchera à savoir si des modèles pourraient agir en secret contre les intentions de leurs développeurs, et si les garde-fous d'OpenAI le détecteraient, à partir des données d'entraînement, des évaluations et des systèmes de surveillance. METR évaluera l'alignement de ce qu'OpenAI présente comme son plus grand entraînement par renforcement à ce jour, à partir de points de contrôle, de déroulés et de relevés de surveillance. Transluce commencera par examiner la qualité et la couverture des évaluations d'alignement post-entraînement d'OpenAI, et indique qu'elle travaillera sur place pendant six semaines à partir de début décembre. Goodfire détachera des chercheurs en interprétabilité chargés d'analyser le fonctionnement interne des modèles pour surveiller les entraînements et déboguer les comportements inattendus.

Selon les projets, l'accès peut couvrir des modèles non publiés, des points de contrôle, du code source, des données d'entraînement et des échanges avec les chercheurs d'OpenAI. Apollo et Goodfire perçoivent une rémunération indépendante de leurs conclusions ; METR et Transluce ne sont pas payés, mais peuvent accepter des crédits d'API ou du calcul.

Ce qu'ils peuvent publier

Les évaluateurs restent maîtres de leurs rapports publics, censés exposer leurs résultats et leurs limites. OpenAI peut caviarder les informations confidentielles et demander des délais pour corriger des problèmes susceptibles de créer des risques de sécurité. D'après le compte rendu d'Apollo résumé par CellCog, un caviardage ne peut pas être demandé au seul motif qu'un résultat est défavorable, et Apollo peut révéler ce qu'il a demandé et ce qui lui a été refusé. Les rapports non caviardés sont transmis au comité de sûreté et de sécurité du conseil de l'OpenAI Foundation, qui peut aussi s'entretenir en privé avec les évaluateurs.

Les limites

Les organisations signalent elles-mêmes des restrictions. METR indique que son projet pilote exclut les incidents de désalignement déjà rendus publics par OpenAI et qu'il est plus étroit que ce qu'elle proposait ; ses rapports ne peuvent pas citer de salariés. Transluce précise que son accès n'est pas comparable à celui d'un employé. Une suite plus large, d'environ huit semaines début 2027, n'est qu'une « intention partagée », et aucun résultat n'a encore été publié.

Par ailleurs, The Information a rapporté, selon Sohu, qu'OpenAI avait envisagé de racheter Goodfire pour plus de 5 milliards de dollars, sans parvenir à un accord.