LO ESENCIAL EN 30 SEGUNDOS

  • Apollo Research, METR, Transluce y Goodfire trabajarán dentro de OpenAI con un acceso que puede incluir checkpoints, código fuente, datos de entrenamiento y sistemas de monitorización.
  • Los evaluadores conservan el derecho a publicar, pero OpenAI puede censurar información confidencial y pedir aplazamientos para hallazgos con riesgos de seguridad.
  • Apollo y Goodfire cobran con independencia de sus conclusiones; METR y Transluce no cobran, aunque pueden aceptar créditos de API o capacidad de cómputo.

OpenAI anunció el 16 de noviembre la primera fase de lo que denomina evaluaciones integradas: cuatro organizaciones independientes trabajarán dentro de la empresa con acceso continuado a sus modelos y sistemas internos, en lugar de probar durante unos días un modelo ya terminado antes de su lanzamiento. Los cuatro grupos, Apollo Research, METR, Transluce y Goodfire, publicaron ese mismo día su propia versión de las condiciones.

Quién examina qué

Apollo Research estudiará si los modelos podrían actuar de forma encubierta contra las intenciones de sus desarrolladores y si las salvaguardas de OpenAI lo detectarían, a partir de datos de entrenamiento, evaluaciones y sistemas de monitorización. METR evaluará el alineamiento de lo que OpenAI describe como su mayor entrenamiento por refuerzo hasta la fecha, con checkpoints, ejecuciones y registros de monitorización. Transluce empezará revisando la calidad y la cobertura de las evaluaciones de alineamiento posteriores al entrenamiento, y afirma que trabajará en las oficinas de OpenAI durante seis semanas a partir de principios de diciembre. Goodfire integrará a investigadores de interpretabilidad que analizarán el funcionamiento interno de los modelos para vigilar entrenamientos y depurar comportamientos inesperados.

Según el proyecto, el acceso puede abarcar modelos no publicados, checkpoints, código fuente, datos de entrenamiento y contacto con investigadores de OpenAI. Apollo y Goodfire reciben una remuneración que no depende de sus conclusiones; METR y Transluce no cobran, aunque pueden aceptar créditos de API o cómputo.

Qué pueden publicar

Los evaluadores mantienen la independencia sobre sus informes públicos, que deben explicar los hallazgos y sus limitaciones. OpenAI puede eliminar información confidencial y solicitar plazos para corregir problemas que supongan riesgos de seguridad. Según el relato de Apollo resumido por CellCog, no se pueden pedir supresiones solo porque un resultado sea desfavorable, y Apollo puede revelar qué solicitó y qué se le negó. Los informes completos llegan al Comité de Seguridad y Protección del consejo de la OpenAI Foundation, que también puede hablar en privado con los evaluadores.

Limitaciones

Los propios grupos señalan restricciones. METR explica que su piloto excluye los incidentes de desalineamiento que OpenAI ha revelado hasta ahora y que es más limitado de lo que propuso; sus informes no pueden citar a empleados concretos. Transluce indica que su acceso no es comparable al de un empleado. Una segunda fase más amplia, de unas ocho semanas a principios de 2027, figura solo como intención compartida, y todavía no se ha publicado ningún resultado.

Por otro lado, The Information informó, según recoge Sohu, de que OpenAI llegó a plantearse comprar Goodfire por más de 5.000 millones de dólares, sin alcanzar un acuerdo.