LO ESENCIAL EN 30 SEGUNDOS

  • El preprint, publicado en arXiv el 29 de octubre, procede de la Universidad Carnegie Mellon, la Universidad Johns Hopkins y Aurora Innovation.
  • Reformula el aprendizaje por refuerzo como un ajuste de verosimilitud sobre las respuestas acertadas del propio modelo, de modo que todas las etapas comparten una misma pérdida y un mismo búfer de datos.
  • En pruebas a pequeña escala con modelos de 124 millones y 0,76 mil millones de parámetros, los autores indican mejor precisión por unidad de cómputo y mejor retención que el entrenamiento por etapas.

Los grandes modelos de lenguaje suelen construirse en varias fases diferenciadas: un preentrenamiento con enormes cantidades de texto, a veces una fase intermedia ("midtraining") con datos seleccionados, un ajuste fino supervisado (SFT) con ejemplos y, por último, aprendizaje por refuerzo (RL) a partir de recompensas. Un preprint publicado en arXiv el 29 de octubre, titulado "Training Foundation Models with a Single Algorithm", sostiene que esa separación responde más a la costumbre que a una necesidad.

Los diez autores pertenecen a la Universidad Carnegie Mellon (CMU), la Universidad Johns Hopkins y Aurora Innovation. El responsable del proyecto, Yuda Song, trabaja en CMU, y J. Andrew Bagnell figura afiliado tanto a CMU como a Aurora.

Una sola pérdida para todas las etapas

El preentrenamiento, la fase intermedia y el SFT ya comparten un objetivo: que el modelo asigne una probabilidad alta a un conjunto fijo de textos, el principio de máxima verosimilitud. La aportación del artículo es incluir el RL en esa misma familia. Basándose en un trabajo anterior llamado MaxRL, los autores parten del resultado de que una actualización por gradiente de política equivale a acercar el modelo a sus propias respuestas filtradas por éxito. En la práctica, el modelo genera respuestas, se conservan las correctas, con más peso cuanto más difícil le resulta la tarea, y se añaden a un búfer de entrenamiento compartido.

Los autores proponen entonces un "entrenamiento unificado": una sola pérdida aplicada a una mezcla de datos fijos y aciertos generados por el modelo, cuyas proporciones pueden variar con el tiempo. El flujo clásico por etapas pasa a ser un caso particular en el que todo el peso recae en una única fuente en cada momento.

Qué muestran los experimentos

Las pruebas son deliberadamente pequeñas. Un modelo de 124 millones de parámetros se entrenó desde cero con 20.000 millones de tokens y luego con acertijos de razonamiento; otro de 0,76 mil millones de parámetros recibió RL en matemáticas y se evaluó en pruebas como MATH-500, GSM8K y HumanEval+. Según los autores, las mejores configuraciones unificadas superan a las mejores por etapas en precisión final, aprovechan mejor el cómputo a igualdad de presupuesto y conservan mejor las capacidades generales del modelo preentrenado. Las mejoras no son homogéneas: en un caso, más mezcla amplió la cobertura en matemáticas pero redujo la precisión en código.

El trabajo no ha pasado revisión por pares. Sus autores admiten que los experimentos no establecen leyes de escala, que aún no hay un método sistemático para elegir las mezclas ni su calendario y que la mayoría de las pruebas entrenan en una sola tarea de RL a la vez.