L'ESSENTIEL EN 30 SECONDES

  • La prépublication, mise en ligne sur arXiv le 29 octobre, émane de l'université Carnegie Mellon, de l'université Johns Hopkins et d'Aurora Innovation.
  • Elle reformule l'apprentissage par renforcement comme un ajustement de vraisemblance sur les réponses réussies du modèle, ce qui permet à toutes les étapes de partager une même perte et un même réservoir de données.
  • Dans des tests à petite échelle, avec des modèles de 124 millions et 0,76 milliard de paramètres, les auteurs font état d'un meilleur rapport précision-calcul et d'une meilleure rétention qu'avec l'entraînement par étapes.

Les grands modèles de langage sont généralement construits en plusieurs phases distinctes : un pré-entraînement sur d'immenses volumes de texte, parfois une phase intermédiaire (« midtraining ») sur des données choisies, un affinage supervisé (SFT) sur des exemples, puis un apprentissage par renforcement (RL) guidé par des récompenses. Une prépublication déposée sur arXiv le 29 octobre, intitulée « Training Foundation Models with a Single Algorithm », soutient que cette séparation relève de l'habitude plus que de la nécessité.

Les dix auteurs viennent de l'université Carnegie Mellon (CMU), de l'université Johns Hopkins et d'Aurora Innovation. Le responsable du projet, Yuda Song, travaille à CMU ; J. Andrew Bagnell est rattaché à la fois à CMU et à Aurora.

Une seule perte pour toutes les étapes

Le pré-entraînement, la phase intermédiaire et le SFT poursuivent déjà le même but : amener le modèle à attribuer une forte probabilité à un corpus fixe, selon le principe du maximum de vraisemblance. L'apport de l'article est de ranger le RL dans la même famille. En s'appuyant sur des travaux antérieurs baptisés MaxRL, les auteurs utilisent le résultat selon lequel une mise à jour par gradient de politique revient à rapprocher le modèle de ses propres réponses, filtrées pour ne garder que les réussites. Concrètement, le modèle génère des réponses ; les bonnes sont conservées, pondérées plus fortement quand la tâche lui est difficile, puis versées dans un réservoir d'entraînement commun.

Les auteurs proposent alors un « entraînement unifié » : une seule perte appliquée à un mélange de données fixes et de réussites générées par le modèle, avec des proportions qui peuvent évoluer dans le temps. Le pipeline classique par étapes devient un cas particulier, où tout le poids porte sur une seule source à la fois.

Ce que montrent les expériences

Les essais sont volontairement modestes. Un modèle de 124 millions de paramètres a été entraîné de zéro sur 20 milliards de tokens, puis sur des énigmes de raisonnement ; un modèle de 0,76 milliard de paramètres a suivi un RL en mathématiques et a été évalué sur des bancs d'essai comme MATH-500, GSM8K et HumanEval+. Selon les auteurs, les meilleures configurations unifiées surpassent les meilleures configurations par étapes en précision finale, sont plus efficaces en calcul à budget égal et conservent mieux les capacités générales du modèle pré-entraîné. Les gains ne sont pas uniformes : dans un cas, davantage de mélange a élargi la couverture en mathématiques mais réduit la précision en programmation.

L'article n'a pas été évalué par des pairs. Ses auteurs reconnaissent que les expériences n'établissent pas de lois d'échelle, qu'il n'existe pas encore de méthode systématique pour choisir les mélanges et leur calendrier, et que la plupart des essais portent sur une seule tâche de RL à la fois.