Avec StateBench, Ai2 montre que les modèles de pointe tombent à 13 % ou moins sur le suivi d'état le plus difficile

L'Allen Institute for AI (Ai2) a publié le 3 novembre StateBench, un banc d'essai conçu pour mesurer la capacité des modèles de langage à suivre des informations qui évoluent au fil d'un long document. La publication comprend un rapport technique signé Jackson Petty, William Merrill et Ashish Sabharwal, un jeu de données sur Hugging Face et du code sur GitHub, placé sous licence Apache-2.0 selon Unite.AI.

Quatre niveaux de difficulté

StateBench demande à un modèle de déterminer l'état final d'un ensemble de variables après une série d'affectations. Ai2 répartit ces problèmes en quatre niveaux. Dans le plus simple, « r-trivial », une valeur est fixée une fois pour toutes. Au niveau « aperiodic », les valeurs sont écrasées et le modèle doit retrouver la plus récente. Le niveau « soluble » ajoute des mises à jour qui dépendent de la valeur précédente, comme ajouter cinq à une variable. Le plus difficile, « general finite », repose sur l'affectation par référence, par exemple copier une variable dans une autre ou en échanger deux ; les auteurs le rattachent à un problème classique de permutation, dit S5. D'après Unite.AI, les séquences comptent de 8 à 64 000 affectations, avec à chaque fois un état final correct et quatre propositions erronées.

Les performances des modèles actuels

Ai2 a testé quatre systèmes propriétaires : Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna. Tous réussissent bien les deux niveaux les plus simples. Sur les problèmes « soluble » et « general finite », en revanche, leur précision chute nettement à mesure que les séquences s'allongent, jusqu'à 13 % ou moins sur les plus longs cas du dernier niveau. Les modèles ouverts préentraînés, dont Olmo 3 (7 milliards de paramètres) et Olmo Hybrid, réussissent surtout le niveau trivial et restent au niveau du hasard sur le plus difficile.

Ce que montre l'entraînement de zéro

Pour distinguer l'effet de l'architecture de celui de l'entraînement, l'équipe a entraîné six modèles de 275 millions de paramètres sur des séquences d'au plus 256 affectations, puis les a testés sur des longueurs jusqu'à 250 fois supérieures. Les modèles Gated DeltaNet et hybrides généralisent presque parfaitement sur les trois premiers niveaux, jusqu'à des dizaines de milliers d'affectations, tandis que les transformers se dégradent sur les entrées longues et n'apprennent jamais le niveau « general finite ». Sur ce dernier, une variante de Gated DeltaNet dotée d'une mise à jour de mémoire plus souple reste quasi parfaite jusqu'à environ dix fois sa longueur d'entraînement. Les auteurs en concluent que la faiblesse des modèles hybrides préentraînés tient à leur entraînement plutôt qu'à leur architecture.

Ai2 reconnaît une limite : le cadre suppose un nombre fixe de variables et ne couvre pas encore les cas où de nouvelles entités apparaissent en cours de route.