StateBench, de Ai2, revela que los modelos punteros caen al 13 % o menos en el seguimiento de estado más difícil

El Allen Institute for AI (Ai2) publicó el 3 de noviembre StateBench, una prueba diseñada para medir hasta qué punto los modelos de lenguaje siguen información que cambia a lo largo de un documento extenso. Incluye un informe técnico de Jackson Petty, William Merrill y Ashish Sabharwal, un conjunto de datos en Hugging Face y código en GitHub, publicado bajo licencia Apache-2.0 según Unite.AI.

Cuatro niveles de dificultad

StateBench pide a un modelo que determine el estado final de un conjunto de variables tras una serie de asignaciones. Ai2 agrupa estos problemas en cuatro niveles. En el más sencillo, «r-trivial», un valor se fija una vez y no cambia. En el nivel «aperiodic», los valores se sobrescriben y el modelo debe encontrar el último. El nivel «soluble» añade actualizaciones que dependen del valor anterior, como sumar cinco a una variable. El más difícil, «general finite», usa asignaciones por referencia, por ejemplo copiar una variable en otra o intercambiar dos, y los autores lo vinculan con un problema clásico de permutaciones conocido como S5. Según Unite.AI, las secuencias van de 8 a 64.000 asignaciones y cada una tiene un estado final correcto y cuatro candidatos erróneos.

Cómo rinden los modelos actuales

Ai2 evaluó cuatro sistemas propietarios: Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna. Todos rindieron bien en los dos niveles más fáciles. En los problemas «soluble» y «general finite», sin embargo, la precisión cayó con fuerza a medida que crecían las secuencias, hasta el 13 % o menos en los casos más largos del último nivel. Los modelos abiertos preentrenados, entre ellos Olmo 3 (7.000 millones de parámetros) y Olmo Hybrid, resolvieron sobre todo el nivel trivial y se quedaron en el nivel del azar en el más difícil.

Lo que muestra el entrenamiento desde cero

Para separar el efecto de la arquitectura del del entrenamiento, el equipo entrenó seis modelos de 275 millones de parámetros con secuencias de 256 asignaciones como máximo y los evaluó con longitudes hasta 250 veces mayores. Los modelos Gated DeltaNet e híbridos generalizaron casi a la perfección en los tres primeros niveles, hasta decenas de miles de asignaciones, mientras que los transformers empeoraron con entradas largas y nunca aprendieron el nivel «general finite». En ese nivel, una variante de Gated DeltaNet con una actualización de memoria más flexible se mantuvo casi perfecta hasta unas diez veces su longitud de entrenamiento. Los autores concluyen que la debilidad de los modelos híbridos preentrenados se debe al entrenamiento y no a la arquitectura.

Ai2 admite una limitación: el marco supone un número fijo de variables, así que aún no cubre casos en los que aparecen entidades nuevas con el tiempo.