Un estudio de Stanford concluye que el 44 % de los hallazgos más citados sobre LLM ya no se cumple en modelos recientes

Muchos consejos de prompting proceden de artículos que estudiaron modelos de hace uno o dos años. Un trabajo publicado el 2 de noviembre por Owen Queen y James Zou, de Stanford, mide cuánto tiempo siguen siendo ciertos esos hallazgos. Ambos repitieron 50 resultados muy citados sobre el comportamiento de los grandes modelos de lenguaje con un panel de 20 modelos de ocho desarrolladores, lanzados entre el 18 de julio de 2024 y el 29 de septiembre de 2026.

La mayoría de los fallos de capacidad se han desvanecido

Los autores convirtieron la métrica principal de cada hallazgo en un tamaño de efecto relativo: 1 equivale al efecto original y 0 a su desaparición. Así, 22 hallazgos (44 %) quedaron como caducados, 17 (34 %) como debilitados, 8 (16 %) como vigentes y 3 (6 %) como reforzados.

Entre los caducados predominan los problemas de capacidad: contar letras, hacer cuentas en bases distintas de la decimal, recuperar datos situados en mitad del contexto, inventar referencias o abandonar una respuesta correcta cuando el usuario la cuestiona. Su vida mediana fue de 14,7 meses, de un mes a casi tres años según el caso.

Los comportamientos ligados a preferencias resultaron más duraderos. Halagar al usuario o darle la razón, responder cuando convendría abstenerse y una inclinación política hacia la izquierda persisten. La tendencia de los modelos evaluadores a favorecer sus propias respuestas incluso se reforzó, igual que los elogios que siguen la preferencia declarada del usuario. La inyección de prompts, la llamada «reversal curse» y la preferencia de los evaluadores por respuestas largas se debilitaron sin desaparecer.

Qué implica para quienes trabajan con LLM

Para los desarrolladores, un truco de prompting o un diseño de evaluación basado en un artículo antiguo puede atacar un problema que los modelos actuales ya no tienen, mientras persisten defectos más difíciles de detectar. Los autores recomiendan tratar cada hallazgo como una observación sobre un modelo concreto en un momento concreto, registrar modelo, versión y fecha junto a cada resultado y publicar los prompts y el código de análisis para que otros puedan repetir las pruebas. También desaconsejan dar por hecho, sin comprobarlo, que un resultado antiguo sigue vigente o que ha desaparecido.

Limitaciones

Los autores subrayan que 50 hallazgos son una muestra pequeña y que las estimaciones agregadas tienen intervalos amplios. Las primeras fechas de caducidad se apoyan en solo cuatro modelos de 2024, algunos modelos originales tuvieron que sustituirse y todas las pruebas usaron la configuración de API por defecto de cada proveedor, sin igualar los presupuestos de razonamiento. Los veredictos del panel también pueden ocultar grandes diferencias: en referencias inventadas, un modelo fabricó el 69 % y otro alrededor del 1 %. El trabajo se presenta en una página de proyecto que no enlaza a ninguna prepublicación en arXiv ni a ningún artículo de revista.