Investigadores del MIT afirman que GPT-6 Astra corrigió un pequeño modelo Qwen editando directamente el 0,016 % de sus pesos

Cuatro investigadores del MIT CSAIL, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, publicaron el 2 de noviembre de 2026 una entrada de blog sobre lo que llaman Weight-Space Programming, o programación en el espacio de los pesos. La idea: que un gran modelo de lenguaje, en este caso GPT-6 Astra, lea y modifique directamente los parámetros de otra red neuronal, razonando y ejecutando análisis en Python en lugar de entrenarla. Los propios autores califican los hallazgos de muy preliminares.

El experimento con Qwen

El resultado principal se refiere a Qwen3.5-0.8B, un modelo abierto pequeño que solía quedarse atascado en bucles de razonamiento con problemas de matemáticas: el 93 % de sus respuestas en MATH-500 alcanzaba el límite de 32.768 tokens. Trabajando en un entorno Python sin GPU y usando solo ejercicios de práctica de los conjuntos de entrenamiento de GSM8K y MATH, Astra atribuyó los bucles a una única dirección escrita por los bloques MLP de las capas 15 y 19. Restó esa dirección de 64 columnas de salida en cada capa: 131.072 pesos en total, el 0,016 % del modelo.

Con un presupuesto de 50 pasadas hacia delante, los autores indican que la precisión pasó del 7,9 % al 48,1 % en MATH-500, del 13,8 % al 67,1 % en GSM8K y del 21,0 % al 62,3 % en IFEval, una prueba de seguimiento de instrucciones. La proporción de respuestas de MATH-500 que topaban con el límite bajó al 33,1 %. En Gemma 3 270M, que rara vez entra en bucle, ninguna edición movió MATH-500 más de un punto aproximadamente. Los autores concluyen que estas ediciones pueden retirar un obstáculo que oculta una capacidad, pero no añadir una que el modelo no tiene.

Otras pruebas usan redes pequeñas: según los autores, Astra reconoció un juego solo a partir de los pesos de una política y arregló una política PPO de un coche atascado en una rampa cambiando el 3,5 % de sus pesos.

Advertencias y críticas

Ninguno de estos resultados se ha replicado de forma independiente, y todas las cifras proceden de los autores. En una entrada publicada el 3 de noviembre, Sean Goedecke sostiene que el trabajo demuestra una aritmética mental notable, no una investigación sobrehumana. A su juicio, las redes de juegos pueden interpretarse con un simple mapa de calor de pesos por casilla, y eliminar una dirección de bucle se parece a técnicas ya conocidas de dirección o abliteration que una persona experta podría aplicar. También señala que Astra tuvo Python para Qwen pero no para las redes de juguete.

Usos como auditar o fusionar modelos se plantean como posibilidades, no como resultados demostrados.