L'ESSENTIEL EN 30 SECONDES

  • GPT-6 Astra a retiré une unique direction responsable des boucles dans les MLP des couches 15 et 19 de Qwen3.5-0.8B, modifiant 131 072 poids, sans gradient ni entraînement.
  • Les auteurs font état d'une hausse de 7,9 % à 48,1 % sur MATH-500, de 13,8 % à 67,1 % sur GSM8K et de 21,0 % à 62,3 % sur IFEval ; la méthode n'a rien apporté à Gemma 3 270M.
  • Les travaux n'ont pas été reproduits de manière indépendante, et le blogueur Sean Goedecke estime qu'un chercheur humain compétent aurait pu faire les mêmes modifications.

Quatre chercheurs du MIT CSAIL, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, ont publié le 2 novembre 2026 un billet de blog consacré à ce qu'ils appellent la « programmation dans l'espace des poids » (Weight-Space Programming). Le principe : faire lire et modifier directement les paramètres d'un réseau de neurones par un grand modèle de langage, ici GPT-6 Astra, qui raisonne et lance des analyses en Python au lieu d'entraîner le réseau. Les auteurs qualifient eux-mêmes ces résultats de très préliminaires.

L'expérience sur Qwen

Le résultat le plus commenté porte sur Qwen3.5-0.8B, un petit modèle ouvert qui tournait souvent en boucle sur les problèmes de mathématiques : 93 % de ses réponses à MATH-500 atteignaient la limite de 32 768 jetons. Dans un environnement Python sans GPU, et avec pour seule matière des exercices tirés des jeux d'entraînement de GSM8K et MATH, Astra a rattaché ces boucles à une direction unique écrite par les blocs MLP des couches 15 et 19. Il a soustrait cette direction de 64 colonnes de sortie dans chaque couche, soit 131 072 poids au total, ou 0,016 % du modèle.

Avec un budget de 50 passes avant, les auteurs rapportent une précision passant de 7,9 % à 48,1 % sur MATH-500, de 13,8 % à 67,1 % sur GSM8K et de 21,0 % à 62,3 % sur IFEval, qui mesure le respect des consignes. La part de réponses MATH-500 bloquées à la limite de jetons tombe à 33,1 %. Sur Gemma 3 270M, qui boucle rarement, aucune modification n'a fait bouger MATH-500 de plus d'un point environ. Conclusion des auteurs : ce type d'édition peut lever un obstacle qui masque une capacité, mais pas en créer une que le modèle n'a pas.

D'autres essais portent sur de petits réseaux : Astra aurait reconnu un jeu à partir des seuls poids d'une politique et réparé une politique PPO de voiture bloquée sur une rampe en modifiant 3,5 % de ses poids.

Réserves et critiques

Aucun de ces résultats n'a été reproduit de façon indépendante, et tous les chiffres proviennent des auteurs. Dans un billet publié le 3 novembre, Sean Goedecke soutient que ces travaux témoignent d'un calcul mental impressionnant plutôt que d'une recherche surhumaine. Selon lui, les réseaux de jeux se lisent avec une simple carte de chaleur des poids par case, et retirer une direction de bouclage s'apparente à des techniques existantes de pilotage ou d'« abliteration » qu'un humain qualifié saurait appliquer. Il relève aussi qu'Astra disposait de Python pour Qwen mais pas pour les réseaux jouets.

Les usages évoqués par les auteurs, comme l'audit ou la fusion de modèles, restent des pistes, non des résultats démontrés.