Des chercheurs du MIT CSAIL ont rapporté le 2 novembre une expérience de programmation dans l’espace des poids, dans laquelle GPT-6 Astra a modifié directement les poids du modèle au lieu d’utiliser une descente de gradient ou un fine-tuning. Dans le compte rendu de recherche, l’équipe indique qu’Astra a modifié 131,072 poids de Qwen3.5-0.8B, soit environ 0.016 % du modèle, en ciblant les couches MLP 15 et 19.
Avec un budget de 50 passes avant, le modèle modifié est passé de 7.9 % à 48.1 % sur MATH-500 et de 13.8 % à 67.1 % sur GSM8K, selon la publication. La part des réponses MATH-500 atteignant la limite de 32,768 tokens a également chuté de 93.0 % à 33.1 %, ce que les auteurs présentent comme la preuve que la modification a supprimé un mode de défaillance en boucle.
La réserve est centrale dans cette affirmation. Comme l’écrit la publication : « Corriger les boucles ne revient toutefois pas à rendre un modèle meilleur en mathématiques : cela lui permet de terminer des réponses qu’il pouvait déjà résoudre. » Les auteurs signalent aussi un contrôle négatif sur Gemma 3 270M, pour lequel Astra n’a pas amélioré les résultats de manière significative.