Forschende des MIT CSAIL berichteten am 2. November über ein Weight-Space-Programming-Experiment, bei dem GPT-6 Astra Modellgewichte direkt bearbeitete, statt Gradient Descent oder Fine-Tuning einzusetzen. Im Forschungsbericht schreibt das Team, dass Astra 131,072 Gewichte in Qwen3.5-0.8B veränderte – rund 0.016% des Modells – und dabei auf die MLP-Schichten 15 und 19 zielte.
Mit einem Budget von 50 Forward-Passes verbesserte sich das bearbeitete Modell laut Beitrag bei MATH-500 von 7.9% auf 48.1% und bei GSM8K von 13.8% auf 67.1%. Der Anteil der MATH-500-Antworten, die das Limit von 32,768 Tokens erreichten, sank zudem von 93.0% auf 33.1%. Die Autoren werten dies als Hinweis darauf, dass die Bearbeitung einen Fehlermodus mit Endlosschleifen beseitigte.
Die Einschränkung ist zentral für die Aussage. Wie es im Beitrag heißt: „Endlosschleifen zu beheben, bedeutet jedoch nicht, ein Modell besser in Mathematik zu machen: Es ermöglicht dem Modell, Antworten abzuschließen, die es bereits lösen konnte.“ Die Autoren berichten außerdem über eine Negativkontrolle mit Gemma 3 270M, bei der Astra die Ergebnisse nicht wesentlich verbesserte.