Latenode

MIT CSAIL diz que Astra corrigiu Qwen ao editar 0.016% dos pesos

Se o resultado se confirmar, ele aponta para um fluxo prático de reparo de modelos com pesos abertos: corrigir diretamente um defeito específico em vez de retreinar. Mas o resultado é apresentado como remoção de bug, não como prova de uma melhoria mais ampla no raciocínio.

Pesquisadores editam uma pequena fração dos pesos de um modelo Qwen

Pesquisadores do MIT CSAIL relataram, em 2 de novembro, um experimento de Programação no Espaço de Pesos no qual o GPT-6 Astra editou diretamente os pesos do modelo, em vez de usar descida de gradiente ou ajuste fino. No relato da pesquisa, a equipe afirma que o Astra alterou 131,072 pesos no Qwen3.5-0.8B, cerca de 0.016% do modelo, visando as camadas MLP 15 e 19.

Com um orçamento de 50 passagens diretas, o modelo editado melhorou de 7.9% para 48.1% no MATH-500 e de 13.8% para 67.1% no GSM8K, segundo a publicação. A parcela de respostas do MATH-500 que atingiram o limite de 32,768 tokens também caiu de 93.0% para 33.1%, o que os autores citam como evidência de que a edição eliminou um modo de falha por repetição em loop.

A ressalva é central para a afirmação. Como diz a publicação: "Corrigir loops, no entanto, não é o mesmo que tornar um modelo melhor em matemática: isso permite que o modelo conclua respostas que ele já conseguia resolver." Os autores também relatam um controle negativo no Gemma 3 270M, no qual o Astra não melhorou os resultados de forma significativa.

Quando modelos e APIs mudam o fluxo continua rodando

Conecte em um único cenário os modelos e apps de notícias como esta. Se um provedor mudar roteamento, preço ou disponibilidade, você atualiza o fluxo — sem recomeçar do zero.

Começar grátis

Plano gratuito para sempre. Não é necessário cartão de crédito.

O que a Latenode deve construir?

Continuar sem prompt →