Pesquisa do MIT mostra que LLMs podem ler e editar pesos de modelos, mas ganhos maiores dependem de código
Autores apresentam 'Weight‑Space Programming' e demonstram leituras e edições de tensores; especialistas apontam que resultados expressivos usaram execução de código e fluxos assistidos por ferramentas, não só raciocínio sobre pesos crus.
Pesquisadores do MIT CSAIL publicaram um artigo e materiais no GitHub propondo a ideia de Weight‑Space Programming, que mostra que grandes modelos de linguagem (LLMs) podem ser instruídos a inspecionar tensores de pesos "crus" e sugerir edições destinadas a alterar o comportamento de uma rede neural.
O trabalho relata pequenas vitórias sem uso de ferramentas externas — por exemplo, nomear corretamente qual dos quatro jogos em uma grade 10×10 havia sido aprendido por uma política com 17 mil pesos, e identificar heads em fatias de transformadores pequenos sem executar as redes.
Críticos destacam uma divisão metodológica importante: os resultados mais chamativos com modelos maiores, incluindo um ganho alegado no benchmark MATH para Qwen3.5‑0.8B, envolveram execução de Python, testes iterativos e runs do modelo, ou seja, fluxos assistidos por código em vez de puro raciocínio apenas sobre os pesos.
Testes independentes por outros pesquisadores mostram que os prompts "sem ferramentas" podem funcionar em modelos distintos, mas frequentemente exigem raciocínios muito longos, alto custo computacional e apresentam sucesso inconsistente. Assim, a ideia de uma autorreparação ampla sem ferramentas permanece sem comprovação.
Se os métodos se mostrarem robustos, edições diretas de pesos poderiam acelerar debug e correções direcionadas em modelos. A comunidade, porém, pede que os experimentos sejam claramente separados por tipo, que os procedimentos assistidos por código sejam abertos para reprodução e que benchmarks transparentes sejam apresentados antes de avaliar o impacto prático.