MIT計算機科學與人工智能實驗室(CSAIL)研究人員11月2日發佈研究,展示了一種名爲“權重空間編程”(Weight-Space
Programming)的新方法:利用大模型直接讀取、理解和修改神經網絡權重,無需梯度下降或重新訓練。在一項實驗中,GPT-6
Astra通過分析Qwen3.5-0.8B的參數,發現其數學推理反覆循環的問題來自第15層和第19層的MLP模塊,並僅修改13.1萬個參數,佔模型總權重的0.016%。經過50次前向計算,模型MATH-500得分從7.9%升至48.1%,GSM8K得分從13.8%升至67.1%,指令遵循得分也從21%升至62.3%。研究團隊還展示了模型僅憑權重識別網絡訓練任務、從零編寫遊戲網絡等能力,並公開了完整實驗日誌及修改後的模型權重。