MIT计算机科学与人工智能实验室(CSAIL)研究人员11月2日发布研究,展示了一种名为“权重空间编程”(Weight-Space Programming)的新方法:利用大模型直接读取、理解和修改神经网络权重,无需梯度下降或重新训练。在一项实验中,GPT-6 Astra通过分析Qwen3.5-0.8B的参数,发现其数学推理反复循环的问题来自第15层和第19层的MLP模块,并仅修改13.1万个参数,占模型总权重的0.016%。经过50次前向计算,模型MATH-500得分从7.9%升至48.1%,GSM8K得分从13.8%升至67.1%,指令遵循得分也从21%升至62.3%。研究团队还展示了模型仅凭权重识别网络训练任务、从零编写游戏网络等能力,并公开了完整实验日志及修改后的模型权重。

2026-11-03

MIT计算机科学与人工智能实验室(CSAIL)研究人员11月2日发布研究,展示了一种名为“权重空间编程”(Weight-Space Programming)的新方法:利用大模型直接读取、理解和修改神经网络权重,无需梯度下降或重新训练。在一项实验中,GPT-6 Astra通过分析Qwen3.5-0.8B的参数,发现其数学推理反复循环的问题来自第15层和第19层的MLP模块,并仅修改13.1万个参数,占模型总权重的0.016%。经过50次前向计算,模型MATH-500得分从7.9%升至48.1%,GSM8K得分从13.8%升至67.1%,指令遵循得分也从21%升至62.3%。研究团队还展示了模型仅凭权重识别网络训练任务、从零编写游戏网络等能力,并公开了完整实验日志及修改后的模型权重。