MIT CSAIL 研究团队近日展示一种名为“权重空间编程”的方法,让 GPT-6 Astra 直接分析并修改 Qwen3.5-0.8B 的神经网络权重。整个过程没有使用传统梯度训练。
研究人员仅修改了 131072 个参数,占该模型参数的 0.016%。修改后,Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提至 48.1%,GSM8K 从 13.8% 提至 67.1%,指令遵循能力也明显改善。
材料称,提升主要来自修复重复推理问题,而非注入新知识,这种方法的通用性仍待验证。也有质疑认为,数学成绩上涨可能只是因为 Astra 修好了原有 Bug。
