权重空间编程：GPT-6 Astra 不用梯度，改 0.016% 的权重把小模型数学分数翻了六倍
权重这东西，人是读不懂的。前沿模型好像能读。11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 发了一篇《Sparks of Weight-Space Programming》，当天冲上 Hacker News 第一，约 1300 分。
做法很直接。把一个网络的原始权重丢给 GPT-6 Astra，用大白话告诉它目标，让它自己推理。不写训练循环，不跑梯度下降。四个用 PPO 训出来的游戏策略网络，每个 17253 个权重，Astra 光看数字就说出了各自玩的是哪个游戏。让它把 Qwen3.5-0.8B 的数学变好，它找到了 Qwen 模型卡里就提过的推理死循环，定位到第 15 层和第 19 层 MLP 写入的一个方向，在每层 64 个输出列里把它减掉，一共动了 131072 个权重，占全模型 0.016%。MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，连根本没针对的 IFEval 也从 21.0% 到 62.3%。撞到 32768 token 上限的答案从 93% 降到 33%。
更值得信的是它写出来的失败。换成 Gemma 3 270M，这个模型本来就不怎么死循环，Astra 怎么改 MATH-500 都动不了一个点以上。作者的原话说得很清楚：改权重能清掉一个挡住能力的障碍，但加不出模型本来没有的能力。让它从两个 Gemma 里找出被训成谄媚的那个，只看权重 4 次全错，允许它看自己写的文本上的注意力模式后 3 次全对。
真正的信号是方向。LLM 先是优化提示词，后来优化 harness，再后来优化训练代码。这篇文章说，最后一块留给 Adam、Muon 这类符号优化器的地盘，也就是权重本身，也要被拿走了。现在还很早，规模小，只测了一个模型，但它把可解释性和优化变成了同一件事，交给一个会推理而不是只会下降的 agent。
原文：https://rikiyat.github.io/blog/weight-space-programming/ 日志：https://github.com/RikiyaT/lm_understand-logs
← 返回所有文章
做法很直接。把一个网络的原始权重丢给 GPT-6 Astra，用大白话告诉它目标，让它自己推理。不写训练循环，不跑梯度下降。四个用 PPO 训出来的游戏策略网络，每个 17253 个权重，Astra 光看数字就说出了各自玩的是哪个游戏。让它把 Qwen3.5-0.8B 的数学变好，它找到了 Qwen 模型卡里就提过的推理死循环，定位到第 15 层和第 19 层 MLP 写入的一个方向，在每层 64 个输出列里把它减掉，一共动了 131072 个权重，占全模型 0.016%。MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，连根本没针对的 IFEval 也从 21.0% 到 62.3%。撞到 32768 token 上限的答案从 93% 降到 33%。
更值得信的是它写出来的失败。换成 Gemma 3 270M，这个模型本来就不怎么死循环，Astra 怎么改 MATH-500 都动不了一个点以上。作者的原话说得很清楚：改权重能清掉一个挡住能力的障碍，但加不出模型本来没有的能力。让它从两个 Gemma 里找出被训成谄媚的那个，只看权重 4 次全错，允许它看自己写的文本上的注意力模式后 3 次全对。
真正的信号是方向。LLM 先是优化提示词，后来优化 harness，再后来优化训练代码。这篇文章说，最后一块留给 Adam、Muon 这类符号优化器的地盘，也就是权重本身，也要被拿走了。现在还很早，规模小，只测了一个模型，但它把可解释性和优化变成了同一件事，交给一个会推理而不是只会下降的 agent。
原文：https://rikiyat.github.io/blog/weight-space-programming/ 日志：https://github.com/RikiyaT/lm_understand-logs
评论