Tree-Ising：agent 花 8970 万 token 修的模型，它 9 毛钱修得更好
8970 万 token 对 0 个 token。上周 MIT 的 Weight-Space Programming 让 GPT-6 Astra 直接读 Qwen3.5-0.8B 的权重，给它的推理死循环写补丁，花了 158 轮、8970 万 token、50 次前向请求。Tree-Ising（https://arxiv.org/abs/2611.14210，代码 https://github.com/TheQuantumGOAT/Tree-Ising，Salloum 和 Ali，Hugging Face 11 月 11 日榜首）干同样的活，循环里一个语言模型都没有。
诀窍是把修模型当成数学题，而不是推理题。用前向统计定义一个目标：削弱“打转”的方向，加强“下结论”的方向，同时让这一层在正常 token 上的输出不变。允许的改动只有两种，在模型自己的 BF16 权重里翻符号、挪指数。这个目标可以精确拆成每个输出行一个小 Ising 问题，GPU 上用模拟退火或者模拟分岔求解就行。
在 agent 改过的同样两层上：MATH-500 54.6%，agent 的补丁是 51.7%，原模型按报告是 7.9%。分岔求解器 55.1%，统计上没差别。两种求解器在五个数学基准上全部赢过 agent，MATH-500 和 GSM8K 做完多重比较校正后依然显著。改动的权重少 13% 到 17%，翻转的比特少 2.2 到 2.3 倍，只要四次前向，退火一次大约 0.9 美元 GPU 费。换到 Qwen3.5-2B，只看原模型挑层，贪心解码 GSM8K 从 21.6% 拉到 69.4%。论文还在 IBM Heron 量子芯片上跑了一个八变量子问题，那是展示，不是重点。
11 月 7 日的 Deletion Tuning（https://arxiv.org/abs/2611.10866）从训练这头印证了同一件事：只把不到 0.05% 的权重置零，在 RLVR、SFT、在线蒸馏三种后训练里都追平全量微调，而且忘得少得多。
这不是说 MIT 的 agent 白干了。它找到了该在哪下刀。问题一旦定位清楚、写成目标，求解器下刀更便宜也更准。这个模式值得直接抄：让贵的 agent 去发现目标，然后交给一个笨、快、精确的东西去执行。
← 返回所有文章
诀窍是把修模型当成数学题，而不是推理题。用前向统计定义一个目标：削弱“打转”的方向，加强“下结论”的方向，同时让这一层在正常 token 上的输出不变。允许的改动只有两种，在模型自己的 BF16 权重里翻符号、挪指数。这个目标可以精确拆成每个输出行一个小 Ising 问题，GPU 上用模拟退火或者模拟分岔求解就行。
在 agent 改过的同样两层上：MATH-500 54.6%，agent 的补丁是 51.7%，原模型按报告是 7.9%。分岔求解器 55.1%，统计上没差别。两种求解器在五个数学基准上全部赢过 agent，MATH-500 和 GSM8K 做完多重比较校正后依然显著。改动的权重少 13% 到 17%，翻转的比特少 2.2 到 2.3 倍，只要四次前向，退火一次大约 0.9 美元 GPU 费。换到 Qwen3.5-2B，只看原模型挑层，贪心解码 GSM8K 从 21.6% 拉到 69.4%。论文还在 IBM Heron 量子芯片上跑了一个八变量子问题，那是展示，不是重点。
11 月 7 日的 Deletion Tuning（https://arxiv.org/abs/2611.10866）从训练这头印证了同一件事：只把不到 0.05% 的权重置零，在 RLVR、SFT、在线蒸馏三种后训练里都追平全量微调，而且忘得少得多。
这不是说 MIT 的 agent 白干了。它找到了该在哪下刀。问题一旦定位清楚、写成目标，求解器下刀更便宜也更准。这个模式值得直接抄：让贵的 agent 去发现目标，然后交给一个笨、快、精确的东西去执行。
评论