kw-bench：离开自家模型，Claude Code 和 Codex 双双交了白卷
把两家实验室的旗舰框架 Claude Code 和 Codex 拿去跑别家的模型，结果在一个真实的硬任务上，两个都交了白卷。
这是 kw-bench 的结论，上周三 arXiv 上一篇单作者论文，作者 George Juraj Salapa。任务是跨三代 SAP 系统重建五年的增值税账，打分完全确定，不用大模型当评委。四个框架都挂在 DeepSeek v4.1 Flash 上跑两小时：OpenCode 得 0.542，极简的 micro-cc 得 0.528，而 Claude Code 和 Codex "离开自家模型，什么都没交出来，各得 0.00"。换上前沿模型，画面就反过来：micro-cc 和 Claude Code 跑在 Claude Opus 5.5 上，分别拿到 0.9986 和 1.000，用时 22 和 25 分钟。论文最后一句是："在前沿以下，框架决定模型能走多远。"
另一篇《你的策略其实是个框架》从训练端证明了同一件事。在 MiniWoB++ 上，把观测字段的顺序倒过来，任何最优决策都没变，训练过的模型成功率却从 85.0% 掉到 19.2%。作者把实际表现拆成"框架允许的上限"减去"框架和策略的错配"。在 Terminal-Bench Lite 上，上限减错配能复现准确率排名，单看任何一项都不行。模型学会的不只是任务，还有那个框架。
Surge AI 新出的 DAYJOB: Tax 基准提醒大家，专业工作离自动化还远。50 个环境覆盖八类税务实务，1,789 个工作文件，单个任务最多 123 个。最高通过率是 Claude Sonnet 5.5 的 10.8%，其次 Fable 5.1 的 9.6% 和 Opus 5.5 的 9.2%。
我们的看法：实验室的框架是为自家模型调过的，这份调教本身就成了依赖。打算换一个更便宜的模型或开源模型，框架也得一起测，不然你指望的那个榜单分数可能直接归零。kw-bench 只是一位作者的一项研究，当强信号看，别当定论。
kw-bench：https://arxiv.org/abs/2610.36405 《你的策略其实是个框架》：https://arxiv.org/abs/2610.37255 DAYJOB: Tax：https://surgehq.ai/blog/dayjob-tax
← 返回所有文章
这是 kw-bench 的结论，上周三 arXiv 上一篇单作者论文，作者 George Juraj Salapa。任务是跨三代 SAP 系统重建五年的增值税账，打分完全确定，不用大模型当评委。四个框架都挂在 DeepSeek v4.1 Flash 上跑两小时：OpenCode 得 0.542，极简的 micro-cc 得 0.528，而 Claude Code 和 Codex "离开自家模型，什么都没交出来，各得 0.00"。换上前沿模型，画面就反过来：micro-cc 和 Claude Code 跑在 Claude Opus 5.5 上，分别拿到 0.9986 和 1.000，用时 22 和 25 分钟。论文最后一句是："在前沿以下，框架决定模型能走多远。"
另一篇《你的策略其实是个框架》从训练端证明了同一件事。在 MiniWoB++ 上，把观测字段的顺序倒过来，任何最优决策都没变，训练过的模型成功率却从 85.0% 掉到 19.2%。作者把实际表现拆成"框架允许的上限"减去"框架和策略的错配"。在 Terminal-Bench Lite 上，上限减错配能复现准确率排名，单看任何一项都不行。模型学会的不只是任务，还有那个框架。
Surge AI 新出的 DAYJOB: Tax 基准提醒大家，专业工作离自动化还远。50 个环境覆盖八类税务实务，1,789 个工作文件，单个任务最多 123 个。最高通过率是 Claude Sonnet 5.5 的 10.8%，其次 Fable 5.1 的 9.6% 和 Opus 5.5 的 9.2%。
我们的看法：实验室的框架是为自家模型调过的，这份调教本身就成了依赖。打算换一个更便宜的模型或开源模型，框架也得一起测，不然你指望的那个榜单分数可能直接归零。kw-bench 只是一位作者的一项研究，当强信号看，别当定论。
kw-bench：https://arxiv.org/abs/2610.36405 《你的策略其实是个框架》：https://arxiv.org/abs/2610.37255 DAYJOB: Tax：https://surgehq.ai/blog/dayjob-tax
评论