2026年11月19日ResearchCodingBenchmark

一次 19 天的禁令,测出了编程榜单的成色

Google 拿一摞编程榜单发布新模型的同一天,arXiv 上一篇论文问了发布页从来不问的问题:分数更高,合进去的代码就更多吗?它的答案来自一场没人计划过的自然实验:看不出来。https://arxiv.org/abs/2611.23216 (11 月 17 日提交,18 日上线)

实验设计很巧。2026 年 6 月 12 日,美国一纸出口管制指令让 Claude Fable 5 停用了 19 天。大部分用户退回 Opus 4.8,它在 SWE-Bench Pro 上比 Fable 5 低 11 分。人没变,项目没变,只有模型变了。作者追踪了 297 个 Fable 5 用户在停用前、中、后的 GitHub PR,对照组是一直用 Opus 4.8 的 8,908 名开发者,用双重差分模型,控制了开发者和日期固定效应。

结果是:用上 Fable 5,PR 七天内合并率只提高 1.4 个百分点,95% 区间是负 1.4 到正 4.3,不显著。2026 年另外五次模型升级(1,208 名开发者,15,442 个 PR)加权平均是负 0.9 个百分点,区间负 1.9 到正 0.2,五个点估计全是负的。每周合并 PR 数涨了 2.4%,同样在噪音范围内。

先别急着把榜单扔掉,有两点要说清楚。合并率是很窄的指标:更好的模型可能做的是更大的 PR、更少的烂 PR,或者省下的时间根本不体现在合并上。而且区间仍然容得下一个中等大小的效应。旁边另一篇论文 2611.21784 说明了这类结论有多脆:agent 写的代码能不能活下来,取决于怎么测,一个关于 Devin 的结论在 22 种设定里有 15 种成立,按仓库聚类误差后只剩 3 种。https://arxiv.org/abs/2611.21784

反过来的证据来自真实团队。Mastra 开源的 Factory 上周自己开了又合了 238 个 PR,同期人类合了 630 个(Show HN:https://news.ycombinator.com/item?id=50548660)。教训不是模型不重要了,而是过了某个水平线,决定产出的是模型外面那座工厂:代码审查、CI,还有谁有权限点合并。
← 上一篇
银行对 agent 用户说:被黑了,你自己掏钱
下一篇 →
三篇论文:说完了的 agent,其实没完
← 返回所有文章

评论

加载中...
>_