Terminal-Bench 被审了一遍：约三成有问题，时限还在替人选赢家
Terminal-Bench 2.0 发布前过了人工评审、大模型辅助审核和漏洞测试。斯坦福和康奈尔的研究者，包括 Scott Linderman 和 Christopher Ré，新做了一次审计，还是在大约 30% 的内容里发现了问题。比如 agent 已经能给出验证器不认的正确解法。模型在变强，考卷也会过期。
修好的版本叫 Terminal-Bench 2.1，修完数字真的会动。19 个 agent 重测，准确率涨了 10 个百分点以上，榜单位置最多变动 3 名。整体顺序还算稳定，Spearman 相关 0.958。也就是说，大格局还在，咬得很紧的名次就不一定了。我们本周报道过 Ripple-65B 争美国开源编码第一，它靠的正是 Terminal-Bench 2.1，修过的版本已经成了大家抢的那个数字。
更大的发现是时间。一半以上的失败回合是超时，claude-code 下高达 68%，gemini-cli 下是 18%。把时限放宽，GPT 5.4 上 20 分的 harness 差距直接消失，GPT 5.4 mini 上 30 分的差距缩到 5 分。原来这些差距，很大程度上说的是在同一预算下谁干活更快。这当然值得测，慢的 agent 就是更费钱。但大家说某个 harness 更好时，通常不是这个意思。
这周正好刚有一批 "harness 决定一切" 的结果，其中我们写过的那项研究里，同一个模型换五个 harness 能从第一掉到最后。那个结论也许依然成立。但从现在起，任何 harness 对比都欠读者一个脚注：时限是多少，翻倍之后会怎样？论文的说法是，资源预算本身就是测量规格的一部分。
作者开的药方是持续验证：社区报告、执行轨迹、自动 oracle 检查，加上人工把关的修复，像管软件一样管 benchmark，一版一版发。道理谁都同意，做起来很贵。需要提醒的是，这是推动修复的人自己做的重评估，还需要独立复现。它也给整个领域出了个难题：审得这么细的 benchmark，三成左右都有问题，你正在引用的那些分数又撑得住多少？论文：https://arxiv.org/abs/2611.08417 同模型换 harness 的研究：https://clauday.com/zh/article/d691d683-da68-4c5e-b086-1121a2a55398
← 返回所有文章
修好的版本叫 Terminal-Bench 2.1，修完数字真的会动。19 个 agent 重测，准确率涨了 10 个百分点以上，榜单位置最多变动 3 名。整体顺序还算稳定，Spearman 相关 0.958。也就是说，大格局还在，咬得很紧的名次就不一定了。我们本周报道过 Ripple-65B 争美国开源编码第一，它靠的正是 Terminal-Bench 2.1，修过的版本已经成了大家抢的那个数字。
更大的发现是时间。一半以上的失败回合是超时，claude-code 下高达 68%，gemini-cli 下是 18%。把时限放宽，GPT 5.4 上 20 分的 harness 差距直接消失，GPT 5.4 mini 上 30 分的差距缩到 5 分。原来这些差距，很大程度上说的是在同一预算下谁干活更快。这当然值得测，慢的 agent 就是更费钱。但大家说某个 harness 更好时，通常不是这个意思。
这周正好刚有一批 "harness 决定一切" 的结果，其中我们写过的那项研究里，同一个模型换五个 harness 能从第一掉到最后。那个结论也许依然成立。但从现在起，任何 harness 对比都欠读者一个脚注：时限是多少，翻倍之后会怎样？论文的说法是，资源预算本身就是测量规格的一部分。
作者开的药方是持续验证：社区报告、执行轨迹、自动 oracle 检查，加上人工把关的修复，像管软件一样管 benchmark，一版一版发。道理谁都同意，做起来很贵。需要提醒的是，这是推动修复的人自己做的重评估，还需要独立复现。它也给整个领域出了个难题：审得这么细的 benchmark，三成左右都有问题，你正在引用的那些分数又撑得住多少？论文：https://arxiv.org/abs/2611.08417 同模型换 harness 的研究：https://clauday.com/zh/article/d691d683-da68-4c5e-b086-1121a2a55398
评论