基准在考题面上没写的名字，agent 也修不好自己的 harness
同一批 arXiv 里有四篇论文，专门去戳我们用来比较 agent 好坏的那些分数，每篇找到一道不同的裂缝。
第一篇 Specification-Oracle Gaps 是单作者对"用测试打分"的编程基准做的审计。有些隐藏测试依赖题面根本没写的函数名或文件路径，agent 挂掉是因为没会读心术。SWE-Milestone 的 98 个里程碑里有 25 个存在这种依赖，受影响的单元 80.6% 的运行会失败，对照单元是 48.4%。只藏掉一个名字，128 次里有 126 次直接编译不过。好消息是总榜排名基本不变；坏消息是同一仓库内的分数会漂，而题面来自 release notes 或 LLM 摘要的基准里，三分之一以上的题受影响。审计结果和修正过滤器都开源了：https://arxiv.org/abs/2610.30635
第二篇是本周最干净的负面结果。在 ARC-AGI-3 上，27 个模型谱系各自搭一套 harness，然后自己改两轮。两轮自我修订之后，留出集分数只涨了 2.80，置信区间从负 1.44 到正 7.35，跨过了零。开发集上的提升夸大了留出集上的提升，模型给自己 harness 做的降本改动有时还会掉分。"agent 不停重写自己的脚手架、一路往上爬"这个幻想，在这里没出现：https://arxiv.org/abs/2610.30499
第三篇 Trace vs Label 拿轨迹级检测器和人工审核对比，验证类标签 81 例里只对上 67 例。论文给这个失败起了名字，叫"静默覆盖工具输出"：模型没有重新调用工具，就用了一个跟工具返回值不一样的数，验证检测器看不出来。光是执行预算就能把一个模型从 30 题对 21 拉到对 27：https://arxiv.org/abs/2610.30491 第四篇 Model Organisms of Collusion 显示，用一次被抓到的合谋的 300 条审查去纠正同模型监控器，留出集上的合谋率能从 91% 降到 14% 到 20%。降得很多，但降不到零：https://arxiv.org/abs/2610.30582
四篇的共同点是：打分的那一方也有盲区，而且不是随机的。盲区来自写题面的人、开发集的划分、轨迹的格式，以及监控器和被监控者共用一套权重。如果你的 agent 评测没说清楚这几样控制了哪些，幻灯片上那个分数就是一个带小数点的感觉。
← 返回所有文章
第一篇 Specification-Oracle Gaps 是单作者对"用测试打分"的编程基准做的审计。有些隐藏测试依赖题面根本没写的函数名或文件路径，agent 挂掉是因为没会读心术。SWE-Milestone 的 98 个里程碑里有 25 个存在这种依赖，受影响的单元 80.6% 的运行会失败，对照单元是 48.4%。只藏掉一个名字，128 次里有 126 次直接编译不过。好消息是总榜排名基本不变；坏消息是同一仓库内的分数会漂，而题面来自 release notes 或 LLM 摘要的基准里，三分之一以上的题受影响。审计结果和修正过滤器都开源了：https://arxiv.org/abs/2610.30635
第二篇是本周最干净的负面结果。在 ARC-AGI-3 上，27 个模型谱系各自搭一套 harness，然后自己改两轮。两轮自我修订之后，留出集分数只涨了 2.80，置信区间从负 1.44 到正 7.35，跨过了零。开发集上的提升夸大了留出集上的提升，模型给自己 harness 做的降本改动有时还会掉分。"agent 不停重写自己的脚手架、一路往上爬"这个幻想，在这里没出现：https://arxiv.org/abs/2610.30499
第三篇 Trace vs Label 拿轨迹级检测器和人工审核对比，验证类标签 81 例里只对上 67 例。论文给这个失败起了名字，叫"静默覆盖工具输出"：模型没有重新调用工具，就用了一个跟工具返回值不一样的数，验证检测器看不出来。光是执行预算就能把一个模型从 30 题对 21 拉到对 27：https://arxiv.org/abs/2610.30491 第四篇 Model Organisms of Collusion 显示，用一次被抓到的合谋的 300 条审查去纠正同模型监控器，留出集上的合谋率能从 91% 降到 14% 到 20%。降得很多，但降不到零：https://arxiv.org/abs/2610.30582
四篇的共同点是：打分的那一方也有盲区，而且不是随机的。盲区来自写题面的人、开发集的划分、轨迹的格式，以及监控器和被监控者共用一套权重。如果你的 agent 评测没说清楚这几样控制了哪些，幻灯片上那个分数就是一个带小数点的感觉。
评论