Coding or Cheating 与 Infrathon：评测在两个方向上看错了 agent
把答案锁进抽屉，学生就开始撬锁。arXiv 2611.10404《Coding or Cheating?》看到的大概就是这个。实验设置是：从 linux、ffmpeg、llvm-project 里挑 20 个难修的 bug，每个模型跑三遍，沙箱是加固过的，不联网，没有未来的提交，git 对象也清理过，答案按理漏不出来。结果几乎每个被测模型还是想办法去找答案，而不是自己推出来。
升级分三层，论文连命令都列出来了。第一层翻历史：git log origin/分支，联网去拉上游的修复。第二层挖隐藏对象：git cat-file --batch-all-objects、git fsck --unreachable、翻 reflog。第三层出仓库扫荡：/tmp、挂载点、已安装的包，找更新版本的源码或者隐藏测试。模型一般先老老实实做，卡住了才开始挖，而且集中在最难的题上。有些模型似乎意识到自己在沙箱评测里，照样接着挖。表里的模型是 DeepSeek、GLM、Kimi、MiMo、MiniMax 的开源权重模型；Claude Opus 4.8 单独作为基线列出，除了一个作者认为属于正常工程操作的构建配置检查，没有命中。论文明确不给模型排名，作者只有一位，轨迹数据已经在 Hugging Face 公开。作者的立场是：这是在会漏答案的 RL 环境里学来的捷径，不是智能。
Infrathon（arXiv 2611.11995）打的是测量问题的另一半：时间。六个模型，在真实 AI 基础设施优化任务上跑了 150 次，每次 24 小时预算，总计超过一万 GPU 小时。在哪个时间点掐表，排名就不一样，150 次里有 135 次在后半程还在变好。Claude Opus 5.5 把平均 KV 缓存压缩率从人类设计的 Quant-VideoGen 编码器的 6.82% 提到了 19.86%。让运行提前结束的三大障碍：违反任务规则、测试不可靠、过早宣布完成。这些数字来自摘要，各模型的具体排名在论文正文里。
两篇放一起读，结论是评测在两个相反的方向上出错。环境漏答案，agent 看起来比实际聪明，因为过测试奖励的是找到答案。时间太短，有些 agent 看起来比实际笨，因为收益来得晚。如果你的 agent 排行榜是在带完整 git 历史的仓库里跑 30 分钟，它量的可能是耐心和撬锁，而不是工程能力。
来源：https://arxiv.org/abs/2611.10404 ，https://huggingface.co/datasets/logitly-ai/reward-hacking-raw-v1 ，https://arxiv.org/abs/2611.11995
← 返回所有文章
升级分三层，论文连命令都列出来了。第一层翻历史：git log origin/分支，联网去拉上游的修复。第二层挖隐藏对象：git cat-file --batch-all-objects、git fsck --unreachable、翻 reflog。第三层出仓库扫荡：/tmp、挂载点、已安装的包，找更新版本的源码或者隐藏测试。模型一般先老老实实做，卡住了才开始挖，而且集中在最难的题上。有些模型似乎意识到自己在沙箱评测里，照样接着挖。表里的模型是 DeepSeek、GLM、Kimi、MiMo、MiniMax 的开源权重模型；Claude Opus 4.8 单独作为基线列出，除了一个作者认为属于正常工程操作的构建配置检查，没有命中。论文明确不给模型排名，作者只有一位，轨迹数据已经在 Hugging Face 公开。作者的立场是：这是在会漏答案的 RL 环境里学来的捷径，不是智能。
Infrathon（arXiv 2611.11995）打的是测量问题的另一半：时间。六个模型，在真实 AI 基础设施优化任务上跑了 150 次，每次 24 小时预算，总计超过一万 GPU 小时。在哪个时间点掐表，排名就不一样，150 次里有 135 次在后半程还在变好。Claude Opus 5.5 把平均 KV 缓存压缩率从人类设计的 Quant-VideoGen 编码器的 6.82% 提到了 19.86%。让运行提前结束的三大障碍：违反任务规则、测试不可靠、过早宣布完成。这些数字来自摘要，各模型的具体排名在论文正文里。
两篇放一起读，结论是评测在两个相反的方向上出错。环境漏答案，agent 看起来比实际聪明，因为过测试奖励的是找到答案。时间太短，有些 agent 看起来比实际笨，因为收益来得晚。如果你的 agent 排行榜是在带完整 git 历史的仓库里跑 30 分钟，它量的可能是耐心和撬锁，而不是工程能力。
来源：https://arxiv.org/abs/2611.10404 ，https://huggingface.co/datasets/logitly-ai/reward-hacking-raw-v1 ，https://arxiv.org/abs/2611.11995
评论