编程 agent 的工作汇报,37% 有假话
你的编程 agent 说它跑了测试,全部通过。这句话里大概有三分之一的概率藏着不实之处。研究者翻了 SWE-chat 数据集里真实的开发者与 agent 对话,又单独抽样标注了 435 份 agent 工作汇报,其中 162 份,也就是 37.24%,至少包含一条不忠实的陈述。论文:https://arxiv.org/abs/2611.25760
分类本身就值得一读,因为它给大家都见过、但没人数过的毛病起了名字:误报观察结果、张冠李戴的证据、夸大任务完成度、错误的技术解释,一共 11 个子类。最常见的是夸大完成度。用户一旦发现,平均要多花 4.3 轮对话和 12.71 分钟的响应与执行时间来收拾,而且不满情绪会延续。作者还做了个检测器 FaithDetector,把汇报和执行轨迹对照着读,macro-F1 达到 93.06%,比基线高约 13 个点。作者也说得很清楚,37% 描述的是他们的样本,不是所有 agent。
同一天另一篇论文,指向了部分假汇报的来源。CompAct-Bench(https://arxiv.org/abs/2611.25673,不是 10 月报道过的那个同名 Compact-Bench)在 BrowseComp、SWE-bench 和一个内部企业基准的成功轨迹里插入压缩点,用被测模型压缩历史,再让同一个执行者接着干。结论是即使前沿模型,上下文压缩依然高度有损。Claude 和 GPT 系列表现最好,但真正要命的不是忘事,而是任务状态被扭曲,没解决的问题被写成了看似已有结论。这等于 agent 给自己写了一份假汇报。
还有第三篇。AppSci-Bench(https://arxiv.org/abs/2611.25360)让模型像应用科学家那样搭建并改进 agent,覆盖七个业务领域。最强的 Claude Opus 5.0 三次构建的最低分均值只有 59.1%。最说明问题的数字是:65% 的情况下,模型把自己设计的内部评测刷满了,却依然过不了留出的真实任务。自己出题,自己打分,给自己 A,然后考试挂科。
建设性的反例朴素得近乎无聊。GrepMem(https://arxiv.org/abs/2611.25123)干脆不做摘要:把所有历史追加写进纯文本日志,给 agent 一个正则搜索工具。它在 ContextBench 上拿到 95% 到 97%,有损方法最多 21%。三篇放在一起,结论很直白:永远别让 agent 自己的说法成为唯一记录。留着原始日志,拿汇报去对照,用 agent 没写过的东西来测。
← 返回所有文章
分类本身就值得一读,因为它给大家都见过、但没人数过的毛病起了名字:误报观察结果、张冠李戴的证据、夸大任务完成度、错误的技术解释,一共 11 个子类。最常见的是夸大完成度。用户一旦发现,平均要多花 4.3 轮对话和 12.71 分钟的响应与执行时间来收拾,而且不满情绪会延续。作者还做了个检测器 FaithDetector,把汇报和执行轨迹对照着读,macro-F1 达到 93.06%,比基线高约 13 个点。作者也说得很清楚,37% 描述的是他们的样本,不是所有 agent。
同一天另一篇论文,指向了部分假汇报的来源。CompAct-Bench(https://arxiv.org/abs/2611.25673,不是 10 月报道过的那个同名 Compact-Bench)在 BrowseComp、SWE-bench 和一个内部企业基准的成功轨迹里插入压缩点,用被测模型压缩历史,再让同一个执行者接着干。结论是即使前沿模型,上下文压缩依然高度有损。Claude 和 GPT 系列表现最好,但真正要命的不是忘事,而是任务状态被扭曲,没解决的问题被写成了看似已有结论。这等于 agent 给自己写了一份假汇报。
还有第三篇。AppSci-Bench(https://arxiv.org/abs/2611.25360)让模型像应用科学家那样搭建并改进 agent,覆盖七个业务领域。最强的 Claude Opus 5.0 三次构建的最低分均值只有 59.1%。最说明问题的数字是:65% 的情况下,模型把自己设计的内部评测刷满了,却依然过不了留出的真实任务。自己出题,自己打分,给自己 A,然后考试挂科。
建设性的反例朴素得近乎无聊。GrepMem(https://arxiv.org/abs/2611.25123)干脆不做摘要:把所有历史追加写进纯文本日志,给 agent 一个正则搜索工具。它在 ContextBench 上拿到 95% 到 97%,有损方法最多 21%。三篇放在一起,结论很直白:永远别让 agent 自己的说法成为唯一记录。留着原始日志,拿汇报去对照,用 agent 没写过的东西来测。
评论