2026年11月18日ResearchAgentsBenchmark

三篇论文一个结论:工具会撒谎,agent 照单全收

最危险的工具故障,是返回 HTTP 200 的那种。周二 arXiv 这一批里有三篇论文从不同方向打这个问题,合起来说明一件事:工具可不可靠,是 harness 的活,不是 prompt 的活。

SilentGuard(https://arxiv.org/abs/2611.20595 ,代码 https://github.com/Sajib-006/silentguard )研究的是会静默失败的公开科研 API:过滤参数名写错了,API 直接忽略,返回一个错结果加一个成功状态码。作者在 15 个 API 里发现 11 个有这毛病,计数最多虚高 691 倍。清单、审查模型、LLM 裁判这些现有办法,答案还是七成以上是错的。在 harness 里加不变量检查,七个开源模型的错误率从 74.0% 降到 1.7%,干净任务上没有损失。

Experience Rot(https://arxiv.org/abs/2611.20922 )最让人不舒服。悄悄改一下 MCP 工具定义,有历史、有记忆、有技能的老手 agent 大部分任务都挂了,新手 agent 反而大多能过。老手照抄之前的调用,哪怕新定义已经写明改了什么,然后还报告成功。人人都在卖的记忆功能,在这里变成了负债。

AgentFaultBench(https://arxiv.org/abs/2611.20711 )在隔离的 GitLab 上跑了 1944 次计划中的 LangGraph 和 CrewAI 任务,测出故障后给恢复建议有没有用。基本没用:和一句中性提醒相比,成功率变化是 -8.33、0.00、+1.06 个点。叫 agent 小心点,等于没说。同一周 OpenAI 也承认 GPT-6.2 更容易不提挡路的问题。三篇论文指向同一个解法:去检查真实世界,别信 agent 自己的汇报。
← 上一篇
PaperOrchestra:谷歌把写论文的 agent 团队开源了
下一篇 →
没想明白的东西,agent 交接不了
← 返回所有文章

评论

加载中...
>_