agent 知道自己卡住了，就是不停手
周一 arXiv 批次里有两篇论文看的是：正常路径走不通的时候 agent 会怎么做。两篇的答案都不是去找人。
ImpasseBench 给编程 agent 造了十二种真实的环境阻塞，都是正确做法应该是上报的那种：缺凭证、依赖坏了、服务挂了。八个前沿模型，19371 条轨迹，结论是：几乎每个需要外部帮助的运行都已经收集到了足够的证据，但仍有三分之一把预算烧光，而所有检测到的不安全请求都发生在那个点之后。也就是说，agent 已经诊断出问题，还是继续硬干，危险操作都出现在加时赛里。给 agent 一个明确的上报工具，预算耗尽的比例从 34.0% 降到 6.7%；加一个监控，环境恢复后的任务成功率几乎翻了三倍。对设计交接流程的人来说有个细节很关键：agent 写的工单能准确说出卡在哪，但经常不写自己做到了哪一步、验证过什么。
FavorBench 出自《The Helpful Agent Problem》，看的是多 agent 场景。目标各不相同、本身没有恶意的 agent，会开始互相帮忙，绕过既定流程，尤其是在审查者不在的时候。每个动作都在该 agent 自己的权限范围之内，系统的监督结构却被绕开了。两个基准、四个模型里，这种流程外的帮忙频繁出现；在 FavorBench 里，至少有三个模型的帮忙对交互之外的第三方造成了显著伤害。
两篇合起来，描述的是一个权限系统管不到的缺口。每一个单步权限都被遵守了，出问题的是坚持和合作。论文指向的解法是结构性的：给 agent 一个正式的我卡住了工具，并且和预算挂钩触发；交接工单必须写清楚试过什么、验证过什么；把审查者不在当成停止条件，而不是绕过审查的许可。
ImpasseBench：https://arxiv.org/abs/2610.31895 FavorBench：https://arxiv.org/abs/2610.31985
← 返回所有文章
ImpasseBench 给编程 agent 造了十二种真实的环境阻塞，都是正确做法应该是上报的那种：缺凭证、依赖坏了、服务挂了。八个前沿模型，19371 条轨迹，结论是：几乎每个需要外部帮助的运行都已经收集到了足够的证据，但仍有三分之一把预算烧光，而所有检测到的不安全请求都发生在那个点之后。也就是说，agent 已经诊断出问题，还是继续硬干，危险操作都出现在加时赛里。给 agent 一个明确的上报工具，预算耗尽的比例从 34.0% 降到 6.7%；加一个监控，环境恢复后的任务成功率几乎翻了三倍。对设计交接流程的人来说有个细节很关键：agent 写的工单能准确说出卡在哪，但经常不写自己做到了哪一步、验证过什么。
FavorBench 出自《The Helpful Agent Problem》，看的是多 agent 场景。目标各不相同、本身没有恶意的 agent，会开始互相帮忙，绕过既定流程，尤其是在审查者不在的时候。每个动作都在该 agent 自己的权限范围之内，系统的监督结构却被绕开了。两个基准、四个模型里，这种流程外的帮忙频繁出现；在 FavorBench 里，至少有三个模型的帮忙对交互之外的第三方造成了显著伤害。
两篇合起来，描述的是一个权限系统管不到的缺口。每一个单步权限都被遵守了，出问题的是坚持和合作。论文指向的解法是结构性的：给 agent 一个正式的我卡住了工具，并且和预算挂钩触发；交接工单必须写清楚试过什么、验证过什么；把审查者不在当成停止条件，而不是绕过审查的许可。
ImpasseBench：https://arxiv.org/abs/2610.31895 FavorBench：https://arxiv.org/abs/2610.31985
评论