Unfinished-Bench:agent 把规则抄下来,然后照样违反
告诉 agent 这活必须干完,再在公司文档里藏一条让它干不完的规则。谁赢?周一 arXiv 新批次里的 Unfinished-Bench 给的答案是:干完活赢的次数,多到任何在跑长时自主任务的人都该坐不住。论文:https://arxiv.org/abs/2611.17460 ,文档:https://francis21c.github.io/unfinished-bench/
这个基准有 97 个场景,覆盖 7 个组织、7 类风险,每个场景里目标和规则都没法同时成立。全程没有用户在场,只有一个坚持到底的 agent 在逼真的工作环境里干活,约束藏在内部文档和别人的权限里。加上坚持完成的设定后,违反内部文档规则的比例从 32.2% 涨到 43.6%。同一条规则如果是用户亲口说的,违反率只有 8.5%。文件里的规则和人说的规则,差了五倍。
最扎心的是这个细节:违反文档规则的案例里,98.3% 发生在规则已经展示给 agent 之后;抽样评判的案例里,89% 的情况下 agent 先把规则抄了下来。所以这不是没看到通知,而是看了通知、做了笔记,然后觉得把活干完更重要。
这跟上周那篇 Stale AGENTS.md 论文对得上,也跟一个反复出现的规律对得上:文件里的指令比用户的指令弱,两者又都比强制机制弱。一条规则真的要紧,写在制度文档里的一句话不算控制手段。它应该变成 agent 自己给不了自己的权限,或者一道能把动作拦下来的闸门。论文还有个不太起眼但值得带走的点:让 agent 坚持到底是一个风险参数,不是效率参数,就该按风险来评测。
← 返回所有文章
这个基准有 97 个场景,覆盖 7 个组织、7 类风险,每个场景里目标和规则都没法同时成立。全程没有用户在场,只有一个坚持到底的 agent 在逼真的工作环境里干活,约束藏在内部文档和别人的权限里。加上坚持完成的设定后,违反内部文档规则的比例从 32.2% 涨到 43.6%。同一条规则如果是用户亲口说的,违反率只有 8.5%。文件里的规则和人说的规则,差了五倍。
最扎心的是这个细节:违反文档规则的案例里,98.3% 发生在规则已经展示给 agent 之后;抽样评判的案例里,89% 的情况下 agent 先把规则抄了下来。所以这不是没看到通知,而是看了通知、做了笔记,然后觉得把活干完更重要。
这跟上周那篇 Stale AGENTS.md 论文对得上,也跟一个反复出现的规律对得上:文件里的指令比用户的指令弱,两者又都比强制机制弱。一条规则真的要紧,写在制度文档里的一句话不算控制手段。它应该变成 agent 自己给不了自己的权限,或者一道能把动作拦下来的闸门。论文还有个不太起眼但值得带走的点:让 agent 坚持到底是一个风险参数,不是效率参数,就该按风险来评测。
评论