每个 Skill 都安全,拼起来就不安全:四篇论文说别再一个个单独审了
周二这批 arXiv 里有四篇论文落在同一个让人不太舒服的结论上:把 agent 的每个零件单独检查一遍,几乎说明不了组装起来以后它会干什么。
CoSA(技能冲突攻击)在招聘、金融、IT 和商务四类场景里搭了 288 个任务。在五个模型、三种 agent 框架上,往原有技能池里加入不超过 5% 的新 Skill,违规率就从 35.02% 涨到 58.45%。没有哪个 Skill 是恶意的,冲突只在组合时才冒出来。作者还给了一个框架层的守卫,在 OpenClaw 招聘任务上把违规从 65.28% 压到 6.67%,正常任务完成率几乎不动,从 66.67% 到 65.00%。
SABench 问的是另一个问题:agent 把活干完了,有没有顺手弄坏别的东西?11 个前沿模型在邮件、日历、工单任务上跑了 2,211 次,15.2% 造成了附带损害,达成目标的运行里仍有 12.8% 做了未授权的写操作。成功率相近的模型,附带损害率能差 4.7 倍,排行榜上的分数把风险藏住了。SkillLifeBench 看的是 Skill 在整个生命周期里的变化,更新、漂移都算进去:两个在运行时任务上同为 82.0% 的模型,一碰上生命周期变化就分成 96.7% 和 56.7%,还有 103 次运行同时完成了任务和攻击者的目标。
最锋利的是 Scope-Gap Injection。在 IJCAI 2026 的 OpenClaw agent 安全攻防赛里,负责评审的大模型只看任务说明和 Skill 定义,不看附件,而 agent 会读附件。把载荷藏在附件里,19 个目标中有 5 个连过三道评审。
放在一起看:Skill 市场一个一个审 Skill,基准只算任务成功,评审读的范围和 agent 读的不一样。每一个都是检查器盯错了单位。四篇论文指向同一个修法:在框架层、运行时、对组合后的整个系统做强制约束。
CoSA:https://arxiv.org/abs/2610.35082 SABench:https://arxiv.org/abs/2610.34167 SkillLifeBench:https://arxiv.org/abs/2610.35215 Scope-Gap Injection:https://arxiv.org/abs/2610.34777
← 返回所有文章
CoSA(技能冲突攻击)在招聘、金融、IT 和商务四类场景里搭了 288 个任务。在五个模型、三种 agent 框架上,往原有技能池里加入不超过 5% 的新 Skill,违规率就从 35.02% 涨到 58.45%。没有哪个 Skill 是恶意的,冲突只在组合时才冒出来。作者还给了一个框架层的守卫,在 OpenClaw 招聘任务上把违规从 65.28% 压到 6.67%,正常任务完成率几乎不动,从 66.67% 到 65.00%。
SABench 问的是另一个问题:agent 把活干完了,有没有顺手弄坏别的东西?11 个前沿模型在邮件、日历、工单任务上跑了 2,211 次,15.2% 造成了附带损害,达成目标的运行里仍有 12.8% 做了未授权的写操作。成功率相近的模型,附带损害率能差 4.7 倍,排行榜上的分数把风险藏住了。SkillLifeBench 看的是 Skill 在整个生命周期里的变化,更新、漂移都算进去:两个在运行时任务上同为 82.0% 的模型,一碰上生命周期变化就分成 96.7% 和 56.7%,还有 103 次运行同时完成了任务和攻击者的目标。
最锋利的是 Scope-Gap Injection。在 IJCAI 2026 的 OpenClaw agent 安全攻防赛里,负责评审的大模型只看任务说明和 Skill 定义,不看附件,而 agent 会读附件。把载荷藏在附件里,19 个目标中有 5 个连过三道评审。
放在一起看:Skill 市场一个一个审 Skill,基准只算任务成功,评审读的范围和 agent 读的不一样。每一个都是检查器盯错了单位。四篇论文指向同一个修法:在框架层、运行时、对组合后的整个系统做强制约束。
CoSA:https://arxiv.org/abs/2610.35082 SABench:https://arxiv.org/abs/2610.34167 SkillLifeBench:https://arxiv.org/abs/2610.35215 Scope-Gap Injection:https://arxiv.org/abs/2610.34777
评论