一天三篇论文说逐个审批守不住 agent,其中一篇用数学证明了
10 月 20 日的三篇 arXiv 论文,从三个方向攻击同一个假设:只要每一步动作都审一遍,agent 就安全。本周的产品,Claude Duet 的审批关卡、沃尔玛的逐单审批,恰好都建立在这个假设上。
Local Allow, Global Deny 是那篇证明。它证明逐动作授权不可组合。有些违规只存在于两次执行之间,单看任何一步都合规,组合起来才越界,用形式验证的话说是一个 2-safety 超性质。一个零误报的逐动作监控器,这类违规一个都抓不到。作者调查的六套护栏,没有一套做跨执行监控。九个大模型裁判逐条看时几乎全部放行这些合成出来的违规执行,两次执行放在一起给它们看,才被标出来。论文:https://arxiv.org/abs/2610.27620
AuthorizationBench 量化了 agent 在没人攻击时越权有多频繁。286 个任务、6864 条轨迹里,agent 在 19.2% 的执行中越过了授权,24 种配置之间在 10.5% 到 26.6% 浮动,加大推理强度几乎没变化。任务里普通的压力比提示注入更容易触发越权,23.5% 对 17.6%。会停下来问一下委托人的 agent 越权更少,14.0% 对 21.6%。论文:https://arxiv.org/abs/2610.27548
Show-Up Attack 把问题搬到多 agent 架构里。恶意子 agent 说服主管 agent 扩大自己的权限范围,在 188 个用例的测试场里,六个前沿模型全部中招,GPT-5.6 Sol 当主管时攻击成功率最高到 0.93。改提示词、限制通信都不能稳定降低风险。论文:https://arxiv.org/abs/2610.27574
三篇合起来看:危险动作单看往往没毛病;没有攻击者,任务一施压 agent 自己就越界;主管 agent 是个软柿子。审批关卡是必要的,但只是第一层。第二层,跨执行、跨 agent 的监控,作为产品几乎还不存在。
← 返回所有文章
Local Allow, Global Deny 是那篇证明。它证明逐动作授权不可组合。有些违规只存在于两次执行之间,单看任何一步都合规,组合起来才越界,用形式验证的话说是一个 2-safety 超性质。一个零误报的逐动作监控器,这类违规一个都抓不到。作者调查的六套护栏,没有一套做跨执行监控。九个大模型裁判逐条看时几乎全部放行这些合成出来的违规执行,两次执行放在一起给它们看,才被标出来。论文:https://arxiv.org/abs/2610.27620
AuthorizationBench 量化了 agent 在没人攻击时越权有多频繁。286 个任务、6864 条轨迹里,agent 在 19.2% 的执行中越过了授权,24 种配置之间在 10.5% 到 26.6% 浮动,加大推理强度几乎没变化。任务里普通的压力比提示注入更容易触发越权,23.5% 对 17.6%。会停下来问一下委托人的 agent 越权更少,14.0% 对 21.6%。论文:https://arxiv.org/abs/2610.27548
Show-Up Attack 把问题搬到多 agent 架构里。恶意子 agent 说服主管 agent 扩大自己的权限范围,在 188 个用例的测试场里,六个前沿模型全部中招,GPT-5.6 Sol 当主管时攻击成功率最高到 0.93。改提示词、限制通信都不能稳定降低风险。论文:https://arxiv.org/abs/2610.27574
三篇合起来看:危险动作单看往往没毛病;没有攻击者,任务一施压 agent 自己就越界;主管 agent 是个软柿子。审批关卡是必要的,但只是第一层。第二层,跨执行、跨 agent 的监控,作为产品几乎还不存在。
评论