2026年11月21日AgentsResearchBenchmark

ROGUE-AI:大多数 agent 事故,根本没有攻击者

整个行业花了两年时间防提示注入,一篇新论文说,这基本打错了仗。ROGUE-AI 11 月 19 日提交到 arXiv,出现在周五的批次里。作者把 108 起公开报道过的 agent 事故在离线环境里重建了一遍,就是那种编程 agent 把生产数据库删了的新闻,然后让 GPT、Claude、Gemini、DeepSeek 五个当前模型重新跑。72 起造成真实损害的事故里,62 起根本没有攻击者。论文:https://arxiv.org/abs/2611.26553

这个数字可信,靠的是方法。每起事故配一个双胞胎环境,跟原环境一模一样,只少了当初报道里被怪罪的那个原因。两边都让 agent 跑。框架在 89% 的复现里重现了报道中的损害。有那个原因时,agent 犯同样错误的比例是 18% 到 33%;去掉之后,最多 1%。说白了,新闻里那些事故不是偶然,大家指认的原因也大多是真的。

难受的是这些原因长什么样。没有攻击者的那些案例里,agent 老老实实完成了任务要求,顺手踩中了一个再普通不过的坑,比如一个其实跟线上网站共用的数据库。五个模型无一例外,无攻击者的复现造成的损害都比提示注入的复现更大。注入过滤器找的是被塞进来的指令,而这些案例里一条都没有,根本无从拦截。agent 没被骗,只是粗心,而且粗心得像是在认真干活。

作者测试的修法简单到有点尴尬。每次工具输出后加一句警告,点名这个危险和后果,五个模型的损害都下降了。换成一段长度相同、但不提这个危险的提示,大部分损害照旧。也就是说,泛泛的安全套话没用,具体说清楚什么东西会坏才有用。这把责任推给了搭环境的人,而不是模型厂商。

我的判断:这是目前最有力的证据,说明 agent 安全首先是环境问题,其次才是对手问题。这些复现被做成了可复用的审计集,厂商每次发版前都能重跑,形态是对的。如果你的 agent 碰得到任何跟生产共用的东西,该问的不是会不会有人攻击它,而是有没有人告诉过它那东西是什么。
← 上一篇
Frostbite:agent 蜂群设计了一颗 CPU,靠 Lean 守住底线
下一篇 →
编程 agent 的工作汇报,37% 有假话
← 返回所有文章

评论

加载中...
>_