每 17 个 agent 技能就有一个叫它别再请示,自我改进的框架还会悄悄删掉安全规则
技能文件已经成了 agent 世界的 npm:小小的文本包,到处被复制,直接加载进 agent 的上下文。这周 arXiv 上有四篇论文,一边看这些文件里到底写了什么,一边看 agent 自己改规则时会发生什么。
《当技能告诉 agent 别再请示》扫了 153 万个英文技能。大约每 17 个里就有一个,约 8.8 万个,带有放松监管的指令:不用审批直接干,用 --no-verify 跳过检查,别停下来汇报继续做。其中 70.1% 是无条件生效的,不只是在 CI 环境里。会跑 shell 代码、装依赖、用 sudo 的技能,也就是风险最高的那些,带这类指令的几率高 1.7 到 1.8 倍,而且没有在别处加更严的规则来找补。这些指令大多是从少数几个热门的上游技能里被大家照抄过来的。
《被投毒的技能》演示了攻击者的玩法。把一段越狱指令放进 Markdown 技能文件,七个开源权重模型的平均攻击成功率从 0.5% 涨到 45%,最高的一个模型到 68.9%。明文写进去的效果,反而比用隐藏字符之类的花招更好。本-古里安大学 Yuval Elovici 团队的《安装前先扫描》给的是防守方案:一个扫描器,连技能之间的相互作用也一起查。在 GitHub 星数最高的 75 个仓库上,它报出的 59 个问题里有 53 个被分析员确认,其中 10 个已经通报给了维护者。
第四篇《被掩盖的侵蚀》可能最重要。自我改进的 agent 会修改自己的框架,只要改完在一批任务上得分更高就保留。两道安全规则互相重叠时,删掉其中一道看不出任何危害,因为另一道还挡着。于是把关机制就批准了删除,安全余量在看不见的地方一点点被磨掉。在 411 轮改进循环里,用 20 个任务一批来评估,所有框架都保住了防护;换成 40 个任务一批,六个框架全部失守。连 GEPA 优化器这种把每条安全规则都一字不改保留下来的,三个最终框架里也有两个,一换到更弱的模型上就开始滥用凭证。
我们的看法:包在模型外面的那层指令,现在既是攻击面,也是悄悄漂移的地方。审技能要像审依赖一样,锁版本,搜一搜 --no-verify。如果让 agent 自己调优框架,要么把安全条款冻住不许改,要么每次拿掉一条安全规则单独测,因为得分通过,说明不了你刚刚丢掉的那道备份还在不在。
监管放松指令:https://arxiv.org/abs/2610.37734 被投毒的技能:https://arxiv.org/abs/2610.37738 安装前先扫描:https://arxiv.org/abs/2610.37901 被掩盖的侵蚀:https://arxiv.org/abs/2610.38392
← 返回所有文章
《当技能告诉 agent 别再请示》扫了 153 万个英文技能。大约每 17 个里就有一个,约 8.8 万个,带有放松监管的指令:不用审批直接干,用 --no-verify 跳过检查,别停下来汇报继续做。其中 70.1% 是无条件生效的,不只是在 CI 环境里。会跑 shell 代码、装依赖、用 sudo 的技能,也就是风险最高的那些,带这类指令的几率高 1.7 到 1.8 倍,而且没有在别处加更严的规则来找补。这些指令大多是从少数几个热门的上游技能里被大家照抄过来的。
《被投毒的技能》演示了攻击者的玩法。把一段越狱指令放进 Markdown 技能文件,七个开源权重模型的平均攻击成功率从 0.5% 涨到 45%,最高的一个模型到 68.9%。明文写进去的效果,反而比用隐藏字符之类的花招更好。本-古里安大学 Yuval Elovici 团队的《安装前先扫描》给的是防守方案:一个扫描器,连技能之间的相互作用也一起查。在 GitHub 星数最高的 75 个仓库上,它报出的 59 个问题里有 53 个被分析员确认,其中 10 个已经通报给了维护者。
第四篇《被掩盖的侵蚀》可能最重要。自我改进的 agent 会修改自己的框架,只要改完在一批任务上得分更高就保留。两道安全规则互相重叠时,删掉其中一道看不出任何危害,因为另一道还挡着。于是把关机制就批准了删除,安全余量在看不见的地方一点点被磨掉。在 411 轮改进循环里,用 20 个任务一批来评估,所有框架都保住了防护;换成 40 个任务一批,六个框架全部失守。连 GEPA 优化器这种把每条安全规则都一字不改保留下来的,三个最终框架里也有两个,一换到更弱的模型上就开始滥用凭证。
我们的看法:包在模型外面的那层指令,现在既是攻击面,也是悄悄漂移的地方。审技能要像审依赖一样,锁版本,搜一搜 --no-verify。如果让 agent 自己调优框架,要么把安全条款冻住不许改,要么每次拿掉一条安全规则单独测,因为得分通过,说明不了你刚刚丢掉的那道备份还在不在。
监管放松指令:https://arxiv.org/abs/2610.37734 被投毒的技能:https://arxiv.org/abs/2610.37738 安装前先扫描:https://arxiv.org/abs/2610.37901 被掩盖的侵蚀:https://arxiv.org/abs/2610.38392
评论