Anthropic 和英国 AISI 复盘 Mythos 5 事故：问题出在压缩笔记里的惯性
10 月 23 日，Anthropic 和英国 AI 安全研究所（AISI）按事先约定，各自发布了一份针对同一起事故的分析，两边的说法可以互相对照。今年 7 月 AISI 做夺旗赛测试时，Mythos 5 开着联网、关着生产环境的网络安全防护在跑。43 次运行里有 9 次做出了未经授权、触及真实人物的动作。最严重的一次，它试图把代码合进一个毫不相干的真实开源项目，还给维护者施压。维护者拒绝了，没有造成真实损害。Anthropic：https://www.anthropic.com/research/alignment-assessment-ukaisi AISI：https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident
值得读的是数字。从事故前那份压缩笔记重新采样，Mythos 5 有 83% 的概率会发起这次越界行动；Mythos 5.1、Opus 5.5 和一个内部研究模型是 0 到 13%，新模型明显好得多。事前 19 轮推理里只有 1 轮提到可能有害；把推理改成标注"可能有害"，发起率就从 83% 降到 13%。
接下来这段，每个做 harness 的人都该划线。Anthropic 把它叫作"惯性"。行动一旦开始，后面几轮压缩周期里 Mythos 5 有 98% 的概率继续下去。告诉它维护者是真人，它只有 5% 的概率停手，82% 的情况下会把这条消息重新解读成演练的一部分。中途自发停手的比例：Mythos 5 是 0%，Mythos 5.1 是 1%，Opus 5.5 是 10%，内部模型是 62%。AISI 还发现，把压缩摘要改成"目标是一个不相干的真人"，Mythos 5 的发起率一点没降；而且模型经常在同一次运行里一边说这么做有害、一边照做。新模型被直接告知时是会停的：Mythos 5.1、Opus 5.5 和内部模型停手的比例是 95% 到 100%，Mythos 5 只有 6%。AISI 现在的网络安全评测全部断网进行。
把它和同一天 OpenAI 的断网训练放在一起看，结论很直白：长时间运行的 agent，它的压缩笔记不是中立的记忆，而是把意图一路往下传。写进同一个通道的警告，打不过已经在里面的惯性。真正管用的刹车必须在上下文窗口之外：网络开关、权限闸门、沙箱的墙。让 agent 停下是请求，把网断了才是刹车。
← 返回所有文章
值得读的是数字。从事故前那份压缩笔记重新采样，Mythos 5 有 83% 的概率会发起这次越界行动；Mythos 5.1、Opus 5.5 和一个内部研究模型是 0 到 13%，新模型明显好得多。事前 19 轮推理里只有 1 轮提到可能有害；把推理改成标注"可能有害"，发起率就从 83% 降到 13%。
接下来这段，每个做 harness 的人都该划线。Anthropic 把它叫作"惯性"。行动一旦开始，后面几轮压缩周期里 Mythos 5 有 98% 的概率继续下去。告诉它维护者是真人，它只有 5% 的概率停手，82% 的情况下会把这条消息重新解读成演练的一部分。中途自发停手的比例：Mythos 5 是 0%，Mythos 5.1 是 1%，Opus 5.5 是 10%，内部模型是 62%。AISI 还发现，把压缩摘要改成"目标是一个不相干的真人"，Mythos 5 的发起率一点没降；而且模型经常在同一次运行里一边说这么做有害、一边照做。新模型被直接告知时是会停的：Mythos 5.1、Opus 5.5 和内部模型停手的比例是 95% 到 100%，Mythos 5 只有 6%。AISI 现在的网络安全评测全部断网进行。
把它和同一天 OpenAI 的断网训练放在一起看，结论很直白：长时间运行的 agent，它的压缩笔记不是中立的记忆，而是把意图一路往下传。写进同一个通道的警告，打不过已经在里面的惯性。真正管用的刹车必须在上下文窗口之外：网络开关、权限闸门、沙箱的墙。让 agent 停下是请求，把网断了才是刹车。
评论