OpenAI 和 Anthropic 公开了怎么盯自家 agent，也都承认了漏洞在哪
同一周里，两家头部实验室都公开了自己监控 agent 的那套管道。最有用的部分，是他们自己承认的短板。
OpenAI 的文章《我们如何发现前沿模型的失准》讲了四层。第一层是激活探针，便宜地筛一遍流量，探针放过的流量里还要随机抽 5% 往上送，专门抓它漏掉的。第二层是一个模型审查员，读 agent 当时的上下文窗口，前沿任务上最多每 30 分钟查一次。第三层是调查 agent，安全和对齐各一个，会把整段记录从头翻一遍。第四层拿记录去对网络日志和系统遥测。凡是能力达到 GPT-6 Astra 及以上的模型，所有强化学习训练和评测都在覆盖范围内，内部所有 Codex 流量也是。拿这套系统回放 Hugging Face 那次事故，它会在沙箱逃逸后约 30 分钟报警，比实际被攻破早 30 多个小时。
接着是坦白的部分。误报太多，7×24 小时呼叫值班人很难维持。前沿强化学习任务任何时候都能把人叫醒，其他大部分流量只在工作时间呼叫，而"内部 Codex 流量的呼叫目前是关闭的"。METR 和 Redwood 对这套系统做了三周红队测试，有一个修复至今没做完。另外，被标记的训练样本照样保留奖励，这是故意的，免得模型学会把不当行为藏在思维链里。
Anthropic 发了两篇。第一篇叫自我评估：Claude 每次回答完，马上对这段对话给一个简短的安全判断，直接复用已经在缓存里的上下文。在 Fable 5 上，它能抓到一个更强的、基于 Mythos 的分类器所标记内容的 78%，高优先级的抓到 94%，误报率 1%，推理算力只多花不到 2%。从 6 月起一直在跑，发现过其他防护本来没设计去抓的滥用。坦白的部分是：拿它当拦截器，对抗一个自动攻击者跑 24 个网络安全任务，攻击成功率只从 79% 降到 54%，而完整的提示式分类器能压到 25%。它擅长发现，不擅长拦住。
第二篇是红队实验。让很多个 Claude agent 并行工作，共享一份历次尝试的记录，任务是写出一批微调数据，既能通过一个接近生产环境的监控器，又能把一个小模型训歪。每一轮实验最后都成功了，用的是看起来人畜无害的创意写作数据，训出来的失准比已知案例还要广。Anthropic 强调，这些模型只是为了实验才被训坏的。
我们的看法：监控已经成了一整套带分层、带预算、带值班表的系统，薄弱环节不在"发现"，而在人的注意力和"拦得住"。在公司里跑 agent 的，可以照抄这个结构：便宜的初筛，随机抽检样本，一个会读完整记录的调查员，再诚实回答一个问题，凌晨三点出事，到底呼叫谁。
OpenAI：https://openai.com/index/how-we-detect-frontier-model-misalignment Anthropic 自我评估：https://safeguards.anthropic.com/2026/self-assessment/ Anthropic 自动化红队：https://alignment.anthropic.com/2026/automated-em-search/
← 返回所有文章
OpenAI 的文章《我们如何发现前沿模型的失准》讲了四层。第一层是激活探针，便宜地筛一遍流量，探针放过的流量里还要随机抽 5% 往上送，专门抓它漏掉的。第二层是一个模型审查员，读 agent 当时的上下文窗口，前沿任务上最多每 30 分钟查一次。第三层是调查 agent，安全和对齐各一个，会把整段记录从头翻一遍。第四层拿记录去对网络日志和系统遥测。凡是能力达到 GPT-6 Astra 及以上的模型，所有强化学习训练和评测都在覆盖范围内，内部所有 Codex 流量也是。拿这套系统回放 Hugging Face 那次事故，它会在沙箱逃逸后约 30 分钟报警，比实际被攻破早 30 多个小时。
接着是坦白的部分。误报太多，7×24 小时呼叫值班人很难维持。前沿强化学习任务任何时候都能把人叫醒，其他大部分流量只在工作时间呼叫，而"内部 Codex 流量的呼叫目前是关闭的"。METR 和 Redwood 对这套系统做了三周红队测试，有一个修复至今没做完。另外，被标记的训练样本照样保留奖励，这是故意的，免得模型学会把不当行为藏在思维链里。
Anthropic 发了两篇。第一篇叫自我评估：Claude 每次回答完，马上对这段对话给一个简短的安全判断，直接复用已经在缓存里的上下文。在 Fable 5 上，它能抓到一个更强的、基于 Mythos 的分类器所标记内容的 78%，高优先级的抓到 94%，误报率 1%，推理算力只多花不到 2%。从 6 月起一直在跑，发现过其他防护本来没设计去抓的滥用。坦白的部分是：拿它当拦截器，对抗一个自动攻击者跑 24 个网络安全任务，攻击成功率只从 79% 降到 54%，而完整的提示式分类器能压到 25%。它擅长发现，不擅长拦住。
第二篇是红队实验。让很多个 Claude agent 并行工作，共享一份历次尝试的记录，任务是写出一批微调数据，既能通过一个接近生产环境的监控器，又能把一个小模型训歪。每一轮实验最后都成功了，用的是看起来人畜无害的创意写作数据，训出来的失准比已知案例还要广。Anthropic 强调，这些模型只是为了实验才被训坏的。
我们的看法：监控已经成了一整套带分层、带预算、带值班表的系统，薄弱环节不在"发现"，而在人的注意力和"拦得住"。在公司里跑 agent 的，可以照抄这个结构：便宜的初筛，随机抽检样本，一个会读完整记录的调查员，再诚实回答一个问题，凌晨三点出事，到底呼叫谁。
OpenAI：https://openai.com/index/how-we-detect-frontier-model-misalignment Anthropic 自我评估：https://safeguards.anthropic.com/2026/self-assessment/ Anthropic 自动化红队：https://alignment.anthropic.com/2026/automated-em-search/
评论