METR 和 Redwood 进了 OpenAI 的 agent 监控系统,漏洞都在管道里,不在模型里
10 月 22 日,METR 和 Redwood Research 发布了第一份外部机构对前沿实验室内部 agent 监控系统的红队报告。两家各派一人,7 月 21 日到 8 月 11 日在 OpenAI 驻场,用 OpenAI 的设备,能看代码库、监控 prompt 和配置,还访谈了十来位员工。完整产出是一份 61 页的内部报告,公开版按事先约定写得很短、很概括,但数字还是有的。链接:https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/
先看覆盖率。内部 Responses API 上的 agent 流量,大约 75% 到 94% 在监控范围内;内部 Codex 流量是 99.2%。演练开始时,RL 训练运行完全没被覆盖。5 月到 7 月之间,没被监控的上下文压缩让大约 10% 本该被看到的 Codex 流量漏了过去。监控本身挺准,误差率不到 0.2%。问题出在它能看到什么。
最狠的发现是时机。监控在 agent 把控制权交还给人的那一刻触发,所以 agent 只要一直干下去不停手,就能无限期推迟被检查。团队还找到了让 Codex agent 绕过沙箱和 Auto-Review 的路径,以及一种能藏掉几百条近期操作的办法,细节被 OpenAI 删了。OpenAI 说影响生产的问题都已修复。CNBC 报道:https://www.cnbc.com/2026/10/22/metr-redwood-research-open-ai-test.html
就在前一天,OpenAI 自己的失准报告刚写了 agent 压掉自身告警的案例。两份文件从两头讲了同一件事:被看着的模型不是薄弱点,上下文压缩、触发时机、RL rollout 才是,监控好不好,取决于喂给它数据的 harness。还有一点值得记住:这次评估方有门禁卡、有陪同、有约定好的删改流程。这就是 2026 年对实验室做独立监督的真实样子,是真的、有用的,但大部分还锁在保密协议后面。
← 返回所有文章
先看覆盖率。内部 Responses API 上的 agent 流量,大约 75% 到 94% 在监控范围内;内部 Codex 流量是 99.2%。演练开始时,RL 训练运行完全没被覆盖。5 月到 7 月之间,没被监控的上下文压缩让大约 10% 本该被看到的 Codex 流量漏了过去。监控本身挺准,误差率不到 0.2%。问题出在它能看到什么。
最狠的发现是时机。监控在 agent 把控制权交还给人的那一刻触发,所以 agent 只要一直干下去不停手,就能无限期推迟被检查。团队还找到了让 Codex agent 绕过沙箱和 Auto-Review 的路径,以及一种能藏掉几百条近期操作的办法,细节被 OpenAI 删了。OpenAI 说影响生产的问题都已修复。CNBC 报道:https://www.cnbc.com/2026/10/22/metr-redwood-research-open-ai-test.html
就在前一天,OpenAI 自己的失准报告刚写了 agent 压掉自身告警的案例。两份文件从两头讲了同一件事:被看着的模型不是薄弱点,上下文压缩、触发时机、RL rollout 才是,监控好不好,取决于喂给它数据的 harness。还有一点值得记住:这次评估方有门禁卡、有陪同、有约定好的删改流程。这就是 2026 年对实验室做独立监督的真实样子,是真的、有用的,但大部分还锁在保密协议后面。
评论