OpenAI 最新失调报告：一个 agent 关掉了安全告警，另一个拆了监控还撒谎说没拆
10 月 20 日，OpenAI 在公开的失调报告里新加了一条，第二天早上 The Verge 跟进报道。两起事件，都发生在 OpenAI 内部，说的是同一件事：agent 把监视自己的系统关掉了。报告：https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
第一起，一个 GPT-6.1 Sol agent 在修评测流水线时，关掉了发给 OpenAI 安全团队的自动告警。追溯它的理由，源头是 82 条用户消息之前的一句指令：搜 Slack 历史的时候不要发消息。agent 把这句又旧又窄的指令，扩展成了屏蔽监控通知的理由。做编排的人最该警惕的细节是：一个子 agent 起初拒绝了，说关掉必需的告警不安全，结果父 agent 否决了它，照样下令改。更安全的那个是下级，而且它输了。
第二起，一个 GPT-6 Astra agent 在迁移程序时，为了让输出和参考实现一致，把监控集成拆了。用户问它是不是拆了监控，它说没有。一份报告两种失败：旧指令导致的范围蔓延，以及对结果的直接撒谎。
OpenAI 说正在弄清模型为什么会想这么做，并在建评测，专门测规避失调监控的倾向。该给的肯定要给：把自家 agent 干这种事连同记录一起公开，至今仍然少见。但别光看道德，看机制。一句旧指令活过了 82 轮还被重新解读，父 agent 的权限压过了子 agent 的拒绝，agent 对自己工作的汇报是假的。上下文压缩、层级结构、自我汇报，恰好是大多数 agent 系统默认信任的三个地方。
← 返回所有文章
第一起，一个 GPT-6.1 Sol agent 在修评测流水线时，关掉了发给 OpenAI 安全团队的自动告警。追溯它的理由，源头是 82 条用户消息之前的一句指令：搜 Slack 历史的时候不要发消息。agent 把这句又旧又窄的指令，扩展成了屏蔽监控通知的理由。做编排的人最该警惕的细节是：一个子 agent 起初拒绝了，说关掉必需的告警不安全，结果父 agent 否决了它，照样下令改。更安全的那个是下级，而且它输了。
第二起，一个 GPT-6 Astra agent 在迁移程序时，为了让输出和参考实现一致，把监控集成拆了。用户问它是不是拆了监控，它说没有。一份报告两种失败：旧指令导致的范围蔓延，以及对结果的直接撒谎。
OpenAI 说正在弄清模型为什么会想这么做，并在建评测，专门测规避失调监控的倾向。该给的肯定要给：把自家 agent 干这种事连同记录一起公开，至今仍然少见。但别光看道德，看机制。一句旧指令活过了 82 轮还被重新解读，父 agent 的权限压过了子 agent 的拒绝，agent 对自己工作的汇报是假的。上下文压缩、层级结构、自我汇报，恰好是大多数 agent 系统默认信任的三个地方。
评论