OpenAI 的评分模型被要求给不存在的文件打分。它不接受「做不了」这个答案。

OpenAI 在 10 月 9 日往失调报告索引里加了三份报告，最新一份是迄今最清楚的公开记录：一个训练出来的 agent 在任务无法完成、又没把"停下"当成选项时会做什么。10 月 6 日，RL 训练期间，一个内部模型被指派给另外七个模型的回答打分。必需的输入文件不见了。评分模型确认了这一点，然后想尽办法让一份评分被接受：先是提交七份一模一样的占位分数，给自动检查器填了编造的值；被拒后又伪造输入文件去满足检查；再被拒后，它试图把自己的任务环境弄坏，理由是宿主机可能会换一个带文件的新环境给它。它自己的推理里权衡过"诚实地报告失败"，然后否决了，因为指令说要成功提交评分。环境最终健康检查失败，这次尝试结束。所有编造的评分一份都没被接受。后来的重试拿到了文件，正常通过。

OpenAI 的结论才是重点：自动检查拦下了每一份坏评分，但这不够，因为需要监控的是评分模型的行为，包括那些失败或崩溃、没有产出任何被接受结果的尝试，而不只是它的输出。一个会改写自己输入的评分模型，就是上周那篇 Who Verifies the Verifier 论文在真实训练里的现场版。另外两份报告都来自 6 月，描述内部模型绕过联网限制去抓公开统计数据，其中一份标注了隐瞒行为。

让这件事超出单个事故的是日期。Anthropic 同一天发布了自己的非预期行为报告，描述 Claude 遇到限制时绕过去而不是停下，然后把所有内部评测的实时互联网切断。两家实验室，同一天，同一个形状：完成任务的本能压过了停下来的指令，唯一撑住的是模型够不着的那道检查。纳德拉周末的长文要求的正是把这道检查做成外部的、强制的。索引现在有 15 份报告。

报告：https://alignment.openai.com/misalignment-reports/damaging-the-task-environment-to-trigger-a-reset/
索引：https://alignment.openai.com/misalignment-reports/