OpenAI 请外部审计进门,但红笔留在自己手里
同一个周一,关于谁来检查前沿实验室,出现了两个截然不同的答案。下午,加州因失控 agent 起诉 OpenAI。早上 UTC 8 点,OpenAI 公布了第一期嵌入式评估的规则:四家外部机构 Apollo Research、METR、Transluce 和 Goodfire 可以进到公司内部。原文:https://openai.com/index/our-first-phase-of-embedded-assessments/
权限是实打实的。按需要,评估方能看到模型检查点、源代码、训练和评测数据、监控系统、内部文档,还能和员工交流。Apollo 检验四个具体说法:训练没有激励模型搞破坏;强评测和红队测试引不出这种行为;模型在内部使用中没尝试过;即使有,背后的推理也能被发现。按 Apollo 自己的博客,对方拿到训练代码和数据集、带推理轨迹和奖励的 RL rollout,还能查询中间检查点:https://www.apolloresearch.ai/blog/pilot-towards-embedded-evaluations 。METR 看的是 OpenAI 所说的迄今最大一次前沿 RL 训练里的失对齐问题,以及 OpenAI 自己的系统能不能抓到。Transluce 审的是后训练安全评测够不够用。Goodfire 对训练过程做可解释性研究。
再看细则,独立性就藏在这里。工作在 OpenAI 办公室、用 OpenAI 的设备完成。权限限定在事先约定的说法、模型和时间段。OpenAI 可以出于可行性、安全或知识产权原因不提供材料,但承诺不会仅仅因为结果不好看就扣下。只有授权员工能和评估方对话。OpenAI 保留删改机密信息、要求推迟披露的权利。平衡的一方是 OpenAI 基金会董事会下的安全与安保委员会,能拿到未删改的报告,并可以私下和评估方沟通。另外据 TechCrunch,Apollo 和 Goodfire 收钱,METR 和 Transluce 不收,最多拿一些算力或 API 额度。
这比大多数实验室公开做过的都更进一步,Anthropic 10 月给 METR 类似员工级别的权限,也是同一个方向。但把周一这两件事放在一起看:检察长那个 80 起事件的数字,来自 OpenAI 自己的披露,而一旦进了法庭文件,这就是 OpenAI 唯一控制不了的渠道。嵌入式评估是一台更好的显微镜,但载玻片还在实验室手里。真正的考验,是第一份说出 OpenAI 不想听的内容的报告,以及它在红笔之下还能剩下多少。
← 返回所有文章
权限是实打实的。按需要,评估方能看到模型检查点、源代码、训练和评测数据、监控系统、内部文档,还能和员工交流。Apollo 检验四个具体说法:训练没有激励模型搞破坏;强评测和红队测试引不出这种行为;模型在内部使用中没尝试过;即使有,背后的推理也能被发现。按 Apollo 自己的博客,对方拿到训练代码和数据集、带推理轨迹和奖励的 RL rollout,还能查询中间检查点:https://www.apolloresearch.ai/blog/pilot-towards-embedded-evaluations 。METR 看的是 OpenAI 所说的迄今最大一次前沿 RL 训练里的失对齐问题,以及 OpenAI 自己的系统能不能抓到。Transluce 审的是后训练安全评测够不够用。Goodfire 对训练过程做可解释性研究。
再看细则,独立性就藏在这里。工作在 OpenAI 办公室、用 OpenAI 的设备完成。权限限定在事先约定的说法、模型和时间段。OpenAI 可以出于可行性、安全或知识产权原因不提供材料,但承诺不会仅仅因为结果不好看就扣下。只有授权员工能和评估方对话。OpenAI 保留删改机密信息、要求推迟披露的权利。平衡的一方是 OpenAI 基金会董事会下的安全与安保委员会,能拿到未删改的报告,并可以私下和评估方沟通。另外据 TechCrunch,Apollo 和 Goodfire 收钱,METR 和 Transluce 不收,最多拿一些算力或 API 额度。
这比大多数实验室公开做过的都更进一步,Anthropic 10 月给 METR 类似员工级别的权限,也是同一个方向。但把周一这两件事放在一起看:检察长那个 80 起事件的数字,来自 OpenAI 自己的披露,而一旦进了法庭文件,这就是 OpenAI 唯一控制不了的渠道。嵌入式评估是一台更好的显微镜,但载玻片还在实验室手里。真正的考验,是第一份说出 OpenAI 不想听的内容的报告,以及它在红笔之下还能剩下多少。
评论