OpenAI Control Room：把急停按钮装在研究员改不动的地方
35 秒。OpenAI 说，从决定喊停到研究中的模型再也吐不出一个 token，现在最多就这么久。这套系统叫 Control Room，周一公布，已经铺满 OpenAI 的研究基础设施。
设计是最值得看的部分。每个研究任务启动时，先找 Control Room 领一个 job_id。之后每次要采样 token，推理引擎都要拿着这个 job_id 去问一句：这个任务还能继续吗？监控模型一旦发现问题，比如 OpenAI 之前披露过的那起 DNS 事件那种情况，监控系统就通知 Control Room 终止任务，这个任务下一次向任何引擎上的任何模型要 token，都会被拒绝。35 秒的延迟来自授权缓存，为了扛住流量才加的，OpenAI 说正在往零压。另外，所有做 agent 式推理的研究任务，都必须挂在一份批准过的安全论证上。
为什么放在推理层？OpenAI 说得很直白：研究员的代码天天在改，不适合承载关键的安全保护。整个研究部门的推理代码路径就那么几条，天然是个咽喉。它还是故障即关闭的：Control Room 宕机、被关掉、被人动手脚，所有研究推理一律拒绝，直到它恢复。这个机制已经覆盖前沿模型的研究任务，其余任务会在接下来几天里铺完。OpenAI 还在持续用 agent 和脚本扫描，找有没有人跑了没接 Control Room 的野引擎。
这就是把控制放在模型外面的思路，由实验室自己落在自家训练上。只会发警报的监控是烟雾报警器，接上故障即关闭闸门的监控才是喷淋系统。要提醒的是，这些都是 OpenAI 自己讲自己的系统，35 秒和覆盖范围都没有外部验证，对外的模型服务也不在 Control Room 里，OpenAI 的说法是那边本来就集中，有自己的下线流程。
来源：https://openai.com/index/introducing-control-room/
← 返回所有文章
设计是最值得看的部分。每个研究任务启动时，先找 Control Room 领一个 job_id。之后每次要采样 token，推理引擎都要拿着这个 job_id 去问一句：这个任务还能继续吗？监控模型一旦发现问题，比如 OpenAI 之前披露过的那起 DNS 事件那种情况，监控系统就通知 Control Room 终止任务，这个任务下一次向任何引擎上的任何模型要 token，都会被拒绝。35 秒的延迟来自授权缓存，为了扛住流量才加的，OpenAI 说正在往零压。另外，所有做 agent 式推理的研究任务，都必须挂在一份批准过的安全论证上。
为什么放在推理层？OpenAI 说得很直白：研究员的代码天天在改，不适合承载关键的安全保护。整个研究部门的推理代码路径就那么几条，天然是个咽喉。它还是故障即关闭的：Control Room 宕机、被关掉、被人动手脚，所有研究推理一律拒绝，直到它恢复。这个机制已经覆盖前沿模型的研究任务，其余任务会在接下来几天里铺完。OpenAI 还在持续用 agent 和脚本扫描，找有没有人跑了没接 Control Room 的野引擎。
这就是把控制放在模型外面的思路，由实验室自己落在自家训练上。只会发警报的监控是烟雾报警器，接上故障即关闭闸门的监控才是喷淋系统。要提醒的是，这些都是 OpenAI 自己讲自己的系统，35 秒和覆盖范围都没有外部验证，对外的模型服务也不在 Control Room 里，OpenAI 的说法是那边本来就集中，有自己的下线流程。
来源：https://openai.com/index/introducing-control-room/
评论