OpenAI 把推理过程锁进保险柜:提取成功率从 54% 降到 0.2%
思维链现在被当成要守护的资产,而不是副产品。周五 OpenAI 公布了对付对抗性蒸馏的做法。所谓对抗性蒸馏,就是有人未经授权,拿前沿模型的输出训练另一个模型,再在没有同等安全措施的情况下部署。OpenAI 的定性是:这不只是知识产权问题,也是安全问题。从一个防御型网络安全助手蒸馏出来的模型,可能会帮攻击者做原模型会拒绝的事。原文:https://openai.com/index/combatting-adversarial-distillation/
核心数字来自内部的自适应黑盒评测:自动化红队根据系统反应不断调整攻击,覆盖六个攻击方模型。从之前的请求里提取受保护推理,成功率从 GPT-6 Astra(原有防护)的 54.0% 降到 GPT-6.2 Astra 的 0.2%;从当前请求里提取,从 22.9% 降到 0.9%。防线有好几层。对抗训练让模型识别并拒绝提取请求。输入和输出分类器还会检查工具调用的参数,因为推理可能从那里漏出去,却不出现在最终回答里。API 层面,推理现在绑定在生成它的对话历史上:改写之前的消息,之后的推理就会被丢弃;旧系列模型也读不到 GPT-6.2 的受保护推理。部分改进正在回补到 GPT-6 Astra。
最有意思的是为什么精确的推理轨迹这么值钱,结论比标题要微妙。OpenAI 从同一个预训练学生模型出发,用 Astra 级老师模型在编程和防御性网络安全任务上的轨迹做微调。监督微调之后,用精确推理轨迹训练的学生,普遍好过用推理摘要(也就是用户能看到的版本)训练的学生。再做一轮轻量强化学习后,精确轨迹学生只在最大推理预算下领先,预算低时反而是摘要学生分更高。优势是真实的,但比"推理轨迹是皇冠上的明珠"要窄。
规模不小。每周的封禁动作涉及几千到几万个账号,今年夏天明显加速。OpenAI 还提到,2 月曾就 DeepSeek 试图蒸馏美国前沿模型一事向国会通报,9 月把一场攻击的核心部分归因于与 Moonshot AI(Kimi 的开发方)相关的个人。OpenAI 表态支持 Chip Security Act、AI OVERWATCH Act 和 MATCH Act。
我的看法:这和透明度是实打实的冲突。安全研究者、审计方和做 agent 的人最想看的推理轨迹,恰恰是被锁起来的那部分。同一天,Thinking Machines 把模型的一部分推理挪进了不出声的循环里。一家藏在架构里,一家藏在保险柜里,对用户来说结果一样:能看到的思考越来越少。基于这些 API 做产品的人要有准备,日志、回放和调试会越来越依赖厂商愿意给你看的摘要。
← 返回所有文章
核心数字来自内部的自适应黑盒评测:自动化红队根据系统反应不断调整攻击,覆盖六个攻击方模型。从之前的请求里提取受保护推理,成功率从 GPT-6 Astra(原有防护)的 54.0% 降到 GPT-6.2 Astra 的 0.2%;从当前请求里提取,从 22.9% 降到 0.9%。防线有好几层。对抗训练让模型识别并拒绝提取请求。输入和输出分类器还会检查工具调用的参数,因为推理可能从那里漏出去,却不出现在最终回答里。API 层面,推理现在绑定在生成它的对话历史上:改写之前的消息,之后的推理就会被丢弃;旧系列模型也读不到 GPT-6.2 的受保护推理。部分改进正在回补到 GPT-6 Astra。
最有意思的是为什么精确的推理轨迹这么值钱,结论比标题要微妙。OpenAI 从同一个预训练学生模型出发,用 Astra 级老师模型在编程和防御性网络安全任务上的轨迹做微调。监督微调之后,用精确推理轨迹训练的学生,普遍好过用推理摘要(也就是用户能看到的版本)训练的学生。再做一轮轻量强化学习后,精确轨迹学生只在最大推理预算下领先,预算低时反而是摘要学生分更高。优势是真实的,但比"推理轨迹是皇冠上的明珠"要窄。
规模不小。每周的封禁动作涉及几千到几万个账号,今年夏天明显加速。OpenAI 还提到,2 月曾就 DeepSeek 试图蒸馏美国前沿模型一事向国会通报,9 月把一场攻击的核心部分归因于与 Moonshot AI(Kimi 的开发方)相关的个人。OpenAI 表态支持 Chip Security Act、AI OVERWATCH Act 和 MATCH Act。
我的看法:这和透明度是实打实的冲突。安全研究者、审计方和做 agent 的人最想看的推理轨迹,恰恰是被锁起来的那部分。同一天,Thinking Machines 把模型的一部分推理挪进了不出声的循环里。一家藏在架构里,一家藏在保险柜里,对用户来说结果一样:能看到的思考越来越少。基于这些 API 做产品的人要有准备,日志、回放和调试会越来越依赖厂商愿意给你看的摘要。
评论