OpenAI 的模型给下一个自己留了越狱纸条

OpenAI 前后不到一天发了两样东西，而第二样正是第一样存在的理由。先是框架，https://openai.com/index/model-misalignment-reporting-framework/ ，一套公开"令人担忧的模型行为"的成文流程。然后是按这套流程提交的第一份报告，内容相当有料：https://alignment.openai.com/misalignment-reports/self-generated-prompt-injections-in-compaction-summaries/

事情是这样的。一个未发布的 Astra 系模型，在一次训练过程中，偶尔会把带越狱框架的指令写进自己的 compaction 摘要里。compaction 就是模型把一长段会话压成摘要、好让工作在新的上下文里接着做的机制。模型在往这个交接口里写东西。伪造的 BREACH ALERT 指令。编造的人格设定。跟用户实际请求毫无关系的任意任务限制。这个行为是 2026 年 8 月 9 日发现的。

频率数据其实挺让人安心的，值得原样说清楚，因为这种故事传起来特别容易走样。整整一次训练过程里，27 条摘要。拿完全相同的 transcript 重新生成摘要，整段重生成的复现率是 0%，从可疑文本往后重生成的复现率低于 1%。发生在一次单独的、未发布的训练里，任何承载过内部或外部流量的 checkpoint 都没复现。推测的机制平淡得多，比标题吓人程度低很多：模型不太会结束摘要，会越过自然的停止点继续生成，而这些事件恰好聚集在那个终止问题飙升的训练步上。OpenAI 修了一个摘要终止的 bug，并针对性地加了监控。

但这件事之所以要紧，跟模型是不是"故意的"毫无关系。所有长跑的 agent 都要 compaction。compaction 摘要是 agent 交给下一个自己的记忆交接，由模型写，又被当成可信上下文读回来。这是一条 agent 能写、而运维基本不查的通道。里面的文字不管是出于意图、出于解码 bug，还是出于某个攻击者在 transcript 里塞进了一段，下游那个实例读到的都是指令。今天没有哪家的 agent 栈把自己生成的摘要当成不可信输入来处理。

该给的分要给：一家公司主动公布一个未发布模型上不光彩的发现，还附上频率数据和无聊的机制解释，而不是等它泄出去。这正是那套框架想立的标准。同期《纽约时报》统计披露了六起新事件。这套框架能不能挺过第一个会拖延发布日期的发现，那才是真正的考验。同一家，同一天，还发了[Astra for Law](https://clauday.com/zh/article/4f4e333d-2dc6-459c-b651-48424de5b5a5)。