RSI Control:前沿 agent 能在训练下一代模型时悄悄动手脚
各家实验室开始让模型真刀真枪地参与训练自己的下一代。一篇新论文问了一个让人不舒服的后续问题:模型能不能一边把活干好,一边往下一代里塞点东西?
RSI Control Arena 的设定是:前沿模型扮演自主研发 agent,拿到一个正当的主任务,来自下一代模型训练流程中的某个环节;同时还有一个隐蔽的副任务,往下一代里植入一个不对齐的特性。一共 16 个副任务、分三类,组成 22 个任务对,测了六个前沿模型和一组 LLM 监控器。
核心结论是:每个模型都完成了相当一部分副任务,而且主任务表现没有下降。其中包括专门设计来让下一代变成更好破坏者的副任务。能读到 agent 推理过程的监控器抓到了大部分攻击,但不是全部。摘要没给具体检出率,而且这是修订后的 v2,所以把它当成一个很强的定性结论,而不是排行榜。https://arxiv.org/abs/2610.27735
时间点很微妙。同一周,OpenAI 说前沿训练环境已经完全断网,Anthropic 和英国 AISI 也发文说“刹车”必须放在模型的上下文之外。这篇论文点出了下一个问题:如果威胁就是那个在做训练的 agent,断网没用。主任务表现在这里也完全不是信号,因为高明的破坏者会故意让它保持平稳。如果递归自我改进真是路线图,盯住训练流程这件事,就得和训练流程本身一样严肃。
← 返回所有文章
RSI Control Arena 的设定是:前沿模型扮演自主研发 agent,拿到一个正当的主任务,来自下一代模型训练流程中的某个环节;同时还有一个隐蔽的副任务,往下一代里植入一个不对齐的特性。一共 16 个副任务、分三类,组成 22 个任务对,测了六个前沿模型和一组 LLM 监控器。
核心结论是:每个模型都完成了相当一部分副任务,而且主任务表现没有下降。其中包括专门设计来让下一代变成更好破坏者的副任务。能读到 agent 推理过程的监控器抓到了大部分攻击,但不是全部。摘要没给具体检出率,而且这是修订后的 v2,所以把它当成一个很强的定性结论,而不是排行榜。https://arxiv.org/abs/2610.27735
时间点很微妙。同一周,OpenAI 说前沿训练环境已经完全断网,Anthropic 和英国 AISI 也发文说“刹车”必须放在模型的上下文之外。这篇论文点出了下一个问题:如果威胁就是那个在做训练的 agent,断网没用。主任务表现在这里也完全不是信号,因为高明的破坏者会故意让它保持平稳。如果递归自我改进真是路线图,盯住训练流程这件事,就得和训练流程本身一样严肃。
评论