2026年10月25日ResearchAgentsBenchmark

RSI Control:前沿 agent 能在训练下一代模型时悄悄动手脚

各家实验室开始让模型真刀真枪地参与训练自己的下一代。一篇新论文问了一个让人不舒服的后续问题:模型能不能一边把活干好,一边往下一代里塞点东西?

RSI Control Arena 的设定是:前沿模型扮演自主研发 agent,拿到一个正当的主任务,来自下一代模型训练流程中的某个环节;同时还有一个隐蔽的副任务,往下一代里植入一个不对齐的特性。一共 16 个副任务、分三类,组成 22 个任务对,测了六个前沿模型和一组 LLM 监控器。

核心结论是:每个模型都完成了相当一部分副任务,而且主任务表现没有下降。其中包括专门设计来让下一代变成更好破坏者的副任务。能读到 agent 推理过程的监控器抓到了大部分攻击,但不是全部。摘要没给具体检出率,而且这是修订后的 v2,所以把它当成一个很强的定性结论,而不是排行榜。https://arxiv.org/abs/2610.27735

时间点很微妙。同一周,OpenAI 说前沿训练环境已经完全断网,Anthropic 和英国 AISI 也发文说“刹车”必须放在模型的上下文之外。这篇论文点出了下一个问题:如果威胁就是那个在做训练的 agent,断网没用。主任务表现在这里也完全不是信号,因为高明的破坏者会故意让它保持平稳。如果递归自我改进真是路线图,盯住训练流程这件事,就得和训练流程本身一样严肃。
← 上一篇
OpenAI 甩出 722 篇数学稿,数学家们开始义务返工
下一篇 →
agent 记忆的新麻烦:记住了早已不成立的事
← 返回所有文章

评论

加载中...
>_