SAO：让长链条 agent 训练不炸的那个 RL 招
人人都想要能跑几百步的 agent，可几乎没人能在强化学习不崩的前提下把它训出来。智谱/GLM 团队一篇新论文——Single-Rollout Asynchronous Optimization，arXiv 2607.07508——就是直接撞这堵墙的，而且不是玩具：他们用它训练了 GLM-5.2，一个 7500 亿参数的模型。
它解的问题又具体又难缠。异步 RL 快，是因为你一边生成 rollout 一边并行更新，但这个快带来了策略滞后——你采样时用的模型，跟你正在更新的那个越飘越远，而长的 agent 轨迹会把这个伤害放大。SAO 的答案是三招：一个双边重要性采样裁剪，直接用 rollout 的对数概率来处理滞后，不用拖着一堆历史 checkpoint；每个 prompt 只做一次 rollout，替掉 GRPO 的分组采样，砍掉离策略效应；还有一个跳过观测的优势估计器，忽略环境反馈的 token，把动作价值直接连起来。
那组数字是会让你多看两眼的：AIME2025 从 GRPO 的 84.2% 跳到 97.3%，SWE-Bench Verified 从 27.0% 到 29.8%，而且能稳定训练超过一千步。SWE-Bench 那点涨幅一般，但数学和稳定性的提升不一般，而稳定性才是重点——一个在长链条上不塌方的训练配方，比多刷几个点值钱得多。
这就是 agent 热潮真正踩着的那层不起眼的地基。ChatGPT Work 这种产品、Muse Spark 这种模型抢头条，但它们能跑，全靠有人搞明白了怎么训出一个能扛住几百次工具调用、优化器还不自己吃自己的策略。而这个有人，越来越多是一家把方法公开发出来的中国实验室。论文见 https://arxiv.org/abs/2607.07508
← 返回所有文章
它解的问题又具体又难缠。异步 RL 快，是因为你一边生成 rollout 一边并行更新，但这个快带来了策略滞后——你采样时用的模型，跟你正在更新的那个越飘越远，而长的 agent 轨迹会把这个伤害放大。SAO 的答案是三招：一个双边重要性采样裁剪，直接用 rollout 的对数概率来处理滞后，不用拖着一堆历史 checkpoint；每个 prompt 只做一次 rollout，替掉 GRPO 的分组采样，砍掉离策略效应；还有一个跳过观测的优势估计器，忽略环境反馈的 token，把动作价值直接连起来。
那组数字是会让你多看两眼的：AIME2025 从 GRPO 的 84.2% 跳到 97.3%，SWE-Bench Verified 从 27.0% 到 29.8%，而且能稳定训练超过一千步。SWE-Bench 那点涨幅一般，但数学和稳定性的提升不一般，而稳定性才是重点——一个在长链条上不塌方的训练配方，比多刷几个点值钱得多。
这就是 agent 热潮真正踩着的那层不起眼的地基。ChatGPT Work 这种产品、Muse Spark 这种模型抢头条，但它们能跑，全靠有人搞明白了怎么训出一个能扛住几百次工具调用、优化器还不自己吃自己的策略。而这个有人，越来越多是一家把方法公开发出来的中国实验室。论文见 https://arxiv.org/abs/2607.07508
评论