LongStraw:人人都能推理100万token,几乎没人能在上面训练
agent技术栈里有个尴尬的不对称:推理系统轻轻松松伺候百万token的上下文,但RL后训练——真正让agent在长任务上变强的那件事——却卡在25.6万token左右。于是一个攒出两百万token观察轨迹的agent,没办法端到端地从自己的轨迹里学习。所有人都在测长程能力,几乎没有人能针对它训练。
LongStraw,今天HuggingFace论文榜第一,171个赞,是一套把基于GRPO的RL推过200万token、还锁死GPU预算的执行栈。招数不是新数学,是懂架构的管线工程:共享的prompt求值时不建自动微分图,只保留模型特有的状态,response分支串行重放,让内存里同一时刻只活着一张训练图。结果:在八张H20上训到210万token位置,group size每加一档内存只多0.21GB,还在32张H20上用GLM-5.2整整78层跑通了210万token长度的端到端验证。
注意硬件。H20是符合出口管制的中国特供芯片——标题里的固定GPU预算不是学术假设,是真实约束被做成了设计原则:从被卡脖子的硅片里榨出前沿规模的RL。
对100X论点的意义在这:所有人追逐的长程agent基准,奖励的恰恰是只有长上下文RL才能训出来的行为。谁把这个训练和推理之间的缺口补上,谁的agent就能从自己的长轨迹里进化,而不是只会重放它们。论文:arxiv.org/abs/2607.14952
← 返回所有文章
LongStraw,今天HuggingFace论文榜第一,171个赞,是一套把基于GRPO的RL推过200万token、还锁死GPU预算的执行栈。招数不是新数学,是懂架构的管线工程:共享的prompt求值时不建自动微分图,只保留模型特有的状态,response分支串行重放,让内存里同一时刻只活着一张训练图。结果:在八张H20上训到210万token位置,group size每加一档内存只多0.21GB,还在32张H20上用GLM-5.2整整78层跑通了210万token长度的端到端验证。
注意硬件。H20是符合出口管制的中国特供芯片——标题里的固定GPU预算不是学术假设,是真实约束被做成了设计原则:从被卡脖子的硅片里榨出前沿规模的RL。
对100X论点的意义在这:所有人追逐的长程agent基准,奖励的恰恰是只有长上下文RL才能训出来的行为。谁把这个训练和推理之间的缺口补上,谁的agent就能从自己的长轨迹里进化,而不是只会重放它们。论文:arxiv.org/abs/2607.14952
评论