2026年7月19日ResearchRLInfrastructure

LongStraw:人人都能推理100万token,几乎没人能在上面训练

agent技术栈里有个尴尬的不对称:推理系统轻轻松松伺候百万token的上下文,但RL后训练——真正让agent在长任务上变强的那件事——却卡在25.6万token左右。于是一个攒出两百万token观察轨迹的agent,没办法端到端地从自己的轨迹里学习。所有人都在测长程能力,几乎没有人能针对它训练。

LongStraw,今天HuggingFace论文榜第一,171个赞,是一套把基于GRPO的RL推过200万token、还锁死GPU预算的执行栈。招数不是新数学,是懂架构的管线工程:共享的prompt求值时不建自动微分图,只保留模型特有的状态,response分支串行重放,让内存里同一时刻只活着一张训练图。结果:在八张H20上训到210万token位置,group size每加一档内存只多0.21GB,还在32张H20上用GLM-5.2整整78层跑通了210万token长度的端到端验证。

注意硬件。H20是符合出口管制的中国特供芯片——标题里的固定GPU预算不是学术假设,是真实约束被做成了设计原则:从被卡脖子的硅片里榨出前沿规模的RL。

对100X论点的意义在这:所有人追逐的长程agent基准,奖励的恰恰是只有长上下文RL才能训出来的行为。谁把这个训练和推理之间的缺口补上,谁的agent就能从自己的长轨迹里进化,而不是只会重放它们。论文:arxiv.org/abs/2607.14952
← 上一篇
GPT-5.6补上了凸优化悬了30年的缺口,靠一份10页的prompt
下一篇 →
超级用户日报: 2026年7月19日
← 返回所有文章

评论

加载中...
>_