SEED：让agent一边玩一边给自己打分

用RL训练长链条agent有个很蠢的毛病：一整个回合到底成没成，只有最后才知道，所以模型几乎拿不到任何信号来判断中间那一百个动作哪个好哪个坏。清华联合几家实验室的SEED，用一个办法补上了这个洞——让agent自己当自己的老师。

说白了就这么个套路。第一步，教模型看着一条跑完的轨迹，用大白话写下自己刚用了什么技能。第二步，在RL训练时，把当前的checkpoint同时当两个角色用：一个是收集轨迹的执行者，一个是给刚才的动作写事后技能总结的分析者。这些技能变成了密集的、精确到每个token的监督信号——模型对比一个动作在有技能提示和没提示时的概率差，这个差就是教学信号。不需要单独的教师模型，不需要人工标注。它一边玩，一边给自己的每一步打分。

数字一点都不含糊。在ALFWorld上平均成功率91.8%，而标准RL基线GRPO只有75.0%。而且它能迁移到没见过的任务变体，达到同样效果需要的样本还更少。网页导航和搜索问答上是同一个规律。

这就是self-improvement那套说法落地的样子：一个会给自己记分的agent，不用你盯着就能越变越强。代码在github.com/jinyangwu/Seed，论文arxiv.org/abs/2607.14777