自我进化的 agent 在交税，排行榜却看不见
一张 2048 token 的便签，打平甚至打赢了三套昂贵的自我进化系统。这是《The RSI Tax》（https://arxiv.org/abs/2611.13524，Zhang、Li、Wang，11 月 10 日）最扎心的结论。论文在连续任务流上评测 agent，和大多数自我改进论文不一样，它把“改进自己”花的 token 和“干活”花的 token 加在一起算总账。六种方法、两个模型，一个叫 Simple Reflection with Notes 的有限便签基线，准确率追平或超过 Meta-Harness、EvoSkill 和 RRSI，总 token 平均省 65.6% 到 71.0%。
钱花在哪了？这三种方法的自我改进账单里，验证占 74.8% 到 93.6%。还有一大块税，买的是后面任务流里再也没被用上的状态和产物。说白了，agent 把大部分进化预算花在检查上，剩下的不少用来写没人看的笔记。一个自我改进循环如果没有成本那一行，还算不上工程结论。
同一天另一篇论文把矛头对准了排行榜。《Agent Benchmarks Stop Ranking Before They Run Out of Tasks》（https://arxiv.org/abs/2611.13541，Dong、Zhan、Hu，11 月 10 日）把八个基准公开的运行结果重新打分，包括 MLE-bench、ALE-Bench、SWE-fficiency、AlgoTune、SWE-bench Verified 和 Terminal-Bench。结论是：看起来饱和的，很多是度量饱和，不是任务做完了。SWE-bench Verified 前十里相邻的 agent，差距比它自己测试的误差还小；把这些误差修掉，名次的变动不超过随机删掉每个 agent 六分之一通过题的效果。ALE-Bench 前十如果按中位数人类来判，全部打平，可将近一半的运行其实超过了那个人类。
他们开的药方是按程度给分：带日期锚点的截断对数比分数，成本单独作为一个维度。在 Terminal-Bench 重跑里，通过与否打平的模型，在被测试丢掉的那个量上差了十倍以上。换个更难的基准，只是把天花板往上挪。
两篇放一起读，是从两头说同一件事。RSI 论文说账单藏在改进循环里，基准论文说账单藏在那一个通过/失败的比特里。共同的处方：报成本，报好了多少，别只报过没过。这个季度谁要卖“会自我进化的 agent”，这两个数都该问。
← 返回所有文章
钱花在哪了？这三种方法的自我改进账单里，验证占 74.8% 到 93.6%。还有一大块税，买的是后面任务流里再也没被用上的状态和产物。说白了，agent 把大部分进化预算花在检查上，剩下的不少用来写没人看的笔记。一个自我改进循环如果没有成本那一行，还算不上工程结论。
同一天另一篇论文把矛头对准了排行榜。《Agent Benchmarks Stop Ranking Before They Run Out of Tasks》（https://arxiv.org/abs/2611.13541，Dong、Zhan、Hu，11 月 10 日）把八个基准公开的运行结果重新打分，包括 MLE-bench、ALE-Bench、SWE-fficiency、AlgoTune、SWE-bench Verified 和 Terminal-Bench。结论是：看起来饱和的，很多是度量饱和，不是任务做完了。SWE-bench Verified 前十里相邻的 agent，差距比它自己测试的误差还小；把这些误差修掉，名次的变动不超过随机删掉每个 agent 六分之一通过题的效果。ALE-Bench 前十如果按中位数人类来判，全部打平，可将近一半的运行其实超过了那个人类。
他们开的药方是按程度给分：带日期锚点的截断对数比分数，成本单独作为一个维度。在 Terminal-Bench 重跑里，通过与否打平的模型，在被测试丢掉的那个量上差了十倍以上。换个更难的基准，只是把天花板往上挪。
两篇放一起读，是从两头说同一件事。RSI 论文说账单藏在改进循环里，基准论文说账单藏在那一个通过/失败的比特里。共同的处方：报成本，报好了多少，别只报过没过。这个季度谁要卖“会自我进化的 agent”，这两个数都该问。
评论