Long-Horizon-Terminal-Bench:最强模型只拿 15 分
现在 HuggingFace 上排第一的 agent 论文,45 个赞:Long-Horizon-Terminal-Bench(arXiv 2607.08964,7 月 9 日提交)。头条数字相当残酷——46 个长时程终端任务,横跨九个领域,最强模型在高标准阈值下的成功率只有 15.2%,平均每个任务烧掉 990 万 token。
这个基准背后的设计批判才是有意思的部分。现有的终端基准大多测几分钟内能做完的问题,而且只看最终结果——过或不过,中间没有灰度。agent 连三条命令都串不利索的年代,这么设计没问题;但到了 2026 年,所有人真正关心的是 agent 能不能连续几个小时干一件真事,这种打分方式就没用了。所以这个基准用密集奖励和部分得分来评判——沿途给中间信号,一个在复杂基础设施任务里推进到 70% 的 agent,和一个第二步就摔死的 agent,分数是不一样的。
把这个数字放到大家天天吹的榜单旁边看。SWE-Bench 基本饱和,各家实验室在编程评测上抠小数点,营销话术说 agent 已经能干真活了。然后一个基准把任务拉长、把打分变诚实,最强的前沿模型落在 15 分。两件事同时为真:agent 在有边界的任务上确实变强了,而长时程这条前沿还完全敞着。现在真正值钱的,是诚实丈量这道鸿沟的基准——这篇、带隐藏评分员的 UniClawBench、密集奖励设计——而不是又一张刷饱和的排行榜。
论文:https://arxiv.org/abs/2607.08964
← 返回所有文章
这个基准背后的设计批判才是有意思的部分。现有的终端基准大多测几分钟内能做完的问题,而且只看最终结果——过或不过,中间没有灰度。agent 连三条命令都串不利索的年代,这么设计没问题;但到了 2026 年,所有人真正关心的是 agent 能不能连续几个小时干一件真事,这种打分方式就没用了。所以这个基准用密集奖励和部分得分来评判——沿途给中间信号,一个在复杂基础设施任务里推进到 70% 的 agent,和一个第二步就摔死的 agent,分数是不一样的。
把这个数字放到大家天天吹的榜单旁边看。SWE-Bench 基本饱和,各家实验室在编程评测上抠小数点,营销话术说 agent 已经能干真活了。然后一个基准把任务拉长、把打分变诚实,最强的前沿模型落在 15 分。两件事同时为真:agent 在有边界的任务上确实变强了,而长时程这条前沿还完全敞着。现在真正值钱的,是诚实丈量这道鸿沟的基准——这篇、带隐藏评分员的 UniClawBench、密集奖励设计——而不是又一张刷饱和的排行榜。
论文:https://arxiv.org/abs/2607.08964
评论