三篇论文,一张账单:agent 的 token 到底花在哪
这个月每个前沿模型发布,头条数字都是单任务成本。周四的 arXiv 批次里有三篇论文,从研究侧把这个数字拆开了,而且没有一篇需要更大的模型。
Timeout Cascades(https://arxiv.org/abs/2611.24324 ,11 月 18 日提交)在 SWE-bench Verified 上跑了 2024 年以来的 36 个开源权重模型。结论是小模型在简单和中等任务上已经追得很近,差距集中在难题上。于是作者做了最笨的事:先让小模型上,超时了再换大模型。总 GPU 时长最多省 33%,在 SWE-bench Verified 全部任务上省 16.4%,准确率不掉。最狠的一句是:这个朴素的级联,几乎追平了一个提前知道哪个模型会成功的「神谕路由」。不用训练路由器,几乎零工程量。
AnyS1(https://arxiv.org/abs/2611.23751 ,11 月 18 日,项目页 https://middle-chunjie.github.io/AnyS1/ )在更细一层打同一种浪费。agent 的大部分步骤其实是在几个已知选项里挑一个,但每一步都在调用大模型。AnyS1 从 1,000 多个公开技能里挖出这些决策点,训练一个校准过的 4B 指针模型当 System-1,只有置信度低于阈值时才把控制权交回大模型 System-2。在三个没见过的基准上,可靠性不降,单次任务成本降 75% 到 91%,模型调用时间降 63% 到 92%。巧的是数据来源:人写的技能本来就标明了哪里有选择。
第三篇最怪,也最好引用。Where the Tokens Go(https://arxiv.org/abs/2611.23375 ,11 月 17 日,作者里有 Alán Aspuru-Guzik)搞了一套「软件热力学」。让 agent 改一处代码再撤回,来回很多次,数清每个 token。一次成功的运行里,大约 80% 的 token 来自那些没让目标改动挪动一步的调用,作者管这叫「热」。一次改动的自由能估计只占成功运行平均成本的 14% 到 22%,而写代码比撤回代码贵 1.1 到 1.5 倍。
三篇放一起,账单就换了个读法。agent 贵,不是贵在难的推理,而是贵在大模型去干简单的步骤,以及循环空转烧 token 却不推进工作。单任务成本的下一个 5 倍,来自路由和编译。只卖顶级模型的实验室,没什么动力告诉你这件事。
← 返回所有文章
Timeout Cascades(https://arxiv.org/abs/2611.24324 ,11 月 18 日提交)在 SWE-bench Verified 上跑了 2024 年以来的 36 个开源权重模型。结论是小模型在简单和中等任务上已经追得很近,差距集中在难题上。于是作者做了最笨的事:先让小模型上,超时了再换大模型。总 GPU 时长最多省 33%,在 SWE-bench Verified 全部任务上省 16.4%,准确率不掉。最狠的一句是:这个朴素的级联,几乎追平了一个提前知道哪个模型会成功的「神谕路由」。不用训练路由器,几乎零工程量。
AnyS1(https://arxiv.org/abs/2611.23751 ,11 月 18 日,项目页 https://middle-chunjie.github.io/AnyS1/ )在更细一层打同一种浪费。agent 的大部分步骤其实是在几个已知选项里挑一个,但每一步都在调用大模型。AnyS1 从 1,000 多个公开技能里挖出这些决策点,训练一个校准过的 4B 指针模型当 System-1,只有置信度低于阈值时才把控制权交回大模型 System-2。在三个没见过的基准上,可靠性不降,单次任务成本降 75% 到 91%,模型调用时间降 63% 到 92%。巧的是数据来源:人写的技能本来就标明了哪里有选择。
第三篇最怪,也最好引用。Where the Tokens Go(https://arxiv.org/abs/2611.23375 ,11 月 17 日,作者里有 Alán Aspuru-Guzik)搞了一套「软件热力学」。让 agent 改一处代码再撤回,来回很多次,数清每个 token。一次成功的运行里,大约 80% 的 token 来自那些没让目标改动挪动一步的调用,作者管这叫「热」。一次改动的自由能估计只占成功运行平均成本的 14% 到 22%,而写代码比撤回代码贵 1.1 到 1.5 倍。
三篇放一起,账单就换了个读法。agent 贵,不是贵在难的推理,而是贵在大模型去干简单的步骤,以及循环空转烧 token 却不推进工作。单任务成本的下一个 5 倍,来自路由和编译。只卖顶级模型的实验室,没什么动力告诉你这件事。
评论