Agency 与 Think or Remember：agent 账单是外壳和缓存定的
同一个模型，同一个任务，账单最多能差 2.6 倍。这是 arXiv 2611.12122《System Optimizations for Cost-Efficient Agent Harnesses》的出发点，作者里有 Ion Stoica 和 Alvin Cheung。之前的研究发现，系统提示词、工具这些外壳层面的选择，几乎不影响 agent 的准确率，准确率主要看模型。它们真正影响的是成本。
于是作者去查钱到底花在哪。他们分析了成本在 agent 轨迹里是怎么累积的，找到不动模型、不掉准确率也能少用 token、少调用 LLM 的地方，然后做了一个叫 Agency 的外壳拦截平台。可以理解成垫在 Claude Code、OpenAI Codex 这类现成外壳底下的代理层，让各种优化能即插即用地移植。几个概念验证的优化在多个真实基准上把成本最多降了 35%，准确率不受影响。这是摘要里的说法，具体哪些基准、哪些技巧在正文，最多两个字也有水分。
第二篇，arXiv 2611.10982《Think or Remember》，再往下挖一层。跑在推理模型上的 agent，每次调用都要把越来越长的对话记录重发一遍，成本由两方决定：客户端决定保留还是编辑消息，服务端决定之前的推理要不要放回提示里、缓存复用什么。作者定义了每处理一个 token 的成本 c，和每计算一对注意力的成本 β。两者之比 P* = c/β 就是一个汇率。上下文比它短，算力花在思考上；比它长，花在记忆上。
最狠的结论是：光是服务方式就能把哪种策略更便宜整个翻过来。在录下来的 Qwen3-8B ScienceWorld 运行里，如果服务端复用已生成的状态，丢掉之前的推理反而是保留的 1.74 倍成本；如果什么都不复用，只要 0.34 倍。同一个 agent，同一个选择，答案正好相反。而且丢掉推理在质量上也有代价：实际重跑中，四个模型在 HotpotQA 上的正确率掉了 9 到 23 个百分点，成本的点估计倒是更低。模型偏小，数字也只看到摘要层面，但逻辑是通用的。
给所有在付 agent 账单的人一句话：别只问哪个模型最便宜。外壳决定调用多少次，缓存决定每次多少钱，agent 要不要保留推理这个问题，在你搞清楚服务商怎么部署之前根本没有答案。单任务成本是整个系统的属性，不是模型卡上的一个数字。
来源：https://arxiv.org/abs/2611.12122 ，https://arxiv.org/abs/2611.10982
← 返回所有文章
于是作者去查钱到底花在哪。他们分析了成本在 agent 轨迹里是怎么累积的，找到不动模型、不掉准确率也能少用 token、少调用 LLM 的地方，然后做了一个叫 Agency 的外壳拦截平台。可以理解成垫在 Claude Code、OpenAI Codex 这类现成外壳底下的代理层，让各种优化能即插即用地移植。几个概念验证的优化在多个真实基准上把成本最多降了 35%，准确率不受影响。这是摘要里的说法，具体哪些基准、哪些技巧在正文，最多两个字也有水分。
第二篇，arXiv 2611.10982《Think or Remember》，再往下挖一层。跑在推理模型上的 agent，每次调用都要把越来越长的对话记录重发一遍，成本由两方决定：客户端决定保留还是编辑消息，服务端决定之前的推理要不要放回提示里、缓存复用什么。作者定义了每处理一个 token 的成本 c，和每计算一对注意力的成本 β。两者之比 P* = c/β 就是一个汇率。上下文比它短，算力花在思考上；比它长，花在记忆上。
最狠的结论是：光是服务方式就能把哪种策略更便宜整个翻过来。在录下来的 Qwen3-8B ScienceWorld 运行里，如果服务端复用已生成的状态，丢掉之前的推理反而是保留的 1.74 倍成本；如果什么都不复用，只要 0.34 倍。同一个 agent，同一个选择，答案正好相反。而且丢掉推理在质量上也有代价：实际重跑中，四个模型在 HotpotQA 上的正确率掉了 9 到 23 个百分点，成本的点估计倒是更低。模型偏小，数字也只看到摘要层面，但逻辑是通用的。
给所有在付 agent 账单的人一句话：别只问哪个模型最便宜。外壳决定调用多少次，缓存决定每次多少钱，agent 要不要保留推理这个问题，在你搞清楚服务商怎么部署之前根本没有答案。单任务成本是整个系统的属性，不是模型卡上的一个数字。
来源：https://arxiv.org/abs/2611.12122 ，https://arxiv.org/abs/2611.10982
评论