让 agent 变便宜的两条路：改服务器，压模型
agent 调用模型的方式跟聊天机器人不一样。它一遍遍回来，上下文越滚越长，中间调工具、等结果、再回来。周四 Hugging Face 榜单上有两篇论文，从两头去砍这笔成本。
MIT 韩松实验室的 Evolving Infra 重建了服务层：https://arxiv.org/abs/2611.12304 ，代码在 https://github.com/mit-han-lab/EvolvingInfra 。现在主流的 prefill/decode 分离式服务，把机器固定分成两种角色，再用很粗的信号淘汰 KV 缓存。结果是，agent 马上要复用的缓存被扔掉，一边排队另一边闲着。Evolving Infra 把算力分配和 KV 缓存管理解耦，节点可以在 prefill 和 decode 之间切换；在线规划器按负载结构调整两边的比例；能感知 agent 的 KV 管理器，直接用 agent 自己的上下文管理信号决定留什么。在编程、数学、电脑操作任务上，用 GLM-5.2 和 Kimi K2.6，最多 256 张 GB300，作者报告平均端到端延迟和 P95 首 token 时间比 NVIDIA 的 Dynamo 最多降了 4.1 倍和 14 倍。
SteerDistill 则对模型下手：https://arxiv.org/abs/2611.13410 ，代码在 https://github.com/air-embodied-brain/SteerDistill 。把 agent 量化到 4 bit，它会以一种特定方式翻车：忽略任务要求或环境条件。于是让全精度老师盯着 4 bit 学生出错，引导它改写出错的那几轮，在环境里验证改得对不对，再训练学生在没有老师的情况下自己做对。五个 agent 基准、三个模型上，作者报告 W4A16 的 agent 比最强量化基线高 1.67 到 2.18 分，和 BF16 只差不到一分。在 tau2-Bench 上比 QeRL 高 1.84 个百分点，训练 GPU 时数少 67%。
两篇都是作者在自己配置上的数字，“最多 14 倍”是最好情况，不是平均值。但方向很清楚：agent 的成本，已经一半是模型问题、一半是基础设施问题。谁真正懂 agent 的流量形态，懂上下文怎么增长、怎么被复用，谁就能用聊天机器人那套架构的零头把 agent 跑起来。
← 返回所有文章
MIT 韩松实验室的 Evolving Infra 重建了服务层：https://arxiv.org/abs/2611.12304 ，代码在 https://github.com/mit-han-lab/EvolvingInfra 。现在主流的 prefill/decode 分离式服务，把机器固定分成两种角色，再用很粗的信号淘汰 KV 缓存。结果是，agent 马上要复用的缓存被扔掉，一边排队另一边闲着。Evolving Infra 把算力分配和 KV 缓存管理解耦，节点可以在 prefill 和 decode 之间切换；在线规划器按负载结构调整两边的比例；能感知 agent 的 KV 管理器，直接用 agent 自己的上下文管理信号决定留什么。在编程、数学、电脑操作任务上，用 GLM-5.2 和 Kimi K2.6，最多 256 张 GB300，作者报告平均端到端延迟和 P95 首 token 时间比 NVIDIA 的 Dynamo 最多降了 4.1 倍和 14 倍。
SteerDistill 则对模型下手：https://arxiv.org/abs/2611.13410 ，代码在 https://github.com/air-embodied-brain/SteerDistill 。把 agent 量化到 4 bit，它会以一种特定方式翻车：忽略任务要求或环境条件。于是让全精度老师盯着 4 bit 学生出错，引导它改写出错的那几轮，在环境里验证改得对不对，再训练学生在没有老师的情况下自己做对。五个 agent 基准、三个模型上，作者报告 W4A16 的 agent 比最强量化基线高 1.67 到 2.18 分，和 BF16 只差不到一分。在 tau2-Bench 上比 QeRL 高 1.84 个百分点，训练 GPU 时数少 67%。
两篇都是作者在自己配置上的数字，“最多 14 倍”是最好情况，不是平均值。但方向很清楚：agent 的成本，已经一半是模型问题、一半是基础设施问题。谁真正懂 agent 的流量形态，懂上下文怎么增长、怎么被复用，谁就能用聊天机器人那套架构的零头把 agent 跑起来。
评论