Amazon 把 Sonnet 换成一个不会说话的模型，账单砍掉 98%
过去一天 Hacker News 第一名不是哪个新模型，而是两位 Amazon 工程师的复盘：他们把 Claude Sonnet 4.6 从全球最大之一的内部工单系统里撤下来，换上 Strands Decider E4B，一个连一句话都生成不了的模型。他们的说法是，打标签效果一样好，成本低 98%，一年能省下几百万美元的 token 费。
决策模型只干一件事：给它一个状态、一个问题和一组固定选项，它返回每个选项的概率加一个置信度，别的什么都不输出。工单打标签简直是量身定做：工单就是状态，20 个标签类别就是选项。原来 Sonnet 每张工单都要读一大段系统提示，再吐一段 JSON。E4B 是 Decider 的 Gemma 4 版本，跑在 SageMaker ml.g5.xlarge 的一块 A10G 上，每次请求约 640 毫秒。算下来单实例每小时处理约 5600 张工单，满载每百万张 250 美元，留出突发余量后实际约 500 美元。团队估算比 Sonnet 便宜约 44 倍。关掉 Sonnet 那天，Lambda 平均执行时长掉了 74%。
真正有用的是踩过的坑。Decider 窗口只有 4096 个 token，光是生产环境的标签说明就塞不下，于是 20 个标签每个都改写成一两句话的判断标准，再加一个都不是的选项；长工单则丢掉最早的评论。还有个意外：同样的内容，JSON 键的顺序一换，输出概率最多能差 0.19。现在每个请求都先把键排好序。上线用的是三档开关：只用 Sonnet、两个模型在真实流量上并行、只用 Decider。在线上逐条复核两者的分歧，比任何离线评测都管用，回滚只需改一下配置，45 秒。
几点要记住。这是 Strands 团队自己的博客，Decider 本身我们 10 月 2 日已经报道过，一样好这个结论没有 Amazon 以外的人验证过。Sonnet 4.6 是九个月前的模型，不是现在的 Sonnet。作者也把边界说得很清楚：能成，是因为这是封闭选择题、类目已知、量极大、延迟又敏感。如果标签需要解释、类目每周都在变、或者有用的上下文塞不进几千 token，那还是老老实实用 LLM。
更大的启发是：大多数 agent 流水线里，都藏着一些本质是选择题、却被包装成文本生成的步骤。为这种步骤付前沿模型的价钱，就像请一位小说家来打勾。
来源：https://strandsagents.com/blog/amazon-saves-millions-replacing-sonnet-with-strands-decider
← 返回所有文章
决策模型只干一件事：给它一个状态、一个问题和一组固定选项，它返回每个选项的概率加一个置信度，别的什么都不输出。工单打标签简直是量身定做：工单就是状态，20 个标签类别就是选项。原来 Sonnet 每张工单都要读一大段系统提示，再吐一段 JSON。E4B 是 Decider 的 Gemma 4 版本，跑在 SageMaker ml.g5.xlarge 的一块 A10G 上，每次请求约 640 毫秒。算下来单实例每小时处理约 5600 张工单，满载每百万张 250 美元，留出突发余量后实际约 500 美元。团队估算比 Sonnet 便宜约 44 倍。关掉 Sonnet 那天，Lambda 平均执行时长掉了 74%。
真正有用的是踩过的坑。Decider 窗口只有 4096 个 token，光是生产环境的标签说明就塞不下，于是 20 个标签每个都改写成一两句话的判断标准，再加一个都不是的选项；长工单则丢掉最早的评论。还有个意外：同样的内容，JSON 键的顺序一换，输出概率最多能差 0.19。现在每个请求都先把键排好序。上线用的是三档开关：只用 Sonnet、两个模型在真实流量上并行、只用 Decider。在线上逐条复核两者的分歧，比任何离线评测都管用，回滚只需改一下配置，45 秒。
几点要记住。这是 Strands 团队自己的博客，Decider 本身我们 10 月 2 日已经报道过，一样好这个结论没有 Amazon 以外的人验证过。Sonnet 4.6 是九个月前的模型，不是现在的 Sonnet。作者也把边界说得很清楚：能成，是因为这是封闭选择题、类目已知、量极大、延迟又敏感。如果标签需要解释、类目每周都在变、或者有用的上下文塞不进几千 token，那还是老老实实用 LLM。
更大的启发是：大多数 agent 流水线里，都藏着一些本质是选择题、却被包装成文本生成的步骤。为这种步骤付前沿模型的价钱，就像请一位小说家来打勾。
来源：https://strandsagents.com/blog/amazon-saves-millions-replacing-sonnet-with-strands-decider
评论