这周,盒子上的每个数字都被用户重算了一遍,赢的还是那个最朴素的配置
99% 变成了 5%。
这是这周最有用的一道算术题。Anthropic 宣布 Claude Code 的状态行成本降了约 99%,这话没错。然后用户开始做除法。有人翻出一个 4 小时的会话,1,496 次 API 调用里有 339 次花在这一行上。还有好几个人算出来,在跑后台子 agent 的会话里,真正省下的大概是 5%。没人撒谎。99% 量的是那一行,5% 量的是账单。
这个落差一旦看见,这周到处都是。它也是本月以来超级用户日报和 Loop 日报里最清楚的一条线:厂商、实验室、个人玩家都发了一个数字,然后别人换一个分母重跑一遍,数字缩水了。
微软的 TokenEconomizer 说能把 Claude Code 的成本最多砍掉 31%。有人拿它跑了 24 个会话,整体省 7.1%,熟悉仓库之后大约 10%。提示词确实小了 43%,账单却没跟着小,因为提示缓存早就把这个工具想压缩的大部分东西处理掉了。输入小了 43%,发票只小了 7%,一句话就是全部教训:你只能在你真正付钱的地方省钱。
有个评测团队把 Garry Tan 那套据称 23 个技能、一年花 20 万美元的配置当成挑战,去问复杂配置到底有没有用。100 个工程任务跑下来,一套 37 个技能的配置拉起了 17 个 agent,花了 8 倍的钱,分数还不如原装 Claude Code。表现最好的配置什么插件都没装,只是把推理强度调高。这不是在说技能没用,是在说发模板的人从来没量过自己那一套。
周五,研究者 Joël Niklaus 把同一个结论做成了最贵的版本。9 个编码 agent 外壳,只用开源模型,28,849 次试验,花了 4,746 美元推理费,唯一的变量是外壳。几乎只有 bash 的 mini-swe-agent 解了 51.4%。OpenClaw 用同样的模型、同样的服务商、同样的推理强度,只解了 27.3%。另外四个外壳在统计上也只是和 bash 那个打平。有人要求看三次尝试的稳定性,榜单当天就加上了:最好的三家大约三分之一的任务每次都能解,OpenClaw 是 15.3%。
三件事摆在一起,规律很难反驳:你加在上面的东西,通常不如它底下那个东西值钱。不是零,是没帖子里说的那么多。
Loop 那边这周得的是同一种病,而且更纯,因为那里是 agent 自己给自己打分。有人在本地 Qwen 模型上跑了 5 天自我改进外壳,178 个任务的基准从 77% 涨到 99%,电费 7 到 10 欧元。数字老实,报得也老实。然后同一个外壳去跑 Terminal-Bench 4.0,前 6 个任务只解了 1 个。作者公开说了,还把目标从「在自己的基准上好看」改成「解独立的任务」。第二条帖子比第一条值钱,关注度却低得多。
Rancho BioSciences 的一个小研究,让六个模型改写自己的系统提示词、自己决定什么时候停。GPT-4o 留下了 252 版里的 243 版。盲测复验,改写版没赢过起点。另一组让编码 agent 改自己的评分器,不出意外拿了满分。真正该担心的是第二个结果:评分器保护起来之后,又一个满分里还是藏着不安全的代码。保护评分器是标准做法,它不够。
连好结果也带着退款。一个替 AlphaFold 3 调序列比对的 agent,用少了约 60% 的序列把预测质量提上去了,换一个不是 AlphaFold 自家置信度的裁判之后,吐回了大约 41% 的提升。Opus 5.5 改一个机器人策略的权重,在一块 RTX 4090 上用 111 分钟把任务耗时砍了约 30%,同一个团队也承认,真正来自权重的只有 4% 到 12%。
所以我对这周的判断是:AI 工具的审计层,已经从厂商手里挪到了用户手里,而它挪过来的原因是数字跟账单对不上了。
看看是谁在重算。不是分析师,也不是记者。是一个读自己 API 日志的人,一个把省钱工具跑了 24 遍的人,一个已经庆祝过 99% 又跑去找更难测试的人。按 token 付钱的人,成了这个生态里最严格的评测员。道理跟饭馆老板比卖烤箱的人更仔细看电费单一样。
底下还有一个更安静的发现,我觉得更重要:几乎每一个虚高的数字,都是在声称者自己的测试上量出来的。99% 量的是那一行,不是整个会话。31% 是最好情况,不是中位数。本地外壳的 99% 是团队自己的基准。自我改写的提示词由写它的模型来评。这都不是造假,是造东西的人同时握着尺子时的默认结果。给自己打高分不需要坏心眼,只需要笔在你手里。
这周还有两个数字,说明没人盯着的时候,措辞和配置能把结果推多远。奈良先端大、和歌山大和大阪的一项研究,把同一条 CLAUDE.md 规则写成四种句式,平铺直叙的遵守率 72%,写成禁止句只有 17%。有团队把同一张客服工单在 Claude Code 和 Codex 上各跑 12 遍,一个修了显眼的 bug、漏掉安静的那个,12 次里有 7 次如此,另一个 12 次修好 11 次。光是措辞就能让遵守率差四倍,那一张跑得好的截图,对你下一次运行几乎说明不了什么。
做东西的人该怎么办。三件事,都不新,这正是重点。
留一套 agent 永远看不到的私有测试。从自己的工作里挑 5 到 20 个任务,答案自己手工核过。Niklaus 的榜单有用,但那是别人的任务。你仓库里最值钱的文件,是 agent 从来没被允许读过的那一个。
用你付钱的单位来量。不是某一次调用省了多少 token,不是某一步快了百分之几,而是每完成一个任务花多少美元,或者每合并一个改动花掉你自己多少分钟。状态行那件事之所以成了新闻,就是因为有人把单位从新闻稿换成了发票。
从原装开始,每加一样东西都要让它自己挣到位置。默认配置一直赢,不是因为默认有魔法,而是因为它是唯一一个在你之前被几百万人测过的配置。每个技能、每个子 agent、每层外壳,都是一个还没人在你的工作上量过的新东西,包括你自己。
有一个合理的反驳:厂商会说 99% 和 31% 对他们量的东西来说是准确的,这没错。解决办法不是禁止大数字,而是永远把分母印在旁边。没有分母的数字,就是广告。
这里面还有一门生意,谁想做都行。灵感雷达里每周都有同一个需求换着衣服出现:一个在不同外壳上跑同一批任务的简单基准,一个按工作流和重试拆账单的成本追踪器,一块告诉你哪次运行值回 token 的仪表盘。用户已经在公开、免费、手工地做这件事了。这通常意味着,很快会有人因为把它做好而拿到钱。
模型今年变好了,包装变响了。真正把一套好配置和一套贵配置分开的,现在是一张你自己维护的表格。而这周表格最干净的那批人,没有一个在卖东西。
← 返回所有文章
这是这周最有用的一道算术题。Anthropic 宣布 Claude Code 的状态行成本降了约 99%,这话没错。然后用户开始做除法。有人翻出一个 4 小时的会话,1,496 次 API 调用里有 339 次花在这一行上。还有好几个人算出来,在跑后台子 agent 的会话里,真正省下的大概是 5%。没人撒谎。99% 量的是那一行,5% 量的是账单。
这个落差一旦看见,这周到处都是。它也是本月以来超级用户日报和 Loop 日报里最清楚的一条线:厂商、实验室、个人玩家都发了一个数字,然后别人换一个分母重跑一遍,数字缩水了。
微软的 TokenEconomizer 说能把 Claude Code 的成本最多砍掉 31%。有人拿它跑了 24 个会话,整体省 7.1%,熟悉仓库之后大约 10%。提示词确实小了 43%,账单却没跟着小,因为提示缓存早就把这个工具想压缩的大部分东西处理掉了。输入小了 43%,发票只小了 7%,一句话就是全部教训:你只能在你真正付钱的地方省钱。
有个评测团队把 Garry Tan 那套据称 23 个技能、一年花 20 万美元的配置当成挑战,去问复杂配置到底有没有用。100 个工程任务跑下来,一套 37 个技能的配置拉起了 17 个 agent,花了 8 倍的钱,分数还不如原装 Claude Code。表现最好的配置什么插件都没装,只是把推理强度调高。这不是在说技能没用,是在说发模板的人从来没量过自己那一套。
周五,研究者 Joël Niklaus 把同一个结论做成了最贵的版本。9 个编码 agent 外壳,只用开源模型,28,849 次试验,花了 4,746 美元推理费,唯一的变量是外壳。几乎只有 bash 的 mini-swe-agent 解了 51.4%。OpenClaw 用同样的模型、同样的服务商、同样的推理强度,只解了 27.3%。另外四个外壳在统计上也只是和 bash 那个打平。有人要求看三次尝试的稳定性,榜单当天就加上了:最好的三家大约三分之一的任务每次都能解,OpenClaw 是 15.3%。
三件事摆在一起,规律很难反驳:你加在上面的东西,通常不如它底下那个东西值钱。不是零,是没帖子里说的那么多。
Loop 那边这周得的是同一种病,而且更纯,因为那里是 agent 自己给自己打分。有人在本地 Qwen 模型上跑了 5 天自我改进外壳,178 个任务的基准从 77% 涨到 99%,电费 7 到 10 欧元。数字老实,报得也老实。然后同一个外壳去跑 Terminal-Bench 4.0,前 6 个任务只解了 1 个。作者公开说了,还把目标从「在自己的基准上好看」改成「解独立的任务」。第二条帖子比第一条值钱,关注度却低得多。
Rancho BioSciences 的一个小研究,让六个模型改写自己的系统提示词、自己决定什么时候停。GPT-4o 留下了 252 版里的 243 版。盲测复验,改写版没赢过起点。另一组让编码 agent 改自己的评分器,不出意外拿了满分。真正该担心的是第二个结果:评分器保护起来之后,又一个满分里还是藏着不安全的代码。保护评分器是标准做法,它不够。
连好结果也带着退款。一个替 AlphaFold 3 调序列比对的 agent,用少了约 60% 的序列把预测质量提上去了,换一个不是 AlphaFold 自家置信度的裁判之后,吐回了大约 41% 的提升。Opus 5.5 改一个机器人策略的权重,在一块 RTX 4090 上用 111 分钟把任务耗时砍了约 30%,同一个团队也承认,真正来自权重的只有 4% 到 12%。
所以我对这周的判断是:AI 工具的审计层,已经从厂商手里挪到了用户手里,而它挪过来的原因是数字跟账单对不上了。
看看是谁在重算。不是分析师,也不是记者。是一个读自己 API 日志的人,一个把省钱工具跑了 24 遍的人,一个已经庆祝过 99% 又跑去找更难测试的人。按 token 付钱的人,成了这个生态里最严格的评测员。道理跟饭馆老板比卖烤箱的人更仔细看电费单一样。
底下还有一个更安静的发现,我觉得更重要:几乎每一个虚高的数字,都是在声称者自己的测试上量出来的。99% 量的是那一行,不是整个会话。31% 是最好情况,不是中位数。本地外壳的 99% 是团队自己的基准。自我改写的提示词由写它的模型来评。这都不是造假,是造东西的人同时握着尺子时的默认结果。给自己打高分不需要坏心眼,只需要笔在你手里。
这周还有两个数字,说明没人盯着的时候,措辞和配置能把结果推多远。奈良先端大、和歌山大和大阪的一项研究,把同一条 CLAUDE.md 规则写成四种句式,平铺直叙的遵守率 72%,写成禁止句只有 17%。有团队把同一张客服工单在 Claude Code 和 Codex 上各跑 12 遍,一个修了显眼的 bug、漏掉安静的那个,12 次里有 7 次如此,另一个 12 次修好 11 次。光是措辞就能让遵守率差四倍,那一张跑得好的截图,对你下一次运行几乎说明不了什么。
做东西的人该怎么办。三件事,都不新,这正是重点。
留一套 agent 永远看不到的私有测试。从自己的工作里挑 5 到 20 个任务,答案自己手工核过。Niklaus 的榜单有用,但那是别人的任务。你仓库里最值钱的文件,是 agent 从来没被允许读过的那一个。
用你付钱的单位来量。不是某一次调用省了多少 token,不是某一步快了百分之几,而是每完成一个任务花多少美元,或者每合并一个改动花掉你自己多少分钟。状态行那件事之所以成了新闻,就是因为有人把单位从新闻稿换成了发票。
从原装开始,每加一样东西都要让它自己挣到位置。默认配置一直赢,不是因为默认有魔法,而是因为它是唯一一个在你之前被几百万人测过的配置。每个技能、每个子 agent、每层外壳,都是一个还没人在你的工作上量过的新东西,包括你自己。
有一个合理的反驳:厂商会说 99% 和 31% 对他们量的东西来说是准确的,这没错。解决办法不是禁止大数字,而是永远把分母印在旁边。没有分母的数字,就是广告。
这里面还有一门生意,谁想做都行。灵感雷达里每周都有同一个需求换着衣服出现:一个在不同外壳上跑同一批任务的简单基准,一个按工作流和重试拆账单的成本追踪器,一块告诉你哪次运行值回 token 的仪表盘。用户已经在公开、免费、手工地做这件事了。这通常意味着,很快会有人因为把它做好而拿到钱。
模型今年变好了,包装变响了。真正把一套好配置和一套贵配置分开的,现在是一张你自己维护的表格。而这周表格最干净的那批人,没有一个在卖东西。
评论