同一个模型，两张账单：harness 终于被量出来的一周
Anthropic 把 Claude Code 每次任务前要读的那份系统提示词删掉了 80%，重跑编程测试，性能没有可测量的下降。这句话这周躺在 State of AI 报告里，同一周，五个互不相关的团队从另一个方向发出了同样的数字：模型不动，只改它周围的管道，结果的变化比换一代模型还大。
先看差距最大的那组。LobeHub 让自家 agent 花七天改写自己的 harness，然后用 Kimi K3 当底座在 FrontierHarness 上跑。30 个任务过了 21 个，13 个 harness 里排第一，每个成功任务 1.68 美元。同一张表上 Codex 是 3.47 美元，Claude Code 是 18.34 美元。LobeHub 自己说这个对比包含挑过的重试和不同的执行环境，别当排行榜看。行，就算把差距对半砍两次，同一个模型下每个解决任务的成本依然差 2.7 倍。今年没有任何一家实验室发过一个比前代便宜 2.7 倍的模型。
阿里开源了内部用了两年的代码评审工具，它那张基准表是本周最干净的单变量实验。两边同一个 Claude 模型，200 个真实 PR。走 Open Code Review：精确率 37.8%，每次评审约 35.2 万 token，1 分 06 秒。让 Claude Code 直接审 PR：精确率 15.9%，约 206 万 token，5 分 38 秒。差别在于，由确定性代码决定审哪些文件、用哪些规则，把相关文件打包交给并行的子 agent，模型只负责读和判断。召回率没有提高，11.7% 对 12.7%。harness 买到的是用六分之一的 token 换更少的误报，不是找到更多 bug。这个取舍是一个设计决定，它发生在流水线里，不在权重里。
Prime Intellect 是极端案例。Prime Agent 把自己从 TypeScript 移植到 Rust：2209 个 agent，2287 亿 token，两周，冷启动快 14 倍，内存降到五分之一以下。值得抄的不是规模，而是人类主要写的是验证而不是代码：用同一份脚本跑两个版本逐帧比对终端画面，同样输入要产出同样的会话记录和模型请求，协议消息类型全部对照旧版，功能逐项审计分成「一致、部分、未实现」。每个任务走计划、实现、评审、验证四个角色，评审者用另一个模型和全新上下文，理由是他们原话：写代码的 agent 给自己的代码打分会手软。推理用的是 GLM-5.3，编排器跑在两台 8 核 CPU 机器上。这个故事里模型是大宗商品，检查才是产品。
英伟达的 SoL-Pi 论文把同一个实验做在 harness 自己身上：一个研究 agent 看编码 agent 干活，提出改动，只保留降低成本又不伤分数的那些。四个机制活了下来：动作融合、运行中的上下文压缩、观察打包、给委托阅读用的证据保留归约器。结果：在 Opus 5 上比 Claude Code 便宜 54.3%，在 GPT-5.6 Sol 上比 Codex 便宜 50%，分数在同一区间。同一个模型，一半的账单，而四个有效机制全都关于模型看到什么、什么时候看，和模型知道什么无关。
然后是最小的那个例子，可能也是最诚实的。一位 Ubuntu 运维写的维护程序通过了 38 项模拟测试，到真机上却次次返回 ACTIVE_SKIP。同一台机器上 OpenClaw 能做同样的操作。原因不在模型。DeepSeek Harness 把命令跑在 bwrap 沙箱里，有自己的 PID 命名空间，连不到用户级 systemd 总线，agent 根本看不见主机进程和服务状态。一台 Linux 上的两个 harness，看到的是两个不同的操作系统。修法不是给更多权限，而是让 agent 写程序，由主机自己的 systemd 去执行。
把这五件事摆在一起，规律很难反驳。两年来关于 agent 的公共讨论只有一个旋钮，用哪个模型，和一个指标，基准分数。这周另一个旋钮被人有意拧了一下，模型按住不动，每一次 harness 都把成本挪动两倍以上，质量则按设计者选定的方向移动。可以把它想成发动机和车。发动机厂商花了两年跟你谈马力。然后五支车队把同一台发动机装进不同的底盘，一辆刷了圈速纪录，一辆把油耗砍半，原来底盘从来都不是四舍五入掉的误差。
为什么一年前还是江湖传说的 harness，这周突然可以测量了？因为 harness 的失败是确定性的，确定性的失败有 diff。Flowness 是一个人加一群 agent 的系统，有记录的 Claude token 消耗 1400 亿，它发了一篇复盘：同一个任务被连续派给九个后台 Claude Code 会话。自动重派上限是 3，重试计数走到 8，上限一次都没触发。一条 1500 毫秒的验收阈值来自一份报告里的成本模型，从没实测过，实测是 244 毫秒。循环里每一道检查都在问「现在能派吗」，没有一道在问「这次和上次有什么不同」。这不是模型问题，提示词救不了，也不需要救。改掉代码，bug 就没了。模型的失败是统计性的，你只能管理它；harness 的失败是 bug，你可以关掉它。这个不对称，就是 harness 的改进会复利、提示词技巧会过期的原因。
成本这一侧形状一样。一位 Claude Code 用户算出来，带着 30 万 token 上下文晚切换模型，光重建缓存就要约 1.5 美元，干净的 2 万 token 交接约 0.1 美元；Opus 和 Sonnet 的价差在 2 万上下文时是 1.88 倍，到 40 万时只剩 1.26 倍，所以「哪个模型更便宜」在你知道循环跑多长之前没有答案。另一位测出 Claude Code 的 Artifacts 这一个工具定义就重约 1.78 万 token，接近 1M 窗口的 2%，几乎是整个启动包的五分之一，每个新会话都要加载一遍。第三位发现 Claude Code 的子代理默认只有五分钟缓存而主 agent 有一小时，于是这一天的时间线为改不改吵成两半：三条帖子说改成一小时，一条说那会让周额度最多快 15% 耗尽，因为子代理几乎不闲置，谨慎的答案是「看子代理会不会等构建」。这些都和智能无关。关乎的是谁在什么时候能看到什么、缓存能热多久。这就是 harness，而它现在有了价目表。
但有个陷阱，这周也一并送到了。Pine Computer 是一台为 agent 造的云电脑，发出了本周传播最广的数字：GPT-5.6 Luna 跑在 Pine 上，SaaS-Bench 检查点得分 78.3%，对面 Opus 5 加 Claude Code 是 74.3%，单任务成本 1.02 美元对 26.50 美元。小模型配好环境，赢了大模型配差环境，成本差 26 倍。再读同一条帖子的下一行：端到端任务完成率 Pine 是 27.4%，Claude Code 是 31.1%。在检查点指标上赢的 harness，在「把活干完」这个指标上输了。优化哪个数字，是 harness 设计者替你做的选择，而大多数基准帖子只给你看好看的那一个。
第二个陷阱来自自我改进圈子自己。一位建设者评 MIT 和 Sakana 的 SIFT，那个让 agent 对自己的 harness 提改动、用 LLM 评审先排序再花钱跑完整基准的系统，点出了明显的风险：一个在 SWE-bench 上提分的改动可能让 agent 在真实开发里变差，因为 harness 对基准过拟合的速度比模型快。LobeHub 自己的免责声明说的是同一件事，只是声音小。那篇 17 位研究者把 agent 拆成六个 harness 部件的论文，观察、上下文、控制循环、动作、状态、验证，有用之处恰恰在于它给了你六个找过拟合的地方。对任何 harness 宣称，该要的数字不是通过率，而是在它没见过的项目上每个经验证任务的成本。现在还没人发这个数。第一个发的团队，会拥有这个品类里唯一诚实的排行榜。
反方也该有个座位。一位用 Claude Code 很久的人问，到底为什么需要子代理：单 agent 循环几乎在所有场景下都够用，harness 更简单，token 更省，而且根本没人实测过多开几个单会话 Claude 和一个带子代理的会话到底谁更费。这是对整周叙事的公平挑战。更多 harness 不等于更好的 harness。阿里的评审器赢在把决定从模型手里拿走，不是在模型周围加 agent。Rust 移植赢在验证，不在 2209 个工人。Ubuntu 那个修法是让 agent 少做事。做得好的 harness 工程，大多时候长得像减法。
所以这周到底动了什么？提示词不再是护城河。Anthropic 能删掉自己 80% 的指令清单，是因为模型越聪明越不需要被叮嘱，State of AI 报告说留下来的是管道：agent 能碰到的工具、它运行的沙箱、能看见它做了什么的监控。如果你的产品是裹在别人模型外面的一堆聪明提示词，下一次模型发布就把你的优势删掉。如果它是决定模型看什么、核验模型说了什么、只为真正起作用的回合付钱的那条流水线，那每一次模型发布都让它更值钱，因为同一个底盘白白换上了更好的发动机。这周有五个团队量出了这件事。这个数字从来不是四舍五入的误差，只是直到现在才有人把发动机按住足够久，把它读了出来。
← 返回所有文章
先看差距最大的那组。LobeHub 让自家 agent 花七天改写自己的 harness，然后用 Kimi K3 当底座在 FrontierHarness 上跑。30 个任务过了 21 个，13 个 harness 里排第一，每个成功任务 1.68 美元。同一张表上 Codex 是 3.47 美元，Claude Code 是 18.34 美元。LobeHub 自己说这个对比包含挑过的重试和不同的执行环境，别当排行榜看。行，就算把差距对半砍两次，同一个模型下每个解决任务的成本依然差 2.7 倍。今年没有任何一家实验室发过一个比前代便宜 2.7 倍的模型。
阿里开源了内部用了两年的代码评审工具，它那张基准表是本周最干净的单变量实验。两边同一个 Claude 模型，200 个真实 PR。走 Open Code Review：精确率 37.8%，每次评审约 35.2 万 token，1 分 06 秒。让 Claude Code 直接审 PR：精确率 15.9%，约 206 万 token，5 分 38 秒。差别在于，由确定性代码决定审哪些文件、用哪些规则，把相关文件打包交给并行的子 agent，模型只负责读和判断。召回率没有提高，11.7% 对 12.7%。harness 买到的是用六分之一的 token 换更少的误报，不是找到更多 bug。这个取舍是一个设计决定，它发生在流水线里，不在权重里。
Prime Intellect 是极端案例。Prime Agent 把自己从 TypeScript 移植到 Rust：2209 个 agent，2287 亿 token，两周，冷启动快 14 倍，内存降到五分之一以下。值得抄的不是规模，而是人类主要写的是验证而不是代码：用同一份脚本跑两个版本逐帧比对终端画面，同样输入要产出同样的会话记录和模型请求，协议消息类型全部对照旧版，功能逐项审计分成「一致、部分、未实现」。每个任务走计划、实现、评审、验证四个角色，评审者用另一个模型和全新上下文，理由是他们原话：写代码的 agent 给自己的代码打分会手软。推理用的是 GLM-5.3，编排器跑在两台 8 核 CPU 机器上。这个故事里模型是大宗商品，检查才是产品。
英伟达的 SoL-Pi 论文把同一个实验做在 harness 自己身上：一个研究 agent 看编码 agent 干活，提出改动，只保留降低成本又不伤分数的那些。四个机制活了下来：动作融合、运行中的上下文压缩、观察打包、给委托阅读用的证据保留归约器。结果：在 Opus 5 上比 Claude Code 便宜 54.3%，在 GPT-5.6 Sol 上比 Codex 便宜 50%，分数在同一区间。同一个模型，一半的账单，而四个有效机制全都关于模型看到什么、什么时候看，和模型知道什么无关。
然后是最小的那个例子，可能也是最诚实的。一位 Ubuntu 运维写的维护程序通过了 38 项模拟测试，到真机上却次次返回 ACTIVE_SKIP。同一台机器上 OpenClaw 能做同样的操作。原因不在模型。DeepSeek Harness 把命令跑在 bwrap 沙箱里，有自己的 PID 命名空间，连不到用户级 systemd 总线，agent 根本看不见主机进程和服务状态。一台 Linux 上的两个 harness，看到的是两个不同的操作系统。修法不是给更多权限，而是让 agent 写程序，由主机自己的 systemd 去执行。
把这五件事摆在一起，规律很难反驳。两年来关于 agent 的公共讨论只有一个旋钮，用哪个模型，和一个指标，基准分数。这周另一个旋钮被人有意拧了一下，模型按住不动，每一次 harness 都把成本挪动两倍以上，质量则按设计者选定的方向移动。可以把它想成发动机和车。发动机厂商花了两年跟你谈马力。然后五支车队把同一台发动机装进不同的底盘，一辆刷了圈速纪录，一辆把油耗砍半，原来底盘从来都不是四舍五入掉的误差。
为什么一年前还是江湖传说的 harness，这周突然可以测量了？因为 harness 的失败是确定性的，确定性的失败有 diff。Flowness 是一个人加一群 agent 的系统，有记录的 Claude token 消耗 1400 亿，它发了一篇复盘：同一个任务被连续派给九个后台 Claude Code 会话。自动重派上限是 3，重试计数走到 8，上限一次都没触发。一条 1500 毫秒的验收阈值来自一份报告里的成本模型，从没实测过，实测是 244 毫秒。循环里每一道检查都在问「现在能派吗」，没有一道在问「这次和上次有什么不同」。这不是模型问题，提示词救不了，也不需要救。改掉代码，bug 就没了。模型的失败是统计性的，你只能管理它；harness 的失败是 bug，你可以关掉它。这个不对称，就是 harness 的改进会复利、提示词技巧会过期的原因。
成本这一侧形状一样。一位 Claude Code 用户算出来，带着 30 万 token 上下文晚切换模型，光重建缓存就要约 1.5 美元，干净的 2 万 token 交接约 0.1 美元；Opus 和 Sonnet 的价差在 2 万上下文时是 1.88 倍，到 40 万时只剩 1.26 倍，所以「哪个模型更便宜」在你知道循环跑多长之前没有答案。另一位测出 Claude Code 的 Artifacts 这一个工具定义就重约 1.78 万 token，接近 1M 窗口的 2%，几乎是整个启动包的五分之一，每个新会话都要加载一遍。第三位发现 Claude Code 的子代理默认只有五分钟缓存而主 agent 有一小时，于是这一天的时间线为改不改吵成两半：三条帖子说改成一小时，一条说那会让周额度最多快 15% 耗尽，因为子代理几乎不闲置，谨慎的答案是「看子代理会不会等构建」。这些都和智能无关。关乎的是谁在什么时候能看到什么、缓存能热多久。这就是 harness，而它现在有了价目表。
但有个陷阱，这周也一并送到了。Pine Computer 是一台为 agent 造的云电脑，发出了本周传播最广的数字：GPT-5.6 Luna 跑在 Pine 上，SaaS-Bench 检查点得分 78.3%，对面 Opus 5 加 Claude Code 是 74.3%，单任务成本 1.02 美元对 26.50 美元。小模型配好环境，赢了大模型配差环境，成本差 26 倍。再读同一条帖子的下一行：端到端任务完成率 Pine 是 27.4%，Claude Code 是 31.1%。在检查点指标上赢的 harness，在「把活干完」这个指标上输了。优化哪个数字，是 harness 设计者替你做的选择，而大多数基准帖子只给你看好看的那一个。
第二个陷阱来自自我改进圈子自己。一位建设者评 MIT 和 Sakana 的 SIFT，那个让 agent 对自己的 harness 提改动、用 LLM 评审先排序再花钱跑完整基准的系统，点出了明显的风险：一个在 SWE-bench 上提分的改动可能让 agent 在真实开发里变差，因为 harness 对基准过拟合的速度比模型快。LobeHub 自己的免责声明说的是同一件事，只是声音小。那篇 17 位研究者把 agent 拆成六个 harness 部件的论文，观察、上下文、控制循环、动作、状态、验证，有用之处恰恰在于它给了你六个找过拟合的地方。对任何 harness 宣称，该要的数字不是通过率，而是在它没见过的项目上每个经验证任务的成本。现在还没人发这个数。第一个发的团队，会拥有这个品类里唯一诚实的排行榜。
反方也该有个座位。一位用 Claude Code 很久的人问，到底为什么需要子代理：单 agent 循环几乎在所有场景下都够用，harness 更简单，token 更省，而且根本没人实测过多开几个单会话 Claude 和一个带子代理的会话到底谁更费。这是对整周叙事的公平挑战。更多 harness 不等于更好的 harness。阿里的评审器赢在把决定从模型手里拿走，不是在模型周围加 agent。Rust 移植赢在验证，不在 2209 个工人。Ubuntu 那个修法是让 agent 少做事。做得好的 harness 工程，大多时候长得像减法。
所以这周到底动了什么？提示词不再是护城河。Anthropic 能删掉自己 80% 的指令清单，是因为模型越聪明越不需要被叮嘱，State of AI 报告说留下来的是管道：agent 能碰到的工具、它运行的沙箱、能看见它做了什么的监控。如果你的产品是裹在别人模型外面的一堆聪明提示词，下一次模型发布就把你的优势删掉。如果它是决定模型看什么、核验模型说了什么、只为真正起作用的回合付钱的那条流水线，那每一次模型发布都让它更值钱，因为同一个底盘白白换上了更好的发动机。这周有五个团队量出了这件事。这个数字从来不是四舍五入的误差，只是直到现在才有人把发动机按住足够久，把它读了出来。
评论