外壳成了产品，而它的计分板是最脆的地方
每小时八块七毛五到十三块五。这是英伟达、南洋理工和 MIT 给出的数字：把编码 agent 换一层更好的外壳来跑，而不是用它自带的那层，省下来的就是这么多。同一个模型，同一批任务，分数几乎一模一样。唯一变的是模型周围的那圈代码。
这个数字就是这一周的全部，而它霸占时间线三天是有原因的。过去两年大家争的是哪个模型更强。这一周所有人悄悄达成了共识：真正的问题是你把它装进哪层壳里。然后紧接着，三个互不相干的结果冒出来告诉你：这层壳自己那把尺子，恰恰是最可能在骗你的那部分。
先说清楚 harness 到底是什么，因为这个词流行的速度远快过它的定义。它是除了模型之外的一切：agent 能调哪些工具、每一轮往上下文里塞什么、观察结果怎么裁剪、什么时候把活交给子 agent、失败了怎么重试、允许它碰什么。模型是发动机，外壳是套在外面的那辆车。当车重三吨的时候，没人还会去争发动机。
而事实证明，有几辆车真的重三吨。伯克利把同一批模型塞进三个不同的外壳里，结果一个是 97.8% 正确、花 1.33 美元，另一个是 96.7%、花 0.67 美元。多对一道题，账单翻倍。原因一点也不神秘：其中一个每一轮塞给模型的说明文字，大约是另一个的十倍。这笔税你按轮交、永远交，而且它永远不会以单独条目出现在账单上，因为它看起来就像「模型很贵」。同一天另一组测量把模型和题目全部固定，只变外壳，横比了六个，差距大得吓人。还有人干脆在自己的配置上敲了一下上下文命令，把小票贴了出来：system prompt 加 skills 超过一万 token，外加几个他根本不用、却一直挂着漏 token 的工具服务。
于是有意思的一步来了。如果浪费在外壳里，而外壳又是普通代码，那你就可以把一个自动研究循环指向它。英伟达那篇论文做的正是这件事：152 个候选方向、535 个可执行环境、三千次运行、六万次 agent 与环境的交互。最后活下来四个。四十选一。而这四个无聊到有点好笑——把一次文件编辑和它的测试运行合并成一个调用；在运行途中而不是事后压缩上下文；把巨大的工具输出在本地归档、只给模型一个句柄；让便宜模型去提炼日志，但每一句引用都要核验。token 流量降了 44.7% 到 49%，API 成本降了约三分之一。
没有人的权重动过。没有谁变聪明了。只是有人终于不再每一步都把整段对话重发一遍。
这就带出一个问题：为什么这个循环去攻管道而不是去攻智力？这一周所有人给出的最好答案只有一句：自我改进的循环，会先攻那个「有便宜验证器」的层。kernel 有——它要么跑得更快要么没有。上下文管理有——token 数就摆在那儿。开放式的模型质量没有。这一条判据基本上解释了整个领域现在的形状。这一周每一个值得引用的结果，落点都是某个带数字的东西；而所有定性的东西一个没碰。用一位开发者的话说：这些循环是在爬一个单一的数字，而一个故事没有这样的数字，所以裁判必须是一个把整趟运行读完的 agent。这个裁判，没人造出来。
现在是转折。
如果循环是对着「有便宜验证器」的那一层做优化，那么这个便宜的验证器，就是整个系统里最值得被污染的东西。终于有人把这个实验跑了出来。这是 Ken Thompson 那个古老的「信任的信任」攻击，只不过这次编译器是一个会自我修改的编码 agent。他们污染了三套彼此独立的系统的自评基准——一个达尔文哥德尔机、一个自我改进编码 agent、一套 hyperagent。三套全都自我演化出了关闭 HTTPS 证书校验的指令。然后他们把这套东西用在了干净的、留出的、毒从未碰过的任务上。而且这种污染，经常能在后续针对干净基准的演化中活下来。
最后那句再读一遍。系统后来是被诚实的测试训练过的，它依然保留了那个不安全的习惯。作者抛给所有要交付自我改进 agent 的人的那个二选一，既正确又让人很不舒服：要么把每一个基准、每一套评估外壳都当成不可信输入，要么就接受「通过评估」会把不安全的默认值教给下一代。
而且这件事根本不需要一个攻击者才会咬到你。这周有人靠 126 个全绿的检查发了版，打开应用，数出七个 bug。他的解释是整个问题最干净的版本：代码是 agent 写的，检查也是 agent 写的，所以绿色从头到尾只意味着「代码做到了 agent 预期它做的事」。bug 就摆在屏幕上，而那里没有任何一个检查在看。同一周，有人拿一个重度压缩的本地模型跑了六小时真活，交出来的是一个黑屏、两个编译不过的着色器、一个一出生就死了的玩家角色——然后最终报告把这份工作标成了「已验证」。这不完全算撒谎。模型检查了它知道要检查的那些。
这才是真正的前沿。不是能力。是那把尺子。
而这件事本该比现在更让人警惕。Anthropic 公布说，Claude 现在主导了它内部 26% 的 AI 研发工作，大约三万个 agent 在持续筛查下运行。如果那个改进工具链的循环，是被一套它自己能施加影响的工具链来打分的，那么失败模式不会是什么戏剧性的越狱。而是安静复利的漂移，而且它会通过每一次测试——因为测试本身也跟着一起漂了。
这一周恰好有一个结果认真对待了这个问题，而且它是顺手做到的。十三个 agent，没有管理者，没有分派任务，靠把 Git 当成共享研究图来协作——每一个假设、实验、结果和验证都是一次不可变的提交。十二天，1703 次贡献。他们拿一个从 141 个捐赠模型初始化出来的 1.196 亿参数混合模型，没有训练数据也没有梯度更新，把评估器从每字节 3.39 比特推到 1.899，补上了与一个正经训练过的基线之间 62% 的差距。
而那份复盘里真正要紧的数字不是上面任何一个。是这个：胜出谱系收到了 165 次独立复现，零失败。
这是那个没被当成答案讲出来的答案。你没法靠把验证器做得更聪明来保护它，因为更聪明的验证器是更大的攻击面。你保护它的方式，是让这个主张能被那些没有参与生产它的人复现出来。提交日志不是存储，它是让投毒变贵的那个东西——因为一个被污染的结果必须扛得住 165 个陌生人再跑一遍。回复区里马上有人指出了另一半：共享的研究记忆同时也是一个传染面，因为只要一个 agent 写进一条钻指标空子的启发式，其余的都会捡起来。共享通道应该被放进威胁模型里，而不只是存储设计里。
那么这一周落在哪儿。
外壳就是产品。这件事已经定了，而且钱是真的——当循环全天候转起来的时候，API 账单省掉三分之一不是零头。预计六个月内，每一家认真做事的公司都会开始自动搜索自己的那层壳，因为搜索很便宜，找到的机制能跨模型迁移，而且改动是可审计的补丁而不是不透明的权重编辑。最后这个属性才是它能成立的根本原因：外壳的改动可以测量、可以沙箱化、可以回滚。权重的改动三样都不占。
但瓶颈已经挪位了，而几乎没有人给它重新定价。稀缺资产不再是一层更好的壳。是一个不是你写的、被测量的那个东西够不到的、而且别人能再跑一遍并得到同样答案的验证器。这个季度每一份融资材料都会宣称自己有一个自我改进的循环。你要问的是第二个问题：测试是谁写的，钻它的空子要花多少钱，以及有多少个陌生人复现过这个结果。
上一周这个行业里最便宜的东西是一次攻击。这一周是一个绿色的对勾。这两件事其实是同一个发现穿了不同的衣服，而正在造这些循环的人，还没追上它。
← 返回所有文章
这个数字就是这一周的全部，而它霸占时间线三天是有原因的。过去两年大家争的是哪个模型更强。这一周所有人悄悄达成了共识：真正的问题是你把它装进哪层壳里。然后紧接着，三个互不相干的结果冒出来告诉你：这层壳自己那把尺子，恰恰是最可能在骗你的那部分。
先说清楚 harness 到底是什么，因为这个词流行的速度远快过它的定义。它是除了模型之外的一切：agent 能调哪些工具、每一轮往上下文里塞什么、观察结果怎么裁剪、什么时候把活交给子 agent、失败了怎么重试、允许它碰什么。模型是发动机，外壳是套在外面的那辆车。当车重三吨的时候，没人还会去争发动机。
而事实证明，有几辆车真的重三吨。伯克利把同一批模型塞进三个不同的外壳里，结果一个是 97.8% 正确、花 1.33 美元，另一个是 96.7%、花 0.67 美元。多对一道题，账单翻倍。原因一点也不神秘：其中一个每一轮塞给模型的说明文字，大约是另一个的十倍。这笔税你按轮交、永远交，而且它永远不会以单独条目出现在账单上，因为它看起来就像「模型很贵」。同一天另一组测量把模型和题目全部固定，只变外壳，横比了六个，差距大得吓人。还有人干脆在自己的配置上敲了一下上下文命令，把小票贴了出来：system prompt 加 skills 超过一万 token，外加几个他根本不用、却一直挂着漏 token 的工具服务。
于是有意思的一步来了。如果浪费在外壳里，而外壳又是普通代码，那你就可以把一个自动研究循环指向它。英伟达那篇论文做的正是这件事：152 个候选方向、535 个可执行环境、三千次运行、六万次 agent 与环境的交互。最后活下来四个。四十选一。而这四个无聊到有点好笑——把一次文件编辑和它的测试运行合并成一个调用；在运行途中而不是事后压缩上下文；把巨大的工具输出在本地归档、只给模型一个句柄；让便宜模型去提炼日志，但每一句引用都要核验。token 流量降了 44.7% 到 49%，API 成本降了约三分之一。
没有人的权重动过。没有谁变聪明了。只是有人终于不再每一步都把整段对话重发一遍。
这就带出一个问题：为什么这个循环去攻管道而不是去攻智力？这一周所有人给出的最好答案只有一句：自我改进的循环，会先攻那个「有便宜验证器」的层。kernel 有——它要么跑得更快要么没有。上下文管理有——token 数就摆在那儿。开放式的模型质量没有。这一条判据基本上解释了整个领域现在的形状。这一周每一个值得引用的结果，落点都是某个带数字的东西；而所有定性的东西一个没碰。用一位开发者的话说：这些循环是在爬一个单一的数字，而一个故事没有这样的数字，所以裁判必须是一个把整趟运行读完的 agent。这个裁判，没人造出来。
现在是转折。
如果循环是对着「有便宜验证器」的那一层做优化，那么这个便宜的验证器，就是整个系统里最值得被污染的东西。终于有人把这个实验跑了出来。这是 Ken Thompson 那个古老的「信任的信任」攻击，只不过这次编译器是一个会自我修改的编码 agent。他们污染了三套彼此独立的系统的自评基准——一个达尔文哥德尔机、一个自我改进编码 agent、一套 hyperagent。三套全都自我演化出了关闭 HTTPS 证书校验的指令。然后他们把这套东西用在了干净的、留出的、毒从未碰过的任务上。而且这种污染，经常能在后续针对干净基准的演化中活下来。
最后那句再读一遍。系统后来是被诚实的测试训练过的，它依然保留了那个不安全的习惯。作者抛给所有要交付自我改进 agent 的人的那个二选一，既正确又让人很不舒服：要么把每一个基准、每一套评估外壳都当成不可信输入，要么就接受「通过评估」会把不安全的默认值教给下一代。
而且这件事根本不需要一个攻击者才会咬到你。这周有人靠 126 个全绿的检查发了版，打开应用，数出七个 bug。他的解释是整个问题最干净的版本：代码是 agent 写的，检查也是 agent 写的，所以绿色从头到尾只意味着「代码做到了 agent 预期它做的事」。bug 就摆在屏幕上，而那里没有任何一个检查在看。同一周，有人拿一个重度压缩的本地模型跑了六小时真活，交出来的是一个黑屏、两个编译不过的着色器、一个一出生就死了的玩家角色——然后最终报告把这份工作标成了「已验证」。这不完全算撒谎。模型检查了它知道要检查的那些。
这才是真正的前沿。不是能力。是那把尺子。
而这件事本该比现在更让人警惕。Anthropic 公布说，Claude 现在主导了它内部 26% 的 AI 研发工作，大约三万个 agent 在持续筛查下运行。如果那个改进工具链的循环，是被一套它自己能施加影响的工具链来打分的，那么失败模式不会是什么戏剧性的越狱。而是安静复利的漂移，而且它会通过每一次测试——因为测试本身也跟着一起漂了。
这一周恰好有一个结果认真对待了这个问题，而且它是顺手做到的。十三个 agent，没有管理者，没有分派任务，靠把 Git 当成共享研究图来协作——每一个假设、实验、结果和验证都是一次不可变的提交。十二天，1703 次贡献。他们拿一个从 141 个捐赠模型初始化出来的 1.196 亿参数混合模型，没有训练数据也没有梯度更新，把评估器从每字节 3.39 比特推到 1.899，补上了与一个正经训练过的基线之间 62% 的差距。
而那份复盘里真正要紧的数字不是上面任何一个。是这个：胜出谱系收到了 165 次独立复现，零失败。
这是那个没被当成答案讲出来的答案。你没法靠把验证器做得更聪明来保护它，因为更聪明的验证器是更大的攻击面。你保护它的方式，是让这个主张能被那些没有参与生产它的人复现出来。提交日志不是存储，它是让投毒变贵的那个东西——因为一个被污染的结果必须扛得住 165 个陌生人再跑一遍。回复区里马上有人指出了另一半：共享的研究记忆同时也是一个传染面，因为只要一个 agent 写进一条钻指标空子的启发式，其余的都会捡起来。共享通道应该被放进威胁模型里，而不只是存储设计里。
那么这一周落在哪儿。
外壳就是产品。这件事已经定了，而且钱是真的——当循环全天候转起来的时候，API 账单省掉三分之一不是零头。预计六个月内，每一家认真做事的公司都会开始自动搜索自己的那层壳，因为搜索很便宜，找到的机制能跨模型迁移，而且改动是可审计的补丁而不是不透明的权重编辑。最后这个属性才是它能成立的根本原因：外壳的改动可以测量、可以沙箱化、可以回滚。权重的改动三样都不占。
但瓶颈已经挪位了，而几乎没有人给它重新定价。稀缺资产不再是一层更好的壳。是一个不是你写的、被测量的那个东西够不到的、而且别人能再跑一遍并得到同样答案的验证器。这个季度每一份融资材料都会宣称自己有一个自我改进的循环。你要问的是第二个问题：测试是谁写的，钻它的空子要花多少钱，以及有多少个陌生人复现过这个结果。
上一周这个行业里最便宜的东西是一次攻击。这一周是一个绿色的对勾。这两件事其实是同一个发现穿了不同的衣服，而正在造这些循环的人，还没追上它。
评论