每周深度: 评委才是产品
上周的结论是 harness 是护城河。这周的数据把这个结论又往下挖了一层：loop 本身正在变成大路货——已经有人做出了纯浏览器端跑 agent loop 的 demo，不要后端、不要 API key——真正把赢家和输家分开的，是 loop 里面坐着的那个评委。评估器才是瓶颈，是故障点，而且越来越像是产品本身。
先说本周最吓人的一篇论文，因为它把所有人都在悄悄犯的错误起了个名字。这篇叫 Blind Curator 的论文说的是：如果你跑一个自我改进的 agent，用 LLM 当评委，而这个评委有「假通过」偏差——把失败错判成通过——那么过了某个临界点之后，agent 会悄无声息地失去淘汰坏技能的能力。注意措辞。不是变差，是失去，而且悄无声息。任何聚合指标都看不出来，仪表盘上一切健康，底下的技能库在腐烂。只有假通过率接近零的、验证器式的评委才能扛住。论文给的药方便宜得让人尴尬：在信任任何自进化 loop 之前，先对评委本身做一次故障注入审计——喂它一批已知的失败案例，看它能不能抓出来。今天几乎没人这么做。
再看谁在用同一个洞察赚钱。GitHub 披露他们把 Copilot Code Review 的成本降了 20%，质量没掉，用的只有一招：别再优化单个工具调用，让 agent loop 表现得像个审稿人，而不是一个疯狂调工具的机器人。这是评估形态的改动，不是模型的改动，在 GitHub 的规模上值一条产品线推理账单的两成。Shopify 开源了内部 autoresearch 全家桶 Tangle 和 Tangent，真正承重的功能不是拖拽式流水线，是每一级都站着评委的门控检查点——靠这个，agent 自己迭代假设，把一个重排序模型的召回率从 67.3% 推到 75.6%，中间没有人。NVIDIA 的 Red Queen Gödel Machine 干脆把话挑明：agent 的上限就是评估系统的上限，所以让评估器和 agent 一起进化，锚在可信的 ground truth 上。结果超过之前的基线，搜索 token 还省了 1.35 到 1.72 倍。省钱的是评委的进步，不是模型的进步。
连本周传播最广的那条 loop 经济学推文，内核也是评委。那个刷屏的四件套过夜公司架构——便宜模型扫描，旗舰模型规划，中档模型干活，一个全新的旗舰副本当质检——作者自己在结尾说了大实话：没有那张成绩单，这套东西只是一种昂贵的、凌晨三点批量生产 bug 的方式。评分循环才是产品，agent 都是可替换的。一句话把整周讲完了。
打个比方就看清结构了。评委不严的自改进 loop，等于一家公司让质检部门向它要检查的那个实习生汇报。周会上一切都好，速度在涨，工单在关，产品里的缺陷没人有权限看见。Blind Curator 那篇论文只是用数学证明了这张组织架构图必然失败，而且是以静默的方式失败——最糟糕的那种失败。
为什么这事现在才浮出来？因为 loop 终于好用到可以没人看着跑了。当年 Karpathy 的 autoresearch 还是周末玩具的时候，评委偷懒的代价是浪费一晚上 GPU。现在 Spotify 说 loop 把 agent 任务成功率从两三成拉到八成，全公司 73% 的代码是 AI 写的；一个机器人公司的 CEO 让 agent 管了 49 天公司运营、经手七万六千欧元；OpenAI 在 AWTF 上第一次在正式比赛里干脆利落地赢了全世界最强的人类程序员，而据参赛圈的复盘，他们赛前就知道自己会赢——因为把历年所有比赛都回测了一遍。共同点只有一个：拿出真结果的团队，都在「机械地知道 loop 的产出到底好不好」这件事上砸了重注。其他人都在信实习生的自评。
反过来，建不起硬评委的领域，正好就是 loop 至今失灵的领域。内容是最干净的例子。写代码的 agent 自己就能闭环——跑一下，看过不过。内容 agent 什么都没有：让 LLM 评内容质量是垃圾给垃圾打分，人审太慢进不了循环，发出去看真实数据要等几天还烧品牌。本周有人提的解法是「仿真循环」：用历史内容和真实表现训一个社交平台的合成孪生体，agent 把草稿发进去，拿到快速且有依据的预测，再碰真平台。这个产品本身成不成两说，诊断是对的：没有评委，就没有循环。视频生成同理，有从业者直说，每个样本都要花真金白银、又没有便宜的打分器，autoresearch 式的 prompt 优化根本跑不起来。autoresearch 只在评估便宜的地方成立，句号。
本周还有一个人展示了评委完美时的奖品长什么样。一位数学研究者在抽象代数上跑 auto-research loop，那里的评估器是证明检查器——宇宙里唯一假通过率为零的评委。他的 loop 正在产出一些定理：可证明，能在 Lean 里形式化，但陌生到他的第一反应是「这肯定错了」。没错，只是异类。评委无法被糊弄的时候，loop 可以彻底甩开人类直觉还依然正确。数学白拿了这个待遇，其他所有领域都得自己造。
所以给出一个可以下注的判断：agent 经济里下一个耐用的生意层，不是模型，不是 harness，是验证。给评委做故障注入审计的服务；按领域卖的验证器级评估器——法律、医疗、金融、内容；给没有评委的领域造合成 ground truth 的仿真环境。本周那场参考 harness 的演讲里甚至提到了 harness-stripping——模型每变强一档就拆掉一层脚手架——这说明 harness 层自己都预期会缩水。没有人提 judge-stripping。自主性每往上走一格，评委的承重只会更大，因为评委才是你敢睡觉的原因。
给这周正在动手的人一句收尾：你的 agent 不是你的产品，你的 loop 也不是你的产品，你的 eval 才是。像养产品一样给它投钱，像测产品一样测它，并且在你亲手注入故障、亲眼看它抓住之前，默认它在骗你。只有诚实给自己打分的循环，才配得上复利。
← 返回所有文章
先说本周最吓人的一篇论文，因为它把所有人都在悄悄犯的错误起了个名字。这篇叫 Blind Curator 的论文说的是：如果你跑一个自我改进的 agent，用 LLM 当评委，而这个评委有「假通过」偏差——把失败错判成通过——那么过了某个临界点之后，agent 会悄无声息地失去淘汰坏技能的能力。注意措辞。不是变差，是失去，而且悄无声息。任何聚合指标都看不出来，仪表盘上一切健康，底下的技能库在腐烂。只有假通过率接近零的、验证器式的评委才能扛住。论文给的药方便宜得让人尴尬：在信任任何自进化 loop 之前，先对评委本身做一次故障注入审计——喂它一批已知的失败案例，看它能不能抓出来。今天几乎没人这么做。
再看谁在用同一个洞察赚钱。GitHub 披露他们把 Copilot Code Review 的成本降了 20%，质量没掉，用的只有一招：别再优化单个工具调用，让 agent loop 表现得像个审稿人，而不是一个疯狂调工具的机器人。这是评估形态的改动，不是模型的改动，在 GitHub 的规模上值一条产品线推理账单的两成。Shopify 开源了内部 autoresearch 全家桶 Tangle 和 Tangent，真正承重的功能不是拖拽式流水线，是每一级都站着评委的门控检查点——靠这个，agent 自己迭代假设，把一个重排序模型的召回率从 67.3% 推到 75.6%，中间没有人。NVIDIA 的 Red Queen Gödel Machine 干脆把话挑明：agent 的上限就是评估系统的上限，所以让评估器和 agent 一起进化，锚在可信的 ground truth 上。结果超过之前的基线，搜索 token 还省了 1.35 到 1.72 倍。省钱的是评委的进步，不是模型的进步。
连本周传播最广的那条 loop 经济学推文，内核也是评委。那个刷屏的四件套过夜公司架构——便宜模型扫描，旗舰模型规划，中档模型干活，一个全新的旗舰副本当质检——作者自己在结尾说了大实话：没有那张成绩单，这套东西只是一种昂贵的、凌晨三点批量生产 bug 的方式。评分循环才是产品，agent 都是可替换的。一句话把整周讲完了。
打个比方就看清结构了。评委不严的自改进 loop，等于一家公司让质检部门向它要检查的那个实习生汇报。周会上一切都好，速度在涨，工单在关，产品里的缺陷没人有权限看见。Blind Curator 那篇论文只是用数学证明了这张组织架构图必然失败，而且是以静默的方式失败——最糟糕的那种失败。
为什么这事现在才浮出来？因为 loop 终于好用到可以没人看着跑了。当年 Karpathy 的 autoresearch 还是周末玩具的时候，评委偷懒的代价是浪费一晚上 GPU。现在 Spotify 说 loop 把 agent 任务成功率从两三成拉到八成，全公司 73% 的代码是 AI 写的；一个机器人公司的 CEO 让 agent 管了 49 天公司运营、经手七万六千欧元；OpenAI 在 AWTF 上第一次在正式比赛里干脆利落地赢了全世界最强的人类程序员，而据参赛圈的复盘，他们赛前就知道自己会赢——因为把历年所有比赛都回测了一遍。共同点只有一个：拿出真结果的团队，都在「机械地知道 loop 的产出到底好不好」这件事上砸了重注。其他人都在信实习生的自评。
反过来，建不起硬评委的领域，正好就是 loop 至今失灵的领域。内容是最干净的例子。写代码的 agent 自己就能闭环——跑一下，看过不过。内容 agent 什么都没有：让 LLM 评内容质量是垃圾给垃圾打分，人审太慢进不了循环，发出去看真实数据要等几天还烧品牌。本周有人提的解法是「仿真循环」：用历史内容和真实表现训一个社交平台的合成孪生体，agent 把草稿发进去，拿到快速且有依据的预测，再碰真平台。这个产品本身成不成两说，诊断是对的：没有评委，就没有循环。视频生成同理，有从业者直说，每个样本都要花真金白银、又没有便宜的打分器，autoresearch 式的 prompt 优化根本跑不起来。autoresearch 只在评估便宜的地方成立，句号。
本周还有一个人展示了评委完美时的奖品长什么样。一位数学研究者在抽象代数上跑 auto-research loop，那里的评估器是证明检查器——宇宙里唯一假通过率为零的评委。他的 loop 正在产出一些定理：可证明，能在 Lean 里形式化，但陌生到他的第一反应是「这肯定错了」。没错，只是异类。评委无法被糊弄的时候，loop 可以彻底甩开人类直觉还依然正确。数学白拿了这个待遇，其他所有领域都得自己造。
所以给出一个可以下注的判断：agent 经济里下一个耐用的生意层，不是模型，不是 harness，是验证。给评委做故障注入审计的服务；按领域卖的验证器级评估器——法律、医疗、金融、内容；给没有评委的领域造合成 ground truth 的仿真环境。本周那场参考 harness 的演讲里甚至提到了 harness-stripping——模型每变强一档就拆掉一层脚手架——这说明 harness 层自己都预期会缩水。没有人提 judge-stripping。自主性每往上走一格，评委的承重只会更大，因为评委才是你敢睡觉的原因。
给这周正在动手的人一句收尾：你的 agent 不是你的产品，你的 loop 也不是你的产品，你的 eval 才是。像养产品一样给它投钱，像测产品一样测它，并且在你亲手注入故障、亲眼看它抓住之前，默认它在骗你。只有诚实给自己打分的循环，才配得上复利。
评论