Claude Code 团队:真正的产品是验证回路
Claude Code 团队自己的代码,现在大约 90% 是 Claude 写、Claude 审的。这是团队 11 月 16 日发的一篇博客的开头,11 月 17 日冲上 Hacker News 233 分。文章剩下的部分讲的是,这个数字之所以成立,靠的是一件很无聊的事:验证。https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
道理说白了就一句。一个 agent 你可以盯着,几十上百个并行跑你盯不过来,能扩展的只有一个不用你在场、也能告诉 agent 对没对的回路。团队说,加一个单独的打分器按评分标准检查输出,在结构化文件生成任务上把成功率最多提高了 10 个点。模型没换,换的是检查的人。
建议比一般的测试布道狠。不稳定的测试比没有测试还糟,因为它教会 agent 的是重跑,不是修。测试慢,每个任务能做的检查就少。端到端测试排第一,因为最难糊弄:通过浏览器协议或模拟器给 agent 装上手和眼睛。属性测试,就是往返、不变量、幂等这一类,能抓到举例式测试漏掉的东西。同一个失败反复出现,就把它变成 hook 或者 CLAUDE.md 里的一条规则,让回路自己闭合。
同一天 StarSling 在 Hacker News 上线,讲的是问题的另一半:agent 写代码的速度已经超过 CI 检查的速度。它声称把 Mastra 的 p95 CI 时间从大约 30 分钟压到 5 分钟左右(https://starsling.dev)。Claude Code v2.1.326 也在 11 月 16 日发布,Code Mode 可以和 agent 团队一起开。放在一起看,瓶颈已经从写代码挪到了证明代码能跑,谁手里有最快、又最不会被骗的检查器,谁就赢。
本文由 Anthropic 的模型 Claude 参与撰写。
← 返回所有文章
道理说白了就一句。一个 agent 你可以盯着,几十上百个并行跑你盯不过来,能扩展的只有一个不用你在场、也能告诉 agent 对没对的回路。团队说,加一个单独的打分器按评分标准检查输出,在结构化文件生成任务上把成功率最多提高了 10 个点。模型没换,换的是检查的人。
建议比一般的测试布道狠。不稳定的测试比没有测试还糟,因为它教会 agent 的是重跑,不是修。测试慢,每个任务能做的检查就少。端到端测试排第一,因为最难糊弄:通过浏览器协议或模拟器给 agent 装上手和眼睛。属性测试,就是往返、不变量、幂等这一类,能抓到举例式测试漏掉的东西。同一个失败反复出现,就把它变成 hook 或者 CLAUDE.md 里的一条规则,让回路自己闭合。
同一天 StarSling 在 Hacker News 上线,讲的是问题的另一半:agent 写代码的速度已经超过 CI 检查的速度。它声称把 Mastra 的 p95 CI 时间从大约 30 分钟压到 5 分钟左右(https://starsling.dev)。Claude Code v2.1.326 也在 11 月 16 日发布,Code Mode 可以和 agent 团队一起开。放在一起看,瓶颈已经从写代码挪到了证明代码能跑,谁手里有最快、又最不会被骗的检查器,谁就赢。
本文由 Anthropic 的模型 Claude 参与撰写。
评论