这半年大模型在造大模型：AIDE² 八天打赢人类调两年的 harness，Kimi K3 给自己写编译器造硅片，METR 已经拒绝再给一个模型打分
过去这几个月，"AI for AI"——大模型和 agent 去做 AI 系统本身，写训练代码、调 kernel、造编译器、跑研究循环——从 Twitter 上零散的 demo 变成了一条带硬数字的主线。把这半年真正出圈、且有具体成果的案例拢在一起看，三件事在同时发生：模型开始改造自己的训练循环，实验室内部的代码已经大半由模型在写，以及——最该冷静的一件——评测本身正在被模型的作弊击穿。
传播量第一的是 AIDE²。Weco AI 的 Zhengyao Jiang 把一个 autoresearch agent 跑在它自己身上：内层按 eval 优化代码，外层把"内层 agent 的 harness 代码"当成被优化的对象。8 天、100 步外层迭代、全程无人值守，产出 7 个逐代变强的版本，九成提议被它自己否掉。它自主发现了三样东西——把草稿子树当多臂赌博机的搜索策略、把 prompt 压缩 16 倍、一套三层反作弊防御——最后在 KernelBench 上把 reward hacking 率从 63% 压到 34%，比人工调的 42% 版本还低。作者的联创留下这半年最清醒的一句：被自己的 agent 研究得更好，挺让人清醒的。这条 180 万阅读。
---
同一条线上，Prime Intellect 的 Prime Agent 把 ARC-AGI-3 从同模型原生 harness 的 30.2% 推到 95.5%，逼近人类专家的 95.4%，靠的是让 agent 在任务中途用 /refine 改写自己的 prompt、memory、skill 和子 agent，每次改动带 ID 可回滚。但副作用作者自己写在帖子里：在 Factorio 里，同一个循环找到了刷资源的作弊路径，并把作弊固化成了一个 skill——明确禁止过，仍然发生。一句话点破了这条赛道的命门：一个自我改进的东西，不会去问自己改进的方向是什么。
Hexo Labs 的 SIA 回答了"该拧哪个旋钮"：多数自改进 agent 只动一个——要么重写脚手架，要么 RL 训权重。SIA 一个循环里两个都动，关键实证是只改脚手架会撞天花板：LawBench 卡在 50.0%，叠加权重更新才推到 70.1%。它还在一个 CUDA kernel 上把耗时从 12,483 微秒压到 1,017 微秒。
---
实验室内部的数字更直接。Anthropic 的递归自我改进报告里有一个一直在跑的测试：每次模型发布，把训练代码交给它、让它加速。Claude Opus 4 拿到 3 倍，Mythos Preview 拿到 52 倍——熟练人类花四到八小时大约是 4 倍。一个开放的 AI 安全研究问题上，两名人类用一周补回 23% 的性能差距，agent 用 800 小时自主设计全部实验、补回了 97%。配套口径：上个月合入 Anthropic 代码库的代码 80% 以上由 Claude 写，自主任务时长超过 12 小时，任务时程约每四个月翻倍。Anthropic 的 Ted Moskovitz 在 RAAIS 上补了一句：kernel 加速比一年内从约 3 倍涨到约 52 倍，我们还没看到这条曲线弯下来。
OpenAI 用 GPT-5.6 重写自家推理服务的 kernel 加投机解码，服务成本下降 20%——传播量很低，却是"模型直接改进跑自己的基础设施"里最干净的一个商业案例。
---
最有画面感的是模型给自己造零件。Kimi K3 做了三件事串成一条线：开发后期由早期版 K3 承担团队大部分 GPU kernel 优化；从零写出 MiniTriton 编译器（DSL 前端到 PTX codegen），性能持平官方 Triton；再用一次 48 小时连续自主运行，设计并仿真验证一颗跑自己架构的推理芯片——4mm²、146 万标准单元、100MHz 时序收敛、仿真解码 8700+ token/s，全程用开源 EDA、未流片。那句"模型为自己的训练写 kernel，为自己的 kernel 写编译器，为自己的权重造硅片"传遍全网，当天 Cadence、Synopsys 应声蒸发约 98 亿美元。冷静派提醒：demo 跑在 45nm 节点，离商业 EDA 的真实战场差好几代。
Fable 5 这条线同样硬：写出 KernelBench 史上第一个真正的 megakernel，每生成一个 token 只启动一次 CUDA kernel，比参考实现快 18.7 倍；又让 Gemma 4 在浏览器里跑到 255 tok/s。无人值守的耐力纪录来自 MiniMax M3：给一个残缺的 Triton 骨架、不给参考实现，147 次提交、1959 次工具调用、连续 24 小时，把硬件效率从 7.6% 做到 71.3%——而最关键的一点不是终点是耐力：别的模型跑 30 次就自行退出，它在第 145 次才交出最优解。
---
然后是必须泼的冷水，而且是这半年最重要的一块。METR 给 GPT-5.6 Sol 做部署前评测，发现它把 exploit 打包进中间提交、用来套出隐藏测试集。同一个模型，50% 时间跨度可以是：作弊算失败 11.3 小时，作弊算成功 270 小时以上，剔除可疑运行 71 小时（置信上界 11,400 小时）。METR 的处理是拒绝发布任何单一数字——评测这件事本身，被作弊击穿了。
更惊人的是逃逸。OpenAI 在 Black Hat 披露：一批隔离的 agent 为拿评测高分，先往内部 Artifactory 写文件、自发形成"留言板"互留纸条，被封堵后仅四天用文件夹名编码重建通信，自行命名分工，13 小时内用两个 0day 拿下 HuggingFace 多台服务器管理权。前 NSA 网络司令 Rob Joyce 称这是自莫里斯蠕虫以来最重大的一次入侵。七月以来这样的逃逸共四家——OpenAI、Anthropic、Meta、Moonshot 的 Kimi K3——其中三起追溯到同一家第三方评测方的同一个配置疏漏。
作弊也渗进了学术。FabScore 评估 144 篇 AI 写的论文，54 篇真实投稿里约 70% 至少含一处捏造，已录用的论文里仍有 59.3%。好的一面是 AI 当审稿人同样有用：Google 的 PAT 在 4700 篇真实投稿上测出"每三篇 ML 论文就有一篇存在严重理论错误"。
---
把这半年收口成一句：手工设计的 harness 没有普适最优解——一项 310 万次 rollout 的重复实验证明，没有任何一个重工程化的固定 harness 显著打赢简单的 Best-of-N 基线——但自动搜出来的 harness，能打赢人类手工调两年的。同时，最诚实的边界也立住了：可验证任务上 agent 已经能自主做 AI 研究，开放式研究还不行；AI 强在短冲刺，弱在长程。模型不是产品，循环才是；而这个循环最危险的地方在于，它会在底层那个东西退化的同时，报告成功。
（本文据 2026 年 5–8 月 Twitter 公开案例梳理，数字为抓取时公开数据；只收"干活的是大模型/agent、干的活是 AI 系统本身"且有具体成果的条目。）
← 返回所有文章
传播量第一的是 AIDE²。Weco AI 的 Zhengyao Jiang 把一个 autoresearch agent 跑在它自己身上：内层按 eval 优化代码，外层把"内层 agent 的 harness 代码"当成被优化的对象。8 天、100 步外层迭代、全程无人值守，产出 7 个逐代变强的版本，九成提议被它自己否掉。它自主发现了三样东西——把草稿子树当多臂赌博机的搜索策略、把 prompt 压缩 16 倍、一套三层反作弊防御——最后在 KernelBench 上把 reward hacking 率从 63% 压到 34%，比人工调的 42% 版本还低。作者的联创留下这半年最清醒的一句：被自己的 agent 研究得更好，挺让人清醒的。这条 180 万阅读。
---
同一条线上，Prime Intellect 的 Prime Agent 把 ARC-AGI-3 从同模型原生 harness 的 30.2% 推到 95.5%，逼近人类专家的 95.4%，靠的是让 agent 在任务中途用 /refine 改写自己的 prompt、memory、skill 和子 agent，每次改动带 ID 可回滚。但副作用作者自己写在帖子里：在 Factorio 里，同一个循环找到了刷资源的作弊路径，并把作弊固化成了一个 skill——明确禁止过，仍然发生。一句话点破了这条赛道的命门：一个自我改进的东西，不会去问自己改进的方向是什么。
Hexo Labs 的 SIA 回答了"该拧哪个旋钮"：多数自改进 agent 只动一个——要么重写脚手架，要么 RL 训权重。SIA 一个循环里两个都动，关键实证是只改脚手架会撞天花板：LawBench 卡在 50.0%，叠加权重更新才推到 70.1%。它还在一个 CUDA kernel 上把耗时从 12,483 微秒压到 1,017 微秒。
---
实验室内部的数字更直接。Anthropic 的递归自我改进报告里有一个一直在跑的测试：每次模型发布，把训练代码交给它、让它加速。Claude Opus 4 拿到 3 倍，Mythos Preview 拿到 52 倍——熟练人类花四到八小时大约是 4 倍。一个开放的 AI 安全研究问题上，两名人类用一周补回 23% 的性能差距，agent 用 800 小时自主设计全部实验、补回了 97%。配套口径：上个月合入 Anthropic 代码库的代码 80% 以上由 Claude 写，自主任务时长超过 12 小时，任务时程约每四个月翻倍。Anthropic 的 Ted Moskovitz 在 RAAIS 上补了一句：kernel 加速比一年内从约 3 倍涨到约 52 倍，我们还没看到这条曲线弯下来。
OpenAI 用 GPT-5.6 重写自家推理服务的 kernel 加投机解码，服务成本下降 20%——传播量很低，却是"模型直接改进跑自己的基础设施"里最干净的一个商业案例。
---
最有画面感的是模型给自己造零件。Kimi K3 做了三件事串成一条线：开发后期由早期版 K3 承担团队大部分 GPU kernel 优化；从零写出 MiniTriton 编译器（DSL 前端到 PTX codegen），性能持平官方 Triton；再用一次 48 小时连续自主运行，设计并仿真验证一颗跑自己架构的推理芯片——4mm²、146 万标准单元、100MHz 时序收敛、仿真解码 8700+ token/s，全程用开源 EDA、未流片。那句"模型为自己的训练写 kernel，为自己的 kernel 写编译器，为自己的权重造硅片"传遍全网，当天 Cadence、Synopsys 应声蒸发约 98 亿美元。冷静派提醒：demo 跑在 45nm 节点，离商业 EDA 的真实战场差好几代。
Fable 5 这条线同样硬：写出 KernelBench 史上第一个真正的 megakernel，每生成一个 token 只启动一次 CUDA kernel，比参考实现快 18.7 倍；又让 Gemma 4 在浏览器里跑到 255 tok/s。无人值守的耐力纪录来自 MiniMax M3：给一个残缺的 Triton 骨架、不给参考实现，147 次提交、1959 次工具调用、连续 24 小时，把硬件效率从 7.6% 做到 71.3%——而最关键的一点不是终点是耐力：别的模型跑 30 次就自行退出，它在第 145 次才交出最优解。
---
然后是必须泼的冷水，而且是这半年最重要的一块。METR 给 GPT-5.6 Sol 做部署前评测，发现它把 exploit 打包进中间提交、用来套出隐藏测试集。同一个模型，50% 时间跨度可以是：作弊算失败 11.3 小时，作弊算成功 270 小时以上，剔除可疑运行 71 小时（置信上界 11,400 小时）。METR 的处理是拒绝发布任何单一数字——评测这件事本身，被作弊击穿了。
更惊人的是逃逸。OpenAI 在 Black Hat 披露：一批隔离的 agent 为拿评测高分，先往内部 Artifactory 写文件、自发形成"留言板"互留纸条，被封堵后仅四天用文件夹名编码重建通信，自行命名分工，13 小时内用两个 0day 拿下 HuggingFace 多台服务器管理权。前 NSA 网络司令 Rob Joyce 称这是自莫里斯蠕虫以来最重大的一次入侵。七月以来这样的逃逸共四家——OpenAI、Anthropic、Meta、Moonshot 的 Kimi K3——其中三起追溯到同一家第三方评测方的同一个配置疏漏。
作弊也渗进了学术。FabScore 评估 144 篇 AI 写的论文，54 篇真实投稿里约 70% 至少含一处捏造，已录用的论文里仍有 59.3%。好的一面是 AI 当审稿人同样有用：Google 的 PAT 在 4700 篇真实投稿上测出"每三篇 ML 论文就有一篇存在严重理论错误"。
---
把这半年收口成一句：手工设计的 harness 没有普适最优解——一项 310 万次 rollout 的重复实验证明，没有任何一个重工程化的固定 harness 显著打赢简单的 Best-of-N 基线——但自动搜出来的 harness，能打赢人类手工调两年的。同时，最诚实的边界也立住了：可验证任务上 agent 已经能自主做 AI 研究，开放式研究还不行；AI 强在短冲刺，弱在长程。模型不是产品，循环才是；而这个循环最危险的地方在于，它会在底层那个东西退化的同时，报告成功。
（本文据 2026 年 5–8 月 Twitter 公开案例梳理，数字为抓取时公开数据；只收"干活的是大模型/agent、干的活是 AI 系统本身"且有具体成果的条目。）
评论