LobeHub 让 agent 改了自己的 harness 一星期。单任务成本压到 Codex 和 Claude Code 之下。
LobeHub 做了一个正在成为今年标准动作的实验：模型冻住，让 agent 改它周围的一切，看会发生什么。七天里 Lobe Agent 用团队的 RSI 框架探索并优化自己的 harness，然后他们用 Kimi K3 做底座在 FrontierHarness 上评测结果。公布的数字：通过率 70%，30 题过 21 题，在他们对比的 13 个 harness 里排第一。每个成功任务 1.68 美元，Codex 是 3.47，Claude Code 是 18.34。缓存命中率中位数 86%，成功任务耗时中位数 7 分 19 秒。帖子 9.9 万次展示，免责声明是他们自己写的：有筛选过的重试、执行环境有差异、不是正式排行榜。他们说脚本、轨迹和技术报告会全部开源，同时还在建 Awesome-RSI，一张递归自我改进的开源研究地图，80 多次提交，覆盖模型层和 harness 层的自我改进、自动化 AI 研究和安全。
排行榜的说法当预告看，成本数字才是重点。同样的任务同样的模型，和 Claude Code 差十倍，这是 harness 的结果不是模型的结果，而且它落地的两天前刚有一篇论文说 harness 进化会撞天花板，条件是失败从流程类变成内容类。这里的失败还是流程类，天花板还没起作用。有意思的问题是 agent 到底改了什么。这就是承诺中的轨迹数据的用处，在它们发出来之前，唯一可复现的产物是 Awesome-RSI 那份清单。
Sakana AI 周五列表上的论文是同一个循环的训练版。Recursive Self-Improvement through Multi-Agent Self-Supervision，简称 MASS，两个阶段交替：对多 agent 工作流做进化搜索，再用这些工作流产生的轨迹对模型做监督微调。用 Qwen3.6-27B 跑两轮，他们报告在四个开放式基准上每个输出 token 的性能提升 1.2 到 1.6 倍，用多 agent 轨迹训练的学生模型打败了用 1.4 倍 token 训练的单 agent 学生模型。LobeHub 改了 harness 保留权重。Sakana 改了 harness，再把 harness 学到的东西折回权重里。代码在 SakanaAI/mass，21 颗星。
LobeHub 原帖：https://x.com/lobehub/status/2108729629540573352
Awesome-RSI：https://github.com/lobehub/awesome-rsi
MASS 论文：https://arxiv.org/abs/2610.12176
← 返回所有文章
排行榜的说法当预告看，成本数字才是重点。同样的任务同样的模型，和 Claude Code 差十倍，这是 harness 的结果不是模型的结果，而且它落地的两天前刚有一篇论文说 harness 进化会撞天花板，条件是失败从流程类变成内容类。这里的失败还是流程类，天花板还没起作用。有意思的问题是 agent 到底改了什么。这就是承诺中的轨迹数据的用处，在它们发出来之前，唯一可复现的产物是 Awesome-RSI 那份清单。
Sakana AI 周五列表上的论文是同一个循环的训练版。Recursive Self-Improvement through Multi-Agent Self-Supervision，简称 MASS，两个阶段交替：对多 agent 工作流做进化搜索，再用这些工作流产生的轨迹对模型做监督微调。用 Qwen3.6-27B 跑两轮，他们报告在四个开放式基准上每个输出 token 的性能提升 1.2 到 1.6 倍，用多 agent 轨迹训练的学生模型打败了用 1.4 倍 token 训练的单 agent 学生模型。LobeHub 改了 harness 保留权重。Sakana 改了 harness，再把 harness 学到的东西折回权重里。代码在 SakanaAI/mass，21 颗星。
LobeHub 原帖：https://x.com/lobehub/status/2108729629540573352
Awesome-RSI：https://github.com/lobehub/awesome-rsi
MASS 论文：https://arxiv.org/abs/2610.12176
评论