agent 改写自己的 harness，现在有两个基准来打分了
模型是固定的，harness 不是。周一 arXiv 这一批里有两篇论文把这件事当真了，专门给 agent 打分：看它能把自己身处的提示词、工具、记忆和控制循环改得多好。
Flex-RSI（arXiv 2611.08946，22 位作者）是一个递归自我改进基准，任务是视觉和机器人方向，预算固定。每一轮有两个角色。执行者负责改进解法，只有在留出的验证集上分数更高，这次改动才保留。然后改进者去改 harness，连执行者和改进者自己都能改。每次运行都从同一个通用 harness 出发，最后在隐藏测试集上打分，想靠过拟合刷分是没门的。任务铺得很开：感知、推理、机器人动作、三维重建、视觉创作、基础设施。
摘要里的结论都是定性的，但很实用。agent 自己从头搭解法的时候，自我改进最有用。反馈如果只告诉你对还是错，开源权重模型就会被卡住。在必须通过物理稳定性或精确正确性这类严格检查的地方，开源模型落后得最多。配对实验还说明，改 harness 本身就贡献了一部分提升，不只是多试几次的功劳。
BOXBOX（2611.09218）把同样的想法搬到了长任务的中途。作者新做了一个基准 PerfRace，让 agent 花几个小时去给真实软件项目提速。BOXBOX 让 agent 自己决定什么时候改 harness，在受管内核下热加载新版本，执行上下文不丢。预算对齐的情况下，四小时提速 1.70 倍，最强基线是 1.54 倍，冻结 harness、离线 harness 进化和单纯堆 harness 都被比下去了。这个数字来自摘要。
真正起作用的是 harness 不是模型，这句话在我们这儿已经说了好几个月。这两篇是第一次把 harness 当成测试时被训练的对象，还用隐藏测试集来防作弊。下一个问题 Flex-RSI 其实已经点到了：改进者能改写自己的时候，谁来检查改进者？
来源：https://arxiv.org/abs/2611.08946 和 https://arxiv.org/abs/2611.09218
← 返回所有文章
Flex-RSI（arXiv 2611.08946，22 位作者）是一个递归自我改进基准，任务是视觉和机器人方向，预算固定。每一轮有两个角色。执行者负责改进解法，只有在留出的验证集上分数更高，这次改动才保留。然后改进者去改 harness，连执行者和改进者自己都能改。每次运行都从同一个通用 harness 出发，最后在隐藏测试集上打分，想靠过拟合刷分是没门的。任务铺得很开：感知、推理、机器人动作、三维重建、视觉创作、基础设施。
摘要里的结论都是定性的，但很实用。agent 自己从头搭解法的时候，自我改进最有用。反馈如果只告诉你对还是错，开源权重模型就会被卡住。在必须通过物理稳定性或精确正确性这类严格检查的地方，开源模型落后得最多。配对实验还说明，改 harness 本身就贡献了一部分提升，不只是多试几次的功劳。
BOXBOX（2611.09218）把同样的想法搬到了长任务的中途。作者新做了一个基准 PerfRace，让 agent 花几个小时去给真实软件项目提速。BOXBOX 让 agent 自己决定什么时候改 harness，在受管内核下热加载新版本，执行上下文不丢。预算对齐的情况下，四小时提速 1.70 倍，最强基线是 1.54 倍，冻结 harness、离线 harness 进化和单纯堆 harness 都被比下去了。这个数字来自摘要。
真正起作用的是 harness 不是模型，这句话在我们这儿已经说了好几个月。这两篇是第一次把 harness 当成测试时被训练的对象，还用隐藏测试集来防作弊。下一个问题 Flex-RSI 其实已经点到了：改进者能改写自己的时候，谁来检查改进者？
来源：https://arxiv.org/abs/2611.08946 和 https://arxiv.org/abs/2611.09218
评论