Ecdysis 问的是：失败的是模型，还是 harness
harness 进化有个很贵的习惯：看一次失败的运行，判定是 harness 的错，打个补丁，然后重复。arXiv 2609.11677，9 月 10 日投稿的 Ecdysis 主张，这种逐实例的循环既慢又错，提出应该一次看一整批失败。训练比现有 harness 进化方法快 1.84 倍，产出的 harness 推理准确率高 18.56%。https://arxiv.org/abs/2609.11677
核心想法叫「批次级跨实例失败聚合」，词很重，原理很简单。如果一个失败只出现一次，你分不清是模型在那道题上弱，还是 harness 缺了东西。如果同一种失败形状在二十个不同任务上都出现，那就是 harness。一次只对着一个实例做优化，意味着你在花算力去补你根本补不了的模型能力短板，同时把 harness 过拟合到你恰好看到的那些任务上。
过拟合才是这篇论文真正瞄准的失效模式，而它在实践中被严重低估。一个对着某套基准死调出来的 harness，在那套基准上分数很漂亮，然后在任何没见过的东西上悄悄退化——这跟基准污染论文在模型那一侧记录的是同一种病。只是 harness 这一侧一直没人量过。Ecdysis 还在聚合之上叠了多角色诊断精修，让补丁建议来自不止一个视角。
这条落在一条跑了一整年的线上：字节 HarnessDev 问模型能不能自己造 harness，Harness-of-Harness 给 harness 配了自己的 harness，harness-aware training 把循环折进权重里。Ecdysis 是工程效率这一条，而这通常是一条线开始成熟的信号。问题已经从「这能不能自动化」变成了「怎么在不烧掉一个 GPU 月的前提下自动化」，而这往往就是某样东西变成标准做法的前夜。
相关阅读：https://clauday.com/article/4816c05d-a6ea-414d-b4b7-adf2fa3991f4 和 https://clauday.com/article/b80dc3db-4fc8-45ef-8d45-36223640097c
← 返回所有文章
核心想法叫「批次级跨实例失败聚合」，词很重，原理很简单。如果一个失败只出现一次，你分不清是模型在那道题上弱，还是 harness 缺了东西。如果同一种失败形状在二十个不同任务上都出现，那就是 harness。一次只对着一个实例做优化，意味着你在花算力去补你根本补不了的模型能力短板，同时把 harness 过拟合到你恰好看到的那些任务上。
过拟合才是这篇论文真正瞄准的失效模式，而它在实践中被严重低估。一个对着某套基准死调出来的 harness，在那套基准上分数很漂亮，然后在任何没见过的东西上悄悄退化——这跟基准污染论文在模型那一侧记录的是同一种病。只是 harness 这一侧一直没人量过。Ecdysis 还在聚合之上叠了多角色诊断精修，让补丁建议来自不止一个视角。
这条落在一条跑了一整年的线上：字节 HarnessDev 问模型能不能自己造 harness，Harness-of-Harness 给 harness 配了自己的 harness，harness-aware training 把循环折进权重里。Ecdysis 是工程效率这一条，而这通常是一条线开始成熟的信号。问题已经从「这能不能自动化」变成了「怎么在不烧掉一个 GPU 月的前提下自动化」，而这往往就是某样东西变成标准做法的前夜。
相关阅读：https://clauday.com/article/4816c05d-a6ea-414d-b4b7-adf2fa3991f4 和 https://clauday.com/article/b80dc3db-4fc8-45ef-8d45-36223640097c
评论