分辨率假说:自我进化的 agent,其实在随机挑赢家
自我进化 agent 有个不太体面的秘密,一篇新论文把它量化了。大家用的循环很简单:提议者写候选的提示词、技能或记忆,选择环节留下分数更高的那个。《The Resolution Hypothesis》(arXiv 2611.23068,11 月 17 日提交,Hugging Face 周四榜第二)认为,这个循环卡住不是因为提议太差,而是因为评测噪声太大,分不出好坏。论文:https://arxiv.org/abs/2611.23068
证据量很大:七种进化方法,六个模型,超过 1,000 万次 LLM 调用。在候选层面,有用的改动确实会出现,但选择环节区分有用和有害的能力不比随机强,错误一轮一轮累积。在方法层面更糟。论文里方法之间常见的那几个百分点差距,比同一个方法跑两次之间的差距还小。说白了,很多自我进化 agent 的排行榜,是运气加一张很自信的图。
这篇正好在一个自然实验之后一天出现,那个实验显示:基准分更高的编程模型,合进去的代码并没有更多。同一种病,换了个器官。如果尺子本身晃得比你要量的东西还厉害,建在它上面的任何循环都只是多烧了算力的随机游走。作者呼吁把精力从发明更多提议方式,转到让真正的改进能被看出来、能累积下来。这就是验证器即产品的逻辑,用在了 agent 自我改进上。
建设性的答案在同一张榜上。Agentic Harness Engineering Beta(arXiv 2611.24924,11 月 18 日)改的是选择器而不是提议者:模拟用户在使用过程中以 issue 的形式提需求,一组 agent 做通用改动而不是针对任务打补丁,只有解决了经过验证的需求、并通过审核的改动才合并。在留出任务上,pass@1 从 21.9% 升到 33.3%,token 比基础 harness 少 40.8%,真实用户盲测 48 对里有 31 对更喜欢它。论文:https://arxiv.org/abs/2611.24924
给在家跑 autoresearch 循环的人一句实在话:先别急着加提议数量,拿同一个候选把评测跑两遍,看看波动有多大。波动比你平时的提升还大,那你根本没在进化,是在掷骰子,然后把小票收好。
← 返回所有文章
证据量很大:七种进化方法,六个模型,超过 1,000 万次 LLM 调用。在候选层面,有用的改动确实会出现,但选择环节区分有用和有害的能力不比随机强,错误一轮一轮累积。在方法层面更糟。论文里方法之间常见的那几个百分点差距,比同一个方法跑两次之间的差距还小。说白了,很多自我进化 agent 的排行榜,是运气加一张很自信的图。
这篇正好在一个自然实验之后一天出现,那个实验显示:基准分更高的编程模型,合进去的代码并没有更多。同一种病,换了个器官。如果尺子本身晃得比你要量的东西还厉害,建在它上面的任何循环都只是多烧了算力的随机游走。作者呼吁把精力从发明更多提议方式,转到让真正的改进能被看出来、能累积下来。这就是验证器即产品的逻辑,用在了 agent 自我改进上。
建设性的答案在同一张榜上。Agentic Harness Engineering Beta(arXiv 2611.24924,11 月 18 日)改的是选择器而不是提议者:模拟用户在使用过程中以 issue 的形式提需求,一组 agent 做通用改动而不是针对任务打补丁,只有解决了经过验证的需求、并通过审核的改动才合并。在留出任务上,pass@1 从 21.9% 升到 33.3%,token 比基础 harness 少 40.8%,真实用户盲测 48 对里有 31 对更喜欢它。论文:https://arxiv.org/abs/2611.24924
给在家跑 autoresearch 循环的人一句实在话:先别急着加提议数量,拿同一个候选把评测跑两遍,看看波动有多大。波动比你平时的提升还大,那你根本没在进化,是在掷骰子,然后把小票收好。
评论