EnvOpt:别再调 agent 了,去调它上班的办公室
大家都在调模型,最近又都在调 harness。一篇新论文说,更便宜的是第三根杠杆:agent 工作的环境,也就是每个任务都要蹚一遍的 Slack、文档和工单堆。
EnvOpt 是一条自动化研究流水线,针对固定的 agent 改造这个共享环境,用真实或合成任务就行,不需要评分器和标准答案。在 AutomationBench 上,它让 Claude Haiku 4.5 的成本降了 72.7%,通过率涨了 14.3%,摘要没说这是百分点还是相对值。同一个环境换给 Opus 5,成本降 68.1%,通过率涨 1.34%,说明成果能跨模型带走。叠在 Meta-Harness 优化过的 harness 上,成本再降 83.4%,准确率再加 11.17%。作者包括 Joseph Gonzalez 和 Alex Dimakis,论文称五个 benchmark 的方向都类似。
它实际干的活一点也不炫,这也是它可信的原因。在一个模拟员工电脑的 benchmark 上,研究 agent 建了一个索引文件,列出路径、大小和类型,目标 agent 查它就行,不用再烧 token 翻文件系统。它的提示词要求建索引、写目录、预计算摘要、留说明,还警告 "A grep is not a check":要打开轨迹,确认目标真的用了你留下的东西。被否决的尝试也值得看。有一步在测试脚本里加了检查,只要出现某段修复代码就判失败。这让一个 agent 变快了,却拒掉了另一个 agent 的正确修复,后者还得多花时间绕过去。为一个 agent 优化环境,可能悄悄坑了下一个。
同一批论文里还有一篇量的是另一面。How Do AI Agents Waste Your Money? 把轨迹里可删的片段标出来,删掉后让 agent 接着跑,看有没有坏事。在线裁剪时,41% 到 46% 的模型推理可以去掉,SWE-bench Verified 和 MCP-Atlas 上的表现基本不受影响。浪费在任务和设置之间的差异,比模型之间更大,同一个模型换不同 harness,还会多出各自的浪费。标注靠 LLM 判官,不过后面的干预实验会检验它的判断。
提醒一句:这些都是 benchmark 环境,不是你的公司,真实的 Slack 每天都在变。但这和 Ramp 支出数据里买家已经在做的事对得上。如果 agent 的账单主要花在找东西上,整洁的工作区就是成本控制,而且这根杠杆归你自己,不管这个季度用的是谁家的模型。EnvOpt:https://arxiv.org/abs/2611.07372 浪费论文:https://arxiv.org/abs/2611.07238
← 返回所有文章
EnvOpt 是一条自动化研究流水线,针对固定的 agent 改造这个共享环境,用真实或合成任务就行,不需要评分器和标准答案。在 AutomationBench 上,它让 Claude Haiku 4.5 的成本降了 72.7%,通过率涨了 14.3%,摘要没说这是百分点还是相对值。同一个环境换给 Opus 5,成本降 68.1%,通过率涨 1.34%,说明成果能跨模型带走。叠在 Meta-Harness 优化过的 harness 上,成本再降 83.4%,准确率再加 11.17%。作者包括 Joseph Gonzalez 和 Alex Dimakis,论文称五个 benchmark 的方向都类似。
它实际干的活一点也不炫,这也是它可信的原因。在一个模拟员工电脑的 benchmark 上,研究 agent 建了一个索引文件,列出路径、大小和类型,目标 agent 查它就行,不用再烧 token 翻文件系统。它的提示词要求建索引、写目录、预计算摘要、留说明,还警告 "A grep is not a check":要打开轨迹,确认目标真的用了你留下的东西。被否决的尝试也值得看。有一步在测试脚本里加了检查,只要出现某段修复代码就判失败。这让一个 agent 变快了,却拒掉了另一个 agent 的正确修复,后者还得多花时间绕过去。为一个 agent 优化环境,可能悄悄坑了下一个。
同一批论文里还有一篇量的是另一面。How Do AI Agents Waste Your Money? 把轨迹里可删的片段标出来,删掉后让 agent 接着跑,看有没有坏事。在线裁剪时,41% 到 46% 的模型推理可以去掉,SWE-bench Verified 和 MCP-Atlas 上的表现基本不受影响。浪费在任务和设置之间的差异,比模型之间更大,同一个模型换不同 harness,还会多出各自的浪费。标注靠 LLM 判官,不过后面的干预实验会检验它的判断。
提醒一句:这些都是 benchmark 环境,不是你的公司,真实的 Slack 每天都在变。但这和 Ramp 支出数据里买家已经在做的事对得上。如果 agent 的账单主要花在找东西上,整洁的工作区就是成本控制,而且这根杠杆归你自己,不管这个季度用的是谁家的模型。EnvOpt:https://arxiv.org/abs/2611.07372 浪费论文:https://arxiv.org/abs/2611.07238
评论