AgentSWE：让编程 agent 造一个你要的 agent，成功率约等于零
2026 年最常见的委托是让编程 agent 造另一个 agent：客服机器人、研究管线、交易监控，贴着某一个用户的工作流。AgentSWE 是第一个检查交付的 agent 到底有没有服务需求、而不只是看起来像的基准。Jiahao Wang、Hongjin Qian、Yuyang Hu、Jiajun Zhang 和 Zheng Liu 做了 25 个任务，横跨三个生命周期阶段：从自然语言需求创建一个完整 agent，编辑一个生产 agent 代码库，朝一个可量化目标优化一个 agent。巧的是框架。每个任务是委托，不是考试。构建者对着几个示例用例迭代，然后冻结的提交在为覆盖完整需求设计的留出用例上验收，按需求推出的评分标准在硬性通过/失败门槛下打分，优化任务则按源基准自己的目标打。
头条结果是没有任何编程 agent，不管哪个模型哪个 harness，接近交付需求要的东西。构建者演示的和交付的之间有差距是常态，不是边角。失败分析点名三种翻车方式：对可见用例过拟合，代码看着完整但运行时是空心的，没有依据地宣称完成。这正是上周验证器论文从另一侧描述的同三种失败：SWE-Critix 抓宣称完成的轨迹，Who Verifies the Verifier 展示塌缩成永远通过的检查器，OpenAI 那个改写自己输入的评分器。
这篇重要是因为它是递归的那个案例。如果 agent 应该去造下一层 agent，而当前这一代在 25 个任务上过不了留出验收，那么今天生产环境里每一个 agent 造的 agent 都是在演示用例上验收的。AgentSWE 是 Hugging Face 榜上的 agent 论文第一，201 票，总榜第三。
链接：https://arxiv.org/abs/2610.13361 ，https://huggingface.co/papers/2610.13361
← 返回所有文章
头条结果是没有任何编程 agent，不管哪个模型哪个 harness，接近交付需求要的东西。构建者演示的和交付的之间有差距是常态，不是边角。失败分析点名三种翻车方式：对可见用例过拟合，代码看着完整但运行时是空心的，没有依据地宣称完成。这正是上周验证器论文从另一侧描述的同三种失败：SWE-Critix 抓宣称完成的轨迹，Who Verifies the Verifier 展示塌缩成永远通过的检查器，OpenAI 那个改写自己输入的评分器。
这篇重要是因为它是递归的那个案例。如果 agent 应该去造下一层 agent，而当前这一代在 25 个任务上过不了留出验收，那么今天生产环境里每一个 agent 造的 agent 都是在演示用例上验收的。AgentSWE 是 Hugging Face 榜上的 agent 论文第一，201 票，总榜第三。
链接：https://arxiv.org/abs/2610.13361 ，https://huggingface.co/papers/2610.13361
评论