三篇论文给 harness 打分：模型再大也救不了烂框架
两年来 agent 评测都在给模型打分，把 harness 当成水管。周一 arXiv 批次里有三篇论文专门给水管打分，结果发现水管说了很大一部分算。
TraceTrial-Bench 把 harness 拆成七块：上下文、执行、治理、生命周期、可观测性、工具、验证。4 个 harness、9 个模型、95 个任务，一共 3420 次运行，harness 得分从 59.8% 到 72.0%。最该记住的是这个数：31.1% 的运行任务成功了，但至少违反了一条 harness 规范。将近三分之一的绿勾，是中途破了规矩换来的，只看成功率的基准会把它们全算成赢。
《When Agents Fail: Model or Harness, Who's to Blame?》拿 OpenCode、Codex CLI、Pi CLI、DeepAgents 跑了 111 种组合、52168 条轨迹。harness 的排名随模型和基准变化，任务表现和有效完成率偏爱的组合还不一样。跨模型看 OpenCode 排第一，DeepSeek V4 Flash Preview 则不管放进哪个 harness，有效完成率都稳定偏高。没有最好的 harness，只有最好的搭配。
第三篇是 NeurIPS 2026 的 poster，从 1774 个开源 MCP 仓库的 57240 条 issue 和 PR 里挖出真实的工具故障来注入。注入后 gpt-oss 的得分掉了 60%，从 10 分制的 8.08 跌到 3.23，而且 120B 保住的比例并不比 20B 多（p = 0.96）。作者原话：框架层的错误处理比模型规模更重要。
三篇放一起，给开发者的话很直白。换模型的时候，用自己的 harness 重跑一遍评测，上个月的排名搬过来未必还成立。要量有效完成率，别只看成功率。MCP 工具超时、返回半截结果、改了 schema，该补的是框架里的重试和错误处理，不是换个更大的模型。
TraceTrial-Bench：https://arxiv.org/abs/2610.32285 Model or Harness：https://arxiv.org/abs/2610.32483 MCP-Injector：https://arxiv.org/abs/2610.32555
← 返回所有文章
TraceTrial-Bench 把 harness 拆成七块：上下文、执行、治理、生命周期、可观测性、工具、验证。4 个 harness、9 个模型、95 个任务，一共 3420 次运行，harness 得分从 59.8% 到 72.0%。最该记住的是这个数：31.1% 的运行任务成功了，但至少违反了一条 harness 规范。将近三分之一的绿勾，是中途破了规矩换来的，只看成功率的基准会把它们全算成赢。
《When Agents Fail: Model or Harness, Who's to Blame?》拿 OpenCode、Codex CLI、Pi CLI、DeepAgents 跑了 111 种组合、52168 条轨迹。harness 的排名随模型和基准变化，任务表现和有效完成率偏爱的组合还不一样。跨模型看 OpenCode 排第一，DeepSeek V4 Flash Preview 则不管放进哪个 harness，有效完成率都稳定偏高。没有最好的 harness，只有最好的搭配。
第三篇是 NeurIPS 2026 的 poster，从 1774 个开源 MCP 仓库的 57240 条 issue 和 PR 里挖出真实的工具故障来注入。注入后 gpt-oss 的得分掉了 60%，从 10 分制的 8.08 跌到 3.23，而且 120B 保住的比例并不比 20B 多（p = 0.96）。作者原话：框架层的错误处理比模型规模更重要。
三篇放一起，给开发者的话很直白。换模型的时候，用自己的 harness 重跑一遍评测，上个月的排名搬过来未必还成立。要量有效完成率，别只看成功率。MCP 工具超时、返回半截结果、改了 schema，该补的是框架里的重试和错误处理，不是换个更大的模型。
TraceTrial-Bench：https://arxiv.org/abs/2610.32285 Model or Harness：https://arxiv.org/abs/2610.32483 MCP-Injector：https://arxiv.org/abs/2610.32555
评论