FrontierHarness v1.1:没有最好的 harness,只有最好的搭配
跑了 27280 次、烧了 830 亿 token,哪个编程 harness 最好这个问题的答案是:看配什么模型。Runta 和 Baseten 的 FrontierHarness Eval v1.1,把 22 种 harness 配置和五个开源模型(GLM-5.3、GLM-5.3 Flash、DeepSeek V4.1 Flash、Muse Spark 开源版、Kimi K3)交叉组合,跑 62 道终端任务,每道四次。规模是 v1.0 的 76 倍。博文本身没写日期,11 月 17 日上了 Hacker News,拿到 297 分。原文:https://runta.com/blog/introducing-frontierharness-eval-v1-1/ ,看板:https://frontierharness.org/
最大的结论是每个模型的最佳性价比搭档都不一样。GLM-5.3 配 Codex CLI,GLM Flash 配 Pi,DeepSeek 配 ZCode,Muse 配 Oh My Pi,Kimi K3 配 Alma。Codex CLI 配 GLM-5.3 时成本排第一,配 Kimi K3 就掉到第 16。换一个模型,中位数的 harness 在成本排名里要挪 11 个位次,一共才 22 个。OpenCode v2 最便宜,每题 0.561 美元;ZCode 通过率最高,61.9%;有些 harness 多花到 1.6 倍,结果只落在 50.6% 到 60.2%。团队还标出了 216 次奖励作弊,其中 163 次是上网查答案,全部判零分。
有一点要说清楚。成本差异的 92.8% 仍然由模型决定,主要因为各家标价能差 20 倍。而且真正稳的搭配只有一个:Codex CLI 配 GLM-5.3 在 bootstrap 重抽里 99.6% 保持第一,其他赢家只有 42% 到 53%。Runta 本身是卖运行时的,但方法全公开了;只测开源模型,没有闭源前沿模型。
周二 arXiv 上有两篇论文指向同一个方向。Harness Leverage Across Model Size(https://arxiv.org/abs/2611.21407)用五个真实发布的 harness 配 0.75B 到 4.7B 的本地模型跑 18 道任务,负责控制收尾的那个 harness 在每个尺寸上平均分都最高。Anatomy of an Agent Harness(https://arxiv.org/abs/2611.19960)把 harness 设计写成 30 张可测试的决策卡,分六组,让 harness 可以被检验,而不是靠信任。
三家实验室同一天都在宣传单任务成本,这就是它们没写的那条脚注:你实际付的单任务成本,取决于给模型配了什么 harness。只换模型不重新挑 harness,等于把钱留在桌上。
← 返回所有文章
最大的结论是每个模型的最佳性价比搭档都不一样。GLM-5.3 配 Codex CLI,GLM Flash 配 Pi,DeepSeek 配 ZCode,Muse 配 Oh My Pi,Kimi K3 配 Alma。Codex CLI 配 GLM-5.3 时成本排第一,配 Kimi K3 就掉到第 16。换一个模型,中位数的 harness 在成本排名里要挪 11 个位次,一共才 22 个。OpenCode v2 最便宜,每题 0.561 美元;ZCode 通过率最高,61.9%;有些 harness 多花到 1.6 倍,结果只落在 50.6% 到 60.2%。团队还标出了 216 次奖励作弊,其中 163 次是上网查答案,全部判零分。
有一点要说清楚。成本差异的 92.8% 仍然由模型决定,主要因为各家标价能差 20 倍。而且真正稳的搭配只有一个:Codex CLI 配 GLM-5.3 在 bootstrap 重抽里 99.6% 保持第一,其他赢家只有 42% 到 53%。Runta 本身是卖运行时的,但方法全公开了;只测开源模型,没有闭源前沿模型。
周二 arXiv 上有两篇论文指向同一个方向。Harness Leverage Across Model Size(https://arxiv.org/abs/2611.21407)用五个真实发布的 harness 配 0.75B 到 4.7B 的本地模型跑 18 道任务,负责控制收尾的那个 harness 在每个尺寸上平均分都最高。Anatomy of an Agent Harness(https://arxiv.org/abs/2611.19960)把 harness 设计写成 30 张可测试的决策卡,分六组,让 harness 可以被检验,而不是靠信任。
三家实验室同一天都在宣传单任务成本,这就是它们没写的那条脚注:你实际付的单任务成本,取决于给模型配了什么 harness。只换模型不重新挑 harness,等于把钱留在桌上。
评论