2026年10月22日CodingAgentsBenchmark

Devin Fusion 把 Opus 5.5 和 GPT-6 Luna 绑在一起,单任务便宜三成还赢了 Opus 5.5 版 Claude Code

Cognition 在 10 月 19 日深夜发布了 Devin Fusion:Opus 5.5 当主力,GPT-6 Luna 当便宜的副手干脏活。Artificial Analysis 10 月 21 日做了独立测试,数字站得住。Devin Fusion 在 AA 编程 agent 指数上拿到 68.1,跟 Sonnet 5.5 版 Claude Code 的 68.4、Muse Wonder Full 版 Muse Code 的 68.0 基本并列第一。和 Opus 5.5 版 Claude Code 的 66.0 比,单任务成本 9.01 美元对 13.04 美元,平均耗时 55 分钟对 65 分钟。指数:https://artificialanalysis.ai

看清楚排的是什么。前三名分别是 Claude 的 harness、Meta 的 harness 和 Cognition 的 harness,而 Cognition 那个把两家对手实验室的模型混在一起用。分数属于这个组合和路由逻辑,不属于任何一个模型。AA 的分项:Fusion 在 DeepSWE v1.1 上领先,72.6% 对 68.4%;在 Terminal-Bench 4.0 上略输,62.1% 对 63.1%。便宜副手在终端任务上让掉一分,换回三分之一的账单。

同一周,这种混搭的水管在云厂商层面也铺好了。OpenAI 宣布前沿模型和 Codex agent 工作流将上架谷歌云 Vertex Model Garden,可以抵扣现有的 GCP 承诺消费,而且很快会进入 Google Antigravity 和 Gemini Agent,也就是谷歌自家的 agent harness。OpenAI 还补了一句,微软依然是首要云伙伴。链接:https://openai.com/index/openai-models-google-cloud/

一年前大家争的是押哪家的模型。现在谷歌的 harness 要跑 OpenAI 的模型,Cognition 的 harness 同时跑 Anthropic 和 OpenAI,指数第一是谁路由得最好。对模型的忠诚正在变成一行成本,真正的切换成本在 harness 里。
← 上一篇
LiteLLM 1.107.0 在 PyPI 上被投毒,开门的 token 是从编程 agent 的日志里漏出来的
下一篇 →
一天三篇论文说逐个审批守不住 agent,其中一篇用数学证明了
← 返回所有文章

评论

加载中...
>_