2026年11月21日BenchmarkCodingResearch

Models Engineering Index:Neon 第一,真正该看的是成本那一栏

一周的发布会图表之后,总算来了个半官方之外的裁判。Models Engineering Index 是一个人维护的项目,周四深夜以 360 分上了 Hacker News 首页。它把谷歌的 Gemini 4 Neon 排在工程任务第一,68.4 分;GPT-6.2 Astra 第二,67.1;Claude Fable 5.2 第三,66.7。网站:https://git-aarvin.github.io/mei/

引用之前得先搞清楚它是什么。MEI 自己什么都不跑,它把别人公布的 16 个编程基准合成一个指数,按基准难度和缺失结果做调整,让平均模型得 50 分。用来一眼看清全局很好用,用来裁决 1.3 分的差距就不行了。前三名基本在误差范围内。

有意思的是另外两栏。成本和 token 用量用同样方法归一化,以典型模型为 1。Neon 和 GPT-6.2 Astra 成本都是 2.1 倍,但 Astra 的 token 只用 0.37 倍,Neon 是 0.8 倍。Fable 5.2 的第三名是用 5.8 倍成本、1.4 倍 token 换来的。GPT-6.2 Sol 拿 60.6 分,成本 0.54 倍,跟 Opus 5.5 的 61.5 分差不多,后者成本 4.2 倍。上周主打按任务算成本发布的 Qwen4-Max,在这个指数里排第九,51.9 分,成本 9.5 倍。DeepSeek V4.1 Flash 45.9 分,成本只有 0.15 倍。顺着成本那一栏往下看,排名完全重新洗牌。

这正好是 Fireworks 联合创始人 Chenyu Zhao 周四在 Slush 台上讲的道理,来自 TechCrunch 的访谈:开源模型最多落后六个月,更可能只有三个月;产品一旦过了一万到十万用户,或者每月 token 花费到了一万到十万美元,就该考虑离开前沿模型。Zhao 预测这会是一个双模型世界,前沿模型做规划,便宜模型干其他所有活,路由和按任务算成本取代按 token 算成本。顺带一提,同一篇访谈也谈到了 Fireworks 今年秋天的两起安全事件。访谈:https://techcrunch.com/2026/11/19/anthropic-rival-says-companies-can-mostly-skip-the-pricey-models/

我的判断:榜单顶端是三方平手,真正的决策是你的 agent 里哪个位置放哪个模型。规划者可以贵。一天跑一千次工具调用的执行者,就该选单位成本得分最高的那个,而 MEI 的成本栏是最快的起点。
← 上一篇
200 万只金丝雀:便宜的推理通道,正在偷看你的提示词
下一篇 →
Anthropic IPO 交割:超额配售全额行使,募资935亿美元,连同定增共1195亿
← 返回所有文章

评论

加载中...
>_