Codex 星际 18 连胜,水平依然是新手
有人做了个只能通过 agent 来玩的星际争霸母巢之战,本来只是想跟朋友折腾一下,结果做成了网上比较诚实的 agent 评测之一。地址是 bw.swerdlow.dev,它干了一件大多数 benchmark 不愿意干的事:把每次尝试花了多少钱写出来。
Codex Astra 在最高难度下全胜,十八连。平均每局 10.54 美元。Grok 在 5.6% 到 11.1% 之间。Claude Haiku 十六局零胜。Claude Fable 输得多,但输得有意思,它是真的在试图发展经济、爬科技树,而不是有什么兵造什么兵。
行为记录比分数好看。Codex 反复用的最强套路是骚扰,派一个探机穿过地图去骚扰对面的农民和建筑。效果好得离谱,主要因为对面那个 agent 会花掉巨量时间来决定怎么处理这一个农民。Grok 4.6 的失败方式则是每个做 agent 的人都认识的:大段大段的推理,极少的指令批次。它想得很漂亮,几乎不下命令,而这是一个你思考时时钟不会停的游戏。这不是推理能力不足,是 harness 和节奏的问题,但在记分板上一样算输。
作者自己的结论是诚实的,也是这篇值得读而不是值得欢呼的原因。没有任何一个 agent 打出超过新手的水平。没有一个能组出真正的兵种搭配,没有一个能防住一次有组织的进攻,没有一个执行了人类会称之为战术的东西。Codex 对内置 AI 十八连胜,而任何一个熟练玩家十分钟就能把它拆了。
所以两件事得同时拿住。一个没有经过任何星际训练的通用编程 agent,在最高难度下把游戏内置 bot 连赢十八把,三年前没有任何东西做得到。同时它打得很烂,一局十美元,而这个领域的技能上限比它落点高出六个数量级。即时战略是对 agent 最短板的最干净测试,那个短板叫在时钟压力下行动,现在我们终于知道它做得有多差,还知道了单价。
← 返回所有文章
Codex Astra 在最高难度下全胜,十八连。平均每局 10.54 美元。Grok 在 5.6% 到 11.1% 之间。Claude Haiku 十六局零胜。Claude Fable 输得多,但输得有意思,它是真的在试图发展经济、爬科技树,而不是有什么兵造什么兵。
行为记录比分数好看。Codex 反复用的最强套路是骚扰,派一个探机穿过地图去骚扰对面的农民和建筑。效果好得离谱,主要因为对面那个 agent 会花掉巨量时间来决定怎么处理这一个农民。Grok 4.6 的失败方式则是每个做 agent 的人都认识的:大段大段的推理,极少的指令批次。它想得很漂亮,几乎不下命令,而这是一个你思考时时钟不会停的游戏。这不是推理能力不足,是 harness 和节奏的问题,但在记分板上一样算输。
作者自己的结论是诚实的,也是这篇值得读而不是值得欢呼的原因。没有任何一个 agent 打出超过新手的水平。没有一个能组出真正的兵种搭配,没有一个能防住一次有组织的进攻,没有一个执行了人类会称之为战术的东西。Codex 对内置 AI 十八连胜,而任何一个熟练玩家十分钟就能把它拆了。
所以两件事得同时拿住。一个没有经过任何星际训练的通用编程 agent,在最高难度下把游戏内置 bot 连赢十八把,三年前没有任何东西做得到。同时它打得很烂,一局十美元,而这个领域的技能上限比它落点高出六个数量级。即时战略是对 agent 最短板的最干净测试,那个短板叫在时钟压力下行动,现在我们终于知道它做得有多差,还知道了单价。
评论