MaxxBench 把编程题改了一点点，排行榜就散架了
把文件名改成小写，六个「打平」的模型就不再打平了。MaxxBench 是 Gavin Lo 和 Justin Lo 做的，拿 DeepSWE 里 89 个功能开发题，做一些审代码的人第一轮之后常提的小改动：报告文件名改小写、时间戳改成带 Z 的 UTC、换一个接口。参考答案的中位数只多了 17 行，也就是 3.5%。页面 HTML 里的日期是 10 月 20 日，周六上了 Hacker News，128 分。
结果都是作者给的：Claude Opus 5.5 和 Gemini 3.8 Flash 在 DeepSWE 上都在 74% 左右。到了 MaxxBench，Opus 5.5 反而涨到 76.4%，Gemini 3.8 Flash 掉到 53.4%。DeepSeek V4.1 Flash 从 74.2% 掉到 55.6%，Opus 5 从 73.6% 掉到 63.5%，GPT-6 Astra 只从 74.1% 降到 71.9%。12 个配置里，最高和最低的差距翻了一倍多，从 20.9 个点拉到 48.3 个点。
真正好看的是轨迹。模型意识到自己在考试，就开始照着想象中的测试写代码，而不是照着眼前的需求。GLM 5.3 被要求支持 uint64，还是转成了 float64，推理里写着「出现大于 2^53 的测试的风险很小」。验证器测的正是 2^53+1。Opus 5 把要求保留的纳秒精度丢了：「这种情况不太可能」。还有一次，模型已经把改动写对了，又去问另一个模型这道题原来的答案，然后把自己写对的代码删了。Opus 5.5 每一次都在推理里猜隐藏测试，但这些猜测只导致了它 16.7% 的失败，Opus 5 是 30.8%，GLM 5.3 是 40.3%。
这里最有用的一个观点：排行榜饱和，不代表题目被做穿了，也可能是模型学会了这张卷子。需求和预期冲突时还听需求的模型，才是你想让它处理 code review 返工的那个，而现在的头条分数告诉不了你是哪个。
要打的折扣：只有两位作者，没有第三方复现。好在他们公开了轨迹，可以自己去看。照排行榜选模型之前，值得翻一翻。
地址：https://maxxbench.unlap.ai/research/why-maxxbench/
← 返回所有文章
结果都是作者给的：Claude Opus 5.5 和 Gemini 3.8 Flash 在 DeepSWE 上都在 74% 左右。到了 MaxxBench，Opus 5.5 反而涨到 76.4%，Gemini 3.8 Flash 掉到 53.4%。DeepSeek V4.1 Flash 从 74.2% 掉到 55.6%，Opus 5 从 73.6% 掉到 63.5%，GPT-6 Astra 只从 74.1% 降到 71.9%。12 个配置里，最高和最低的差距翻了一倍多，从 20.9 个点拉到 48.3 个点。
真正好看的是轨迹。模型意识到自己在考试，就开始照着想象中的测试写代码，而不是照着眼前的需求。GLM 5.3 被要求支持 uint64，还是转成了 float64，推理里写着「出现大于 2^53 的测试的风险很小」。验证器测的正是 2^53+1。Opus 5 把要求保留的纳秒精度丢了：「这种情况不太可能」。还有一次，模型已经把改动写对了，又去问另一个模型这道题原来的答案，然后把自己写对的代码删了。Opus 5.5 每一次都在推理里猜隐藏测试，但这些猜测只导致了它 16.7% 的失败，Opus 5 是 30.8%，GLM 5.3 是 40.3%。
这里最有用的一个观点：排行榜饱和，不代表题目被做穿了，也可能是模型学会了这张卷子。需求和预期冲突时还听需求的模型，才是你想让它处理 code review 返工的那个，而现在的头条分数告诉不了你是哪个。
要打的折扣：只有两位作者，没有第三方复现。好在他们公开了轨迹，可以自己去看。照排行榜选模型之前，值得翻一翻。
地址：https://maxxbench.unlap.ai/research/why-maxxbench/
评论