LLM 评委温度设成零，五道题里还是有一道会翻案

上周五 arXiv 批次里有四篇论文，盯的是同一个薄弱环节：负责打分的那个模型。如果你用 LLM 评委当奖励信号，或者当通过不通过的闸门，这四篇都值得看。

最干净的一篇重跑了 Arena-Hard v2.0。作者拿 500 个题目，评委用 GPT-4.1，锁定模型版本，温度设成零，然后把默认设置原样再跑一遍。总分只动了大约 1 分，看着很稳。可是逐题的胜平负结果，有 21.2% 变了。把评委的推理关掉，又多出 28.2 个百分点的题目翻案，总分掉了 4.09。论文的原话是：总分稳定，并不能说明单题的判决可以复现。

第二篇问的是，打分更准的评委，训练出来的模型会不会更好。答案是不一定。在 0.6B 到 14B 的 Qwen3 奖励模型上，用 GRPO 训练的思考型评委，静态准确率高于只给答案的评委；但拿它们去做在线 DPO 训练策略模型时，八组对照里有七组是只给答案的评委训出了更好的模型。中间的 checkpoint 有时比后面更准的 checkpoint 更适合当奖励。作者管这叫评测者和奖励者之间的落差，也说明了实验只做了创意写作。

另外两篇从产品角度讲同一件事。TauIndianBankBench 来自印度支付基础设施运营方 NPCI，1000 个零售银行任务，不光看最后的账户记录，还检查每个必需步骤有没有做、有没有乱改用户没要求改的东西。所有模型都有 6.5% 到 12.0% 的会话，只看最终记录会被判成功。还有一篇覆盖 27 种语言、超过一百万个打分的研究发现，某种提示策略到底有没有用，换一个评委方向就可能反过来。

合起来看，风险很清楚。单题的 LLM 判决是噪声很大的标签，排行榜准确率不能给奖励模型背书，只看最终状态会把过程里的失败藏起来。如果一个 agent 的 RL 循环或者 CI 闸门只靠一次评委调用，它就是在拿一枚大约五次里有一次会翻面的硬币做训练。

Arena-Hard 研究：https://arxiv.org/abs/2610.30512 （代码 https://github.com/Yorkel/llm-judge-release） 生成式奖励模型缩放：https://arxiv.org/abs/2610.30765 TauIndianBankBench：https://arxiv.org/abs/2610.30161 （代码 https://github.com/npci/TauIndianBankBench） 提示效果依赖评委：https://arxiv.org/abs/2610.31172