这篇论文说，大家在LLM强化学习里一直在优化错的那个policy

阿里淘宝那边的一个团队甩出一篇论文，标题很不客气：优化训练policy是一场幻觉。它的说法是，在LLM的强化学习里，我们一直在优化错的东西。训练的时候，模型的概率来自训练引擎；部署的时候，来自另一个推理引擎，这俩对不上。于是你可以把训练policy一路往上推，而你真正上线的那个东西，推理policy，几乎不动，甚至更差。你优化的是一个数，但不是那个真正该优化的数。

他们的解法是一个叫MIPU的方法，Monotonic Inference Policy Update，单调推理策略更新。它不再迷信训练侧的梯度，而是构造以采样器为参照的候选更新，只接受那些一个廉价的推理侧代理判断确实会让部署模型变好的更新。目标是让你部署的那个policy单调变好，而不是你训练的那个。他们展示这能稳住训练，并在不同规模的模型上提升推理表现。这是HuggingFace每日论文榜现在的第一名，140个赞。

你不训模型为什么也要关心。这个训练与推理的错位，是强化学习跑着跑着就炸、或者莫名其妙卡住的隐形原因之一，过去大家基本把它当成一个工程上的小麻烦，糊一糊过去。把它重新定义成真正的优化目标，说这个错位本身就是整场游戏、这里是穿过它去优化的办法，这种动作会改变下一代agent强化学习配方的写法。要是它站得住，很多团队追的是错的loss。链接：arxiv.org/abs/2606.29526