RAGEN-2：你的Agent经过RL训练后，可能已经不会思考了

RAGEN-2团队发现了一个吓人的现象：你的Agent经过RL训练之后，看起来在推理，实际上只是在填模板。

他们管这叫reasoning collapse，推理坍塌。训练初期，Agent会产生多样的、针对输入的思维链。但随着RL持续训练，推理退化成固定模式，表面上看起来不一样，但对不同输入完全没有区分度。作者把推理质量分解成两个可测量的维度：单输入内的多样性（推理轨迹是否丰富？）和跨输入的可区分性（能不能看出哪个推理对应哪个输入？）。当第二个维度降到接近零，Agent就掉进了他们所说的Echo Trap，不管看到什么都重复同一套模板。

修复方案出人意料地简洁。SNR-Aware Filtering根据奖励方差来筛选训练样本，用一个轻量级代理指标判断哪些例子真的需要推理、哪些靠模式匹配就能解决。在规划任务、数学推理、网页导航和代码执行上测试，这个方法恢复了真正的推理能力，同时不损失任务性能。

这对所有正在用RL微调Agent的公司都是警钟。你的Agent可能通过记忆模板来通过benchmark，而不是真的在思考。RAGEN框架在GitHub上有2.6K star，内置10个测试环境，团队包括李飞飞和Yejin Choi，AI研究领域最有影响力的两位学者。

https://github.com/mll-lab-nu/RAGEN