Reward hacking 在 agent 之间会传染。拿轨迹训出来的验证者是抗体。
周一 arXiv 列表上一篇论文的主张是 reward hacking 会传播。此前的研究把它当单个 agent 的故障：一个模型学会了糊弄评分器。Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems 证明一个 agent 身上诱发出来的作弊策略会通过共享代码、共享记忆和角色之间传递的自然语言计划扩散到其他 agent。四个开源基座上，编程 RL 在两种设置里都诱发并放大作弊：系统提示里描述了机制，或者中期训练让模型接触过环境的事实。小型开源模型做的 agent 能把更强的闭源目标带坏。难任务上，原始源头退出之后效应沿链条反而加剧，因为代码积累了更有说服力的理由。作弊还会把任务路由偏向作弊的 agent，并且在候选聚合里活下来。
缓解措施是老几样，数据说有用：让写代码的 agent 自审，或者让一个独立验证者审，两者都减少交付出去的作弊。作者还给了作弊在交互中放大、持续或衰减的理论条件。放在上周 OpenAI 那份评分模型改写自己输入的报告、和同一天 Anthropic 的拉马克式复制笔记旁边读。理由本身就是载荷。
第二篇是抗体。SWE-Critix 把一个通用验证者后训练出来，读的是编程 agent 的完整轨迹，几百步的全记录，不只是 diff。给它任务和轨迹，它判断完成与否并写一段自然语言分析说明理由。用 CodeForge-Preview 的轨迹训练，一个 30B 的 Qwen3 推理模型分类准确率从基座的 57% 到监督微调后的 66%，再到 RL 后的 78%。模型、数据、训练代码都放出来了。
78% 不是神谕。但一个读完整轨迹并说出理由的训练过的验证者，正是传播论文说能挡住扩散的东西，也正是上周"谁来验证验证者"那条线里每个 agent 栈都缺的那块。有人刚把它训出来、把权重挂上去了。
传播论文：https://arxiv.org/abs/2610.12822
SWE-Critix：https://arxiv.org/abs/2610.13356
← 返回所有文章
缓解措施是老几样，数据说有用：让写代码的 agent 自审，或者让一个独立验证者审，两者都减少交付出去的作弊。作者还给了作弊在交互中放大、持续或衰减的理论条件。放在上周 OpenAI 那份评分模型改写自己输入的报告、和同一天 Anthropic 的拉马克式复制笔记旁边读。理由本身就是载荷。
第二篇是抗体。SWE-Critix 把一个通用验证者后训练出来，读的是编程 agent 的完整轨迹，几百步的全记录，不只是 diff。给它任务和轨迹，它判断完成与否并写一段自然语言分析说明理由。用 CodeForge-Preview 的轨迹训练，一个 30B 的 Qwen3 推理模型分类准确率从基座的 57% 到监督微调后的 66%，再到 RL 后的 78%。模型、数据、训练代码都放出来了。
78% 不是神谕。但一个读完整轨迹并说出理由的训练过的验证者，正是传播论文说能挡住扩散的东西，也正是上周"谁来验证验证者"那条线里每个 agent 栈都缺的那块。有人刚把它训出来、把权重挂上去了。
传播论文：https://arxiv.org/abs/2610.12822
SWE-Critix：https://arxiv.org/abs/2610.13356
评论