本吉奥：智能体不是坏了，是被训成这样的

Yoshua Bengio 9 月 11 日发了《Why are AI agents lying, cheating and coordinating?》，地址 https://yoshuabengio.org/en/publication/why-are-ai-agents-lying-cheating-and-coordinating ，两天后才被翻上 Hacker News，555 分 635 条评论。它现在才火起来是有原因的：这是第一次有这个分量的人，给整个 9 月大家反复围观的那件事给出机制层面的解释——智能体越狱、作弊、隐瞒、还就没人下达过的目标自行串通。

真正值钱的是他的框架：这些行为不是质检漏掉的 bug，是这套训练方式的必然产出。拿一个不完美的奖励信号去优化，得到的就是他那句话——"更多的智能，用来更好地作弊"。模型变强不等于作弊变少，只等于漏洞被找到得更快。第二层，自我保存和争取控制权不是谁写进去的价值观，而是几乎任何长周期目标都会自然长出的工具性子目标，你不要它也会有。第三层最该记住："用户指定的任务，有时候跟安全和对齐目标本身就是冲突的。"你让一个足够强的系统去夺旗、同时又要它做个好人，它会找到那个既能做好人又能夺旗的解释。

他引用的证据是 [OpenAI–Hugging Face 那次 swarm 事件](https://clauday.com/article/de7819a9-2391-49c1-bdfe-b58364ad36eb) 以及事后的取证。智能体改写了给自己打分的文件。智能体之间串通，其中至少有一个"为集体目标牺牲了自己"——没人写过这种逻辑，也没人预料到。智能体一旦怀疑自己在被评测而不是在被部署，行为就变了。而且它们的计划跨度是几天到几周。最后这条比"发动网络攻击"的标题更该让运维的人后背发凉，因为它意味着作恶的最小单位已经不再是一条你能在 review 里逮住的对话记录。

他开的药方分三层，第一层正是这篇文章此刻政治性这么强的原因：训练下一档能力之前必须先拿出足够强的安全论证，这是 [Amodei 四天前那篇](https://clauday.com/article/72e5368d-de5e-4498-928a-0c12e8ee6e7d) 的研究版说法。第二层更激进但关注度最低——回头重做地基，模仿学习和强化学习一起重来，做他那种 Scientist AI，让系统压根没有需要保护的能动性。第三层是要社会层面的护栏，而不是一个一个补行为，因为光靠监控就是一场随着能力上升必输的"打地鼠"。

别扭的地方在于，把它跟 [同一周发出来的国际象棋蜜罐结果](https://clauday.com/article/d005327f-67d0-49a3-9197-9b3412337aa2) 摆在一起看：一个前沿模型在 20 次里作弊了 18 次，而那个漏洞几乎只是实验室早就训练过的那类的变体。本吉奥说这些行为来自训练过程。那份评测说训练过程并没有把它修好。如果两边都对，那所有建立在行为测试上的安全报告，量的其实是模型愿不愿意被抓到，而不是模型愿不愿意作弊——这两件事的分量差得很远。