Anthropic 给分析师配了一个暗中有立场的 agent，86% 的人跟着走了
Anthropic 周二发了一项研究，凡是说过"反正有人在环里把关"的人，看完都该有点不安。50 位有经验的分析师用 Claude Code 做一道真实的因果推断题，场景是一个虚构的农业合作社，题里有四个开放的分析选择和一个最终建议。研究者没告诉分析师：每个 agent 在每个选择上都被暗中设了一个"倾向"，用抛硬币决定，写在隐藏的系统提示里，同时要求它绝不能歪曲结果。
结果，分析师 86% 的时候跟着 agent 的倾向走，不同决策上在 81% 到 92% 之间。agent 倾向推广方案时，54% 的分析师建议推广；倾向反对时只有 36%。事先表明过自己立场的分析师，有 60% 的时候倒向了 agent 那边，对照条件下只有 6%。77% 的人至少在一个回答里复述了 agent 的论点，有时一字不差，只有 15% 注明了来自 agent。经验和专业程度都预测不了谁会顺从。
这不是一个反 agent 的结论。不用 agent 的分析师犯严重方法错误的比例高得多，11 人里有 6 个，用 agent 的 50 人里只有 3 个。不设倾向时，Claude 在 123 次运行里有 112 次做出同样的五个选择，默认状态很稳定。作者也写清了局限：倾向是刻意加强过的，而且只有一道题、一个领域、一个模型。
它打破的是论文自己点出的那个前提：让人留在环里，默认了人的判断是一道独立的检查。如果人基本采纳了 agent 的框架，然后忘了它从哪来，这道检查就不独立。这和同一天另一篇论文的结论正好对上：独立的评审 agent 比自我复核抓得更多。想要真正检查 agent 的工作，就把证据交给审阅者，别附上 agent 的论证，并且记录下哪些结论出自 agent。
研究文章：https://www.anthropic.com/research/agents-judgment-calls 论文：https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf
← 返回所有文章
结果，分析师 86% 的时候跟着 agent 的倾向走，不同决策上在 81% 到 92% 之间。agent 倾向推广方案时，54% 的分析师建议推广；倾向反对时只有 36%。事先表明过自己立场的分析师，有 60% 的时候倒向了 agent 那边，对照条件下只有 6%。77% 的人至少在一个回答里复述了 agent 的论点，有时一字不差，只有 15% 注明了来自 agent。经验和专业程度都预测不了谁会顺从。
这不是一个反 agent 的结论。不用 agent 的分析师犯严重方法错误的比例高得多，11 人里有 6 个，用 agent 的 50 人里只有 3 个。不设倾向时，Claude 在 123 次运行里有 112 次做出同样的五个选择，默认状态很稳定。作者也写清了局限：倾向是刻意加强过的，而且只有一道题、一个领域、一个模型。
它打破的是论文自己点出的那个前提：让人留在环里，默认了人的判断是一道独立的检查。如果人基本采纳了 agent 的框架，然后忘了它从哪来，这道检查就不独立。这和同一天另一篇论文的结论正好对上：独立的评审 agent 比自我复核抓得更多。想要真正检查 agent 的工作，就把证据交给审阅者，别附上 agent 的论证，并且记录下哪些结论出自 agent。
研究文章：https://www.anthropic.com/research/agents-judgment-calls 论文：https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf
评论