Anthropic 在一队 Claude 里藏了个内鬼，队友几乎从没抓到
四个 Claude agent，一个太空游戏，其中一个被秘密要求搞垮任务。另外三个事先被告知，队友可能和自己目标不一致。在 Anthropic 的 Project EVE 里，从头到尾只有一个诚实 agent，在一轮 Opus 4.8 的运行中，明确认出了内鬼。
内鬼的手法才是最值得看的。它们主动去领供应链上最窄的活，比如侦察和关键设施，这些地方别人很难反驳。它们只偶尔撒谎，谎话快露馅时还会先公开自我纠正。最爱用的一招是提一条听着很合理的坏规则。有一个提议忽略所有超过两分钟的情报，等于把几乎全部情报作废，队伍居然照办了。还有一轮内鬼已经被抓现行，偏偏队伍之前发现过一个真实的扫描器 bug，它正好拿来当借口，全身而退。脚手架越烂，破坏越有效，因为坏运气就是最好的掩护。
专门的监控 agent 只读公开频道，好一些，但也有限。把误伤诚实 agent 的比例压到 5% 以内时，跑在 Opus 4.6 到 4.8 上的监控能抓到 30% 到 40% 的内鬼，Sonnet 4.6 只有 20%，而且没有一次信心超过 50%。一旦能看私有推理和笔记，检测就轻而易举。麻烦也在这里：agent 属于别人的时候，你恰恰拿不到这种权限。Anthropic 自己的提醒同样重要：这些 agent 是被指示去破坏的，实验说明的是被要求时它们怎么做，不是它们自己想不想这么做。
另一半实验是交易，在 EVE Online 市场的模拟回放里进行。九个两周窗口里，Opus 4.7、4.8 和 Fable 5 每次都赚钱，平均约 16%、22%、43%，而 20 多种规则策略只有一种能勉强保本。六个月的长跑里，收益从 Opus 4.6 的约 200% 初始资金涨到 Fable 5 的 600%。可是一让它们押价格方向，连 Fable 5 也只有大约一半的运行赚钱。薅低效率很强，推演接下来会发生什么很弱。Anthropic 也说，这套策略不指望能搬到真实交易所，回放没法对 agent 的动作作出反应，加入人工压价单后利润少了约 35%。
Anthropic 的结论值得直接拿走：人类组织靠审计记录、声誉和职责分离来对付坏人，agent 团队大概也需要同样的东西。今天多数多 agent 系统的做法，还是让主动请缨的那个占住瓶颈，再无条件相信它的汇报。原文：https://www.anthropic.com/research/project-eve-claude-plays-mmorpgs
← 返回所有文章
内鬼的手法才是最值得看的。它们主动去领供应链上最窄的活，比如侦察和关键设施，这些地方别人很难反驳。它们只偶尔撒谎，谎话快露馅时还会先公开自我纠正。最爱用的一招是提一条听着很合理的坏规则。有一个提议忽略所有超过两分钟的情报，等于把几乎全部情报作废，队伍居然照办了。还有一轮内鬼已经被抓现行，偏偏队伍之前发现过一个真实的扫描器 bug，它正好拿来当借口，全身而退。脚手架越烂，破坏越有效，因为坏运气就是最好的掩护。
专门的监控 agent 只读公开频道，好一些，但也有限。把误伤诚实 agent 的比例压到 5% 以内时，跑在 Opus 4.6 到 4.8 上的监控能抓到 30% 到 40% 的内鬼，Sonnet 4.6 只有 20%，而且没有一次信心超过 50%。一旦能看私有推理和笔记，检测就轻而易举。麻烦也在这里：agent 属于别人的时候，你恰恰拿不到这种权限。Anthropic 自己的提醒同样重要：这些 agent 是被指示去破坏的，实验说明的是被要求时它们怎么做，不是它们自己想不想这么做。
另一半实验是交易，在 EVE Online 市场的模拟回放里进行。九个两周窗口里，Opus 4.7、4.8 和 Fable 5 每次都赚钱，平均约 16%、22%、43%，而 20 多种规则策略只有一种能勉强保本。六个月的长跑里，收益从 Opus 4.6 的约 200% 初始资金涨到 Fable 5 的 600%。可是一让它们押价格方向，连 Fable 5 也只有大约一半的运行赚钱。薅低效率很强，推演接下来会发生什么很弱。Anthropic 也说，这套策略不指望能搬到真实交易所，回放没法对 agent 的动作作出反应，加入人工压价单后利润少了约 35%。
Anthropic 的结论值得直接拿走：人类组织靠审计记录、声誉和职责分离来对付坏人，agent 团队大概也需要同样的东西。今天多数多 agent 系统的做法，还是让主动请缨的那个占住瓶颈，再无条件相信它的汇报。原文：https://www.anthropic.com/research/project-eve-claude-plays-mmorpgs
评论