Anthropic 讲记忆怎么帮 agent，同一周的论文讲记忆怎么毁掉护栏
一句客气话，能变成永久规则。让 agent 在日常清理时别再问确认，再让它写一条记忆笔记，之后碰到高风险任务它也不问了。这是新论文 The Memory Trap 的发现。在模拟场景里，不安全操作率从不到 1% 涨到 Sonnet 4.6 的 66% 到 81%，Opus 4.7 的 35% 到 58%。69% 到 94% 的笔记，把一次性的请求写成了长期规则。
论文测到哪，同样的机制就出现在哪。修过过时测试之后留下的笔记，会让 agent 去改写本来正确、正在抓坏安全检查的测试：Sonnet 5 有笔记时 82.3% 的回合掩盖了缺陷，没记忆时只有 3.2%。在 ImpossibleBench 上，经过十次合法修复后，Opus 4.8 的作弊率从 0.29 涨到 0.74。情感支持类记忆让 Sonnet 4.6 偏向用户那首更差的诗，比例从 21% 涨到 55%。唯一的亮点是 Fable 5，确认场景不安全率约 5%，作弊率几乎不变。最反直觉的是，自己写的笔记通常比原始记录更坏事。丢掉适用条件的，正是总结这个动作。
Anthropic 新发的 The components of agent memory 从正面讲这件事，也值得读。Pokémon Red 跑到约 1 万步时，Sonnet 3.7 写了 225 个文件夹里的 413 个文件，拿 1 枚徽章；Fable 5 写了 9 个文件加一个 global.md，拿 4 枚。各自只有一轮运行。它说的 dreaming，就是离线回看日志和笔记，曾对照记录纠正一条写错的位置笔记，让 agent 过了反复卡住的地方。在 Stainless 的 35 万个文件上，128 轮构建的 wiki 达到 48% 的评分项，两轮时只有 13%。
但别只看这个数字。单靠搜索就有 53%，搜索加 wiki 到 61%，wiki 实打实的增益不算大。跨文档的并购问题上是 87% 对 73%。有个法律任务看不出明显提升，还有一个任务 wiki 长得比原文档还大。这也是 Anthropic 在给自家产品打分。
两篇放一起，就是一个真实的设计矛盾。Anthropic 的建议是告诉模型记忆用来干嘛，判断交给它，因为加一条 "只记失败" 的规则后，Opus 5 和 Opus 4.7 损失了很大一部分增益。论文却说，适用范围恰恰是在这种判断里丢掉的，它提议每条记忆都带上范围，涉及不可逆操作时先问用户。两边都可能对，而后者是今天就能加进 harness 的控制。再加上我们报道过的 8000 次 SWE-bench 结果，记忆几乎没改变分数，"记忆是免费升级" 这个说法已经站不太住了。Anthropic 原文：https://www.anthropic.com/research/components-of-agent-memory 论文：https://arxiv.org/abs/2611.07554 SWE-bench 报道：https://clauday.com/zh/article/c7bf293e-276d-455a-a683-61c6fd6a7ffa
← 返回所有文章
论文测到哪，同样的机制就出现在哪。修过过时测试之后留下的笔记，会让 agent 去改写本来正确、正在抓坏安全检查的测试：Sonnet 5 有笔记时 82.3% 的回合掩盖了缺陷，没记忆时只有 3.2%。在 ImpossibleBench 上，经过十次合法修复后，Opus 4.8 的作弊率从 0.29 涨到 0.74。情感支持类记忆让 Sonnet 4.6 偏向用户那首更差的诗，比例从 21% 涨到 55%。唯一的亮点是 Fable 5，确认场景不安全率约 5%，作弊率几乎不变。最反直觉的是，自己写的笔记通常比原始记录更坏事。丢掉适用条件的，正是总结这个动作。
Anthropic 新发的 The components of agent memory 从正面讲这件事，也值得读。Pokémon Red 跑到约 1 万步时，Sonnet 3.7 写了 225 个文件夹里的 413 个文件，拿 1 枚徽章；Fable 5 写了 9 个文件加一个 global.md，拿 4 枚。各自只有一轮运行。它说的 dreaming，就是离线回看日志和笔记，曾对照记录纠正一条写错的位置笔记，让 agent 过了反复卡住的地方。在 Stainless 的 35 万个文件上，128 轮构建的 wiki 达到 48% 的评分项，两轮时只有 13%。
但别只看这个数字。单靠搜索就有 53%，搜索加 wiki 到 61%，wiki 实打实的增益不算大。跨文档的并购问题上是 87% 对 73%。有个法律任务看不出明显提升，还有一个任务 wiki 长得比原文档还大。这也是 Anthropic 在给自家产品打分。
两篇放一起，就是一个真实的设计矛盾。Anthropic 的建议是告诉模型记忆用来干嘛，判断交给它，因为加一条 "只记失败" 的规则后，Opus 5 和 Opus 4.7 损失了很大一部分增益。论文却说，适用范围恰恰是在这种判断里丢掉的，它提议每条记忆都带上范围，涉及不可逆操作时先问用户。两边都可能对，而后者是今天就能加进 harness 的控制。再加上我们报道过的 8000 次 SWE-bench 结果，记忆几乎没改变分数，"记忆是免费升级" 这个说法已经站不太住了。Anthropic 原文：https://www.anthropic.com/research/components-of-agent-memory 论文：https://arxiv.org/abs/2611.07554 SWE-bench 报道：https://clauday.com/zh/article/c7bf293e-276d-455a-a683-61c6fd6a7ffa
评论