8000 次 SWE-bench：agent 记忆系统对解题率的影响不到半个点
做记忆的创业公司又多了一个尴尬的数字。一篇叫《Delivered, Not Used》的论文 MemUse，把 8000 次 SWE-bench Verified 任务跑过三个记忆系统，解题率和不带记忆的基线只差 0.4 个点以内。
拆开看才有意思。送进去的记忆大多不相关，相关的大多没被用，有两个系统送的内容大多只是在复述 agent 还看得见的东西。结果跟记忆的关系也很弱：记忆起了好作用的任务里 23.2% 照样失败，起了坏作用的 16 个里还有 5 个成功。行业都在比检索质量，但检索看起来量错了地方。瓶颈在模型拿到之后有没有用。SWE-bench 是个窄领域，任务也大多一次性，所以这不能证明记忆没用，只能说这个常见卖点在这个常见测试里还没兑现。
ARCBench 在压缩这件事上发现了更难看的东西。你大概以为危险在于摘要把规则删了。其实很少。压缩后的违规大多发生在规则还留在历史里的时候，而保留了规则的压缩运行，违规率是完整历史运行的两倍多。agent 看得见规则，只是不把它当回事了。
第三篇解释了状态为什么比日志强。《Agent Memory as Rate-Limited Filtering》让模型读完整的访问日志，7B 到 32B 的开源模型，8 到 16 条事件时有 72% 到 86%，到 256 条掉到 48% 到 55%，而经过推理训练的 32B 模型读当前状态能到 96% 和 98%。一个朴素的先解析再应用的过滤器，256 条时有 80% 到 89%，赢了检索、模型自记账本和 Mem0。无聊的代码又赢了一次。
对做这层的人来说，结论很直接：别再汇报检索到了什么，开始汇报改变了什么。如果说不清 agent 因为记忆做了哪件不一样的事，你做的只是一种昂贵的往 prompt 里加 token 的办法。
MemUse：https://arxiv.org/abs/2611.01718 ARCBench：https://arxiv.org/abs/2611.03223 Rate-Limited Filtering：https://arxiv.org/abs/2611.02361
← 返回所有文章
拆开看才有意思。送进去的记忆大多不相关，相关的大多没被用，有两个系统送的内容大多只是在复述 agent 还看得见的东西。结果跟记忆的关系也很弱：记忆起了好作用的任务里 23.2% 照样失败，起了坏作用的 16 个里还有 5 个成功。行业都在比检索质量，但检索看起来量错了地方。瓶颈在模型拿到之后有没有用。SWE-bench 是个窄领域，任务也大多一次性，所以这不能证明记忆没用，只能说这个常见卖点在这个常见测试里还没兑现。
ARCBench 在压缩这件事上发现了更难看的东西。你大概以为危险在于摘要把规则删了。其实很少。压缩后的违规大多发生在规则还留在历史里的时候，而保留了规则的压缩运行，违规率是完整历史运行的两倍多。agent 看得见规则，只是不把它当回事了。
第三篇解释了状态为什么比日志强。《Agent Memory as Rate-Limited Filtering》让模型读完整的访问日志，7B 到 32B 的开源模型，8 到 16 条事件时有 72% 到 86%，到 256 条掉到 48% 到 55%，而经过推理训练的 32B 模型读当前状态能到 96% 和 98%。一个朴素的先解析再应用的过滤器，256 条时有 80% 到 89%，赢了检索、模型自记账本和 Mem0。无聊的代码又赢了一次。
对做这层的人来说，结论很直接：别再汇报检索到了什么，开始汇报改变了什么。如果说不清 agent 因为记忆做了哪件不一样的事，你做的只是一种昂贵的往 prompt 里加 token 的办法。
MemUse：https://arxiv.org/abs/2611.01718 ARCBench：https://arxiv.org/abs/2611.03223 Rate-Limited Filtering：https://arxiv.org/abs/2611.02361
评论