agent 的记忆需要门卫:WikiTrace 和 FGSE 先验证再记住
记忆让 agent 变笨的次数,比厂商愿意承认的多。做 WikiTrace 的 KAIST 团队(https://arxiv.org/abs/2611.14320,代码 https://github.com/yukyeongleee/wikitrace)给这个现象起了名字:记忆诱发退化。没记忆能做对的题,有了记忆反而做错,因为 agent 照着一条错误经验去做,或者把一条对的经验读歪了。根子很简单:经验是从只标了成功或失败的运行里提炼出来的,交给 agent 的时候又把原始运行扔掉了,想核对也没处核对。
WikiTrace 的做法是保留凭据。每条经验存成一句简短洞察,链接到一段“这次为什么成功或失败”的总结,再链接到原始轨迹。遇到新任务,agent 先看所有洞察;哪条说得含糊、和别的打架、或者来自失败的运行,就顺着链接用终端工具往下翻,补全细节或者纠正之后再动手。在 ALFWorld、ScienceWorld、PlanCraft、AppWorld、tau-bench Retail 构成的八组测试上,WikiTrace 平均 90.2,无记忆是 79.5,比只给同样洞察不给链接高 3.2 分。更关键的是回退率,也就是无记忆能做对、加了记忆反而做错的比例:WikiTrace 4.5%,只给洞察 6.5%,无记忆重跑一遍的自然波动是 9.7%。它是论文里唯一在每组测试上都不输无记忆的方法。
同一天的 FGSE(Falsification-Gated Self-Evolution,https://arxiv.org/abs/2611.14326,Tang 等)从写入端解决同一个问题。每条候选经验被写成一个假设:前提条件、行为改变、预期效果、验证方式。先在临时状态里应用,跑迁移测试、证伪测试和历史回归测试,再决定提交、修改还是丢掉。报告的结果:WebArena 成功率 39.8,AppWorld 平均完成度 78.8,tau-Retail 和 tau-Airline 的 Pass^1 分别是 0.724 和 0.487;证伪失败压到 5.0%,回归损伤 1.3%,有害的已提交更新 3.6%。
一个在读的时候查,一个在写的时候查。两者都把记忆当成要上生产的代码:没有证据,不准合并。这个直觉是对的。agent 给自己写的记忆文件,是你整个系统里最没人审的代码,而一天之内两篇论文说明了,在它前面装个门卫并不贵。
← 返回所有文章
WikiTrace 的做法是保留凭据。每条经验存成一句简短洞察,链接到一段“这次为什么成功或失败”的总结,再链接到原始轨迹。遇到新任务,agent 先看所有洞察;哪条说得含糊、和别的打架、或者来自失败的运行,就顺着链接用终端工具往下翻,补全细节或者纠正之后再动手。在 ALFWorld、ScienceWorld、PlanCraft、AppWorld、tau-bench Retail 构成的八组测试上,WikiTrace 平均 90.2,无记忆是 79.5,比只给同样洞察不给链接高 3.2 分。更关键的是回退率,也就是无记忆能做对、加了记忆反而做错的比例:WikiTrace 4.5%,只给洞察 6.5%,无记忆重跑一遍的自然波动是 9.7%。它是论文里唯一在每组测试上都不输无记忆的方法。
同一天的 FGSE(Falsification-Gated Self-Evolution,https://arxiv.org/abs/2611.14326,Tang 等)从写入端解决同一个问题。每条候选经验被写成一个假设:前提条件、行为改变、预期效果、验证方式。先在临时状态里应用,跑迁移测试、证伪测试和历史回归测试,再决定提交、修改还是丢掉。报告的结果:WebArena 成功率 39.8,AppWorld 平均完成度 78.8,tau-Retail 和 tau-Airline 的 Pass^1 分别是 0.724 和 0.487;证伪失败压到 5.0%,回归损伤 1.3%,有害的已提交更新 3.6%。
一个在读的时候查,一个在写的时候查。两者都把记忆当成要上生产的代码:没有证据,不准合并。这个直觉是对的。agent 给自己写的记忆文件,是你整个系统里最没人审的代码,而一天之内两篇论文说明了,在它前面装个门卫并不贵。
评论