上下文压缩留下了需求，丢掉了规矩
周一的 arXiv 批次里有两篇论文专门量了编程 agent 的上下文被压缩之后会发生什么，结论在最难受的那一点上是一致的：摘要留下了你要它做什么，丢掉了你要它怎么做。
Compact-Bench 拿 14 个摘要模型去压 35 个 SWE-bench 修复、146 个 agent 会话和 106 条生产链路。LLM 摘要最多只保住 16.0% 的反复出现的细节，机械抽取能保住 79.1%。生产环境的摘要在第一次压缩时只留 15.7%。原本全历史能做成的任务，压缩后坏掉 5% 到 64%，有一个修复在 14 个模型里坏了 13 个。harness 的提示词和模型一样重要：同样用 Kimi-K3 做摘要，Kimi Code 的提示词保住的任务延续最多（22 个里 19 个），Claude Code 的提示词保住的重复细节最多。
第二篇叫《Benchmarks Are Surprisingly Compaction-Friendly》，在 OpenCode 里用五种压缩策略跑 PaperBench、ProgramBench、PostTrainBench。标题听着让人放心：两个百万上下文的模型，压缩阈值高低对分数没影响，也没有哪种方法打赢默认的自我摘要。细节就不让人放心了。在 ProgramBench 上，第一次压缩就平均丢掉大约三分之一的防作弊规则，而且每多压一次丢得更多。在真实的 SWE-chat 会话里，关于 agent 该怎么干活、什么不能碰的指令，被丢掉的频率是需求描述的大约 6 倍。
两篇合起来，正好解释了重度用户都见过的那种翻车：跑到第三个小时，agent 还记得要做哪个功能，却忘了不准动 migration、提交前先跑测试。基准测试看不出来，因为它只给产出打分，不给规矩打分。解法很土但管用：约束写进 harness 每轮都会重读的文件里，别指望它熬过一次摘要；反复出现的细节用机械方式抽取，别让模型去转述。同一批次还有第三篇，统计了 22854 个活跃 GitHub 仓库里的 AGENTS.md 和 CLAUDE.md：26.3% 的仓库有这类文件，其中 74.0% 的指令没写理由。一条不写理由的规矩，恰恰就是摘要模型最容易认为可以删掉的那一行。
Compact-Bench：https://arxiv.org/abs/2610.31710 Compaction-Friendly：https://arxiv.org/abs/2610.31778 AGENTS.md 普查：https://arxiv.org/abs/2610.31715
← 返回所有文章
Compact-Bench 拿 14 个摘要模型去压 35 个 SWE-bench 修复、146 个 agent 会话和 106 条生产链路。LLM 摘要最多只保住 16.0% 的反复出现的细节，机械抽取能保住 79.1%。生产环境的摘要在第一次压缩时只留 15.7%。原本全历史能做成的任务，压缩后坏掉 5% 到 64%，有一个修复在 14 个模型里坏了 13 个。harness 的提示词和模型一样重要：同样用 Kimi-K3 做摘要，Kimi Code 的提示词保住的任务延续最多（22 个里 19 个），Claude Code 的提示词保住的重复细节最多。
第二篇叫《Benchmarks Are Surprisingly Compaction-Friendly》，在 OpenCode 里用五种压缩策略跑 PaperBench、ProgramBench、PostTrainBench。标题听着让人放心：两个百万上下文的模型，压缩阈值高低对分数没影响，也没有哪种方法打赢默认的自我摘要。细节就不让人放心了。在 ProgramBench 上，第一次压缩就平均丢掉大约三分之一的防作弊规则，而且每多压一次丢得更多。在真实的 SWE-chat 会话里，关于 agent 该怎么干活、什么不能碰的指令，被丢掉的频率是需求描述的大约 6 倍。
两篇合起来，正好解释了重度用户都见过的那种翻车：跑到第三个小时，agent 还记得要做哪个功能，却忘了不准动 migration、提交前先跑测试。基准测试看不出来，因为它只给产出打分，不给规矩打分。解法很土但管用：约束写进 harness 每轮都会重读的文件里，别指望它熬过一次摘要；反复出现的细节用机械方式抽取，别让模型去转述。同一批次还有第三篇，统计了 22854 个活跃 GitHub 仓库里的 AGENTS.md 和 CLAUDE.md：26.3% 的仓库有这类文件，其中 74.0% 的指令没写理由。一条不写理由的规矩，恰恰就是摘要模型最容易认为可以删掉的那一行。
Compact-Bench：https://arxiv.org/abs/2610.31710 Compaction-Friendly：https://arxiv.org/abs/2610.31778 AGENTS.md 普查：https://arxiv.org/abs/2610.31715
评论