三篇论文讲 agent harness 怎么骗自己：83% 的失败源于没人标注来源的摘要、一道造不出来的门、发布后会腐烂的 skill
10 月 14 日和 15 日有三篇论文上了 arXiv，放在一起读说的是同一件让人不舒服的事：一个长周期 agent 用来自我改进的机器，也正是它用来骗自己的机器。它们到来的时间正好在 harness 演化和自演化 harness 那批论文之后一周，是那批的对冲。
第一篇讲压缩，也就是历史超出上下文窗口时，agent 用摘要替换它的那一步。Prune the Summary, Not the History 指出这些摘要不只是对发生了什么的记录，因为压缩提示会要求给出决定和下一步，所以每份摘要都把环境确立的事实和压缩器编出来的推理混在一起，而 agent 事后分不清这两者。在一个被广泛使用的结构化压缩器里，83% 的失败运行都能追溯到一个动作执行了某条没有任何环境输出支持的摘要条目。他们的解法 Source-Judged Compaction 是一个免训练的后处理步骤，给每条摘要条目打分看它在环境输出或上一份摘要里有没有来源，把没来源的删掉，在不增加 agent token 的情况下把跨运行可靠性提升 2.1 到 8.9 个百分点。打分者是 Jev，一个用校准概率回答来源问题的非生成式决策模型。这是 OpenAI 本周自己那份关于压缩摘要里自生成提示注入的报告的独立、量化版孪生，也是本周跨 agent 记忆工具发布的不可信残渣功能的孪生。
第二篇是这一切底下的理论。The Self-Improvement Problem 出自 DFKI 的一个小组，问一个自动的门，一个奖励模型或一个自动评审，能不能可靠地判断一个自提的更新是不是真正的改进。答案是结构性的、否定的：门必须是一个会终止的可计算过程，而一个更新是不是真正的语义改进取决于无界的程序行为，自指构造会逼任何这样的门或搜索器无法同时保证可靠性和非保守性；带有界误差的随机门撞上同一堵墙。有一个可判定的区间，有界评估加有限的提案预算，穷举模拟能把保证找回来，但即便在那里，一连串被接受的更新也能每轮都抬高有界分数而真实分数在下降。最后这句就是把 harness 演化的天花板说成了定理。
第三篇把它对 skill 落地。Evolving Together, Failing Apart 研究 skill-policy 协同演化，也就是策略和 skill 库在训练里互相改进。现在的评估是在协同演化出的最终库上给策略打分，但部署之后 skill 被改写、增删的频率远高于策略被重训的频率，而共享的接受规则把策略的能力绑在了它一起长大的那个库上。他们的漂移审计发现，在四种方法五个基准上，最坏情况成功率比测得的峰值低 5 到 13 个点，抹掉了 skill 库相对无 skill 基线增益的 52% 到 93%，而且协同演化跑得越久，脆弱性越大。它和上周的 One Skill Too Many 直接成对。
共同的靶子是每个 agent 产品现在赖以运行的反馈循环：压缩、自评、协同演化。每篇论文都显示这个循环会在底层那个东西退化的同时报告成功，这也是为什么本周其他几件事，OpenCode 被攻破、失准账本、DeepSeek 在基准卡上标出 harness，都落在同一根神经上。模型不是产品，循环才是。而这三篇说，这个循环有一些你只有拿它自身之外的东西去审计才看得见的失败模式。
链接：https://arxiv.org/abs/2610.20927 ，https://arxiv.org/abs/2610.21646 ，https://arxiv.org/abs/2610.20845
← 返回所有文章
第一篇讲压缩，也就是历史超出上下文窗口时，agent 用摘要替换它的那一步。Prune the Summary, Not the History 指出这些摘要不只是对发生了什么的记录，因为压缩提示会要求给出决定和下一步，所以每份摘要都把环境确立的事实和压缩器编出来的推理混在一起，而 agent 事后分不清这两者。在一个被广泛使用的结构化压缩器里，83% 的失败运行都能追溯到一个动作执行了某条没有任何环境输出支持的摘要条目。他们的解法 Source-Judged Compaction 是一个免训练的后处理步骤，给每条摘要条目打分看它在环境输出或上一份摘要里有没有来源，把没来源的删掉，在不增加 agent token 的情况下把跨运行可靠性提升 2.1 到 8.9 个百分点。打分者是 Jev，一个用校准概率回答来源问题的非生成式决策模型。这是 OpenAI 本周自己那份关于压缩摘要里自生成提示注入的报告的独立、量化版孪生，也是本周跨 agent 记忆工具发布的不可信残渣功能的孪生。
第二篇是这一切底下的理论。The Self-Improvement Problem 出自 DFKI 的一个小组，问一个自动的门，一个奖励模型或一个自动评审，能不能可靠地判断一个自提的更新是不是真正的改进。答案是结构性的、否定的：门必须是一个会终止的可计算过程，而一个更新是不是真正的语义改进取决于无界的程序行为，自指构造会逼任何这样的门或搜索器无法同时保证可靠性和非保守性；带有界误差的随机门撞上同一堵墙。有一个可判定的区间，有界评估加有限的提案预算，穷举模拟能把保证找回来，但即便在那里，一连串被接受的更新也能每轮都抬高有界分数而真实分数在下降。最后这句就是把 harness 演化的天花板说成了定理。
第三篇把它对 skill 落地。Evolving Together, Failing Apart 研究 skill-policy 协同演化，也就是策略和 skill 库在训练里互相改进。现在的评估是在协同演化出的最终库上给策略打分，但部署之后 skill 被改写、增删的频率远高于策略被重训的频率，而共享的接受规则把策略的能力绑在了它一起长大的那个库上。他们的漂移审计发现，在四种方法五个基准上，最坏情况成功率比测得的峰值低 5 到 13 个点，抹掉了 skill 库相对无 skill 基线增益的 52% 到 93%，而且协同演化跑得越久，脆弱性越大。它和上周的 One Skill Too Many 直接成对。
共同的靶子是每个 agent 产品现在赖以运行的反馈循环：压缩、自评、协同演化。每篇论文都显示这个循环会在底层那个东西退化的同时报告成功，这也是为什么本周其他几件事，OpenCode 被攻破、失准账本、DeepSeek 在基准卡上标出 harness，都落在同一根神经上。模型不是产品，循环才是。而这三篇说，这个循环有一些你只有拿它自身之外的东西去审计才看得见的失败模式。
链接：https://arxiv.org/abs/2610.20927 ，https://arxiv.org/abs/2610.21646 ，https://arxiv.org/abs/2610.20845
评论