简单框架、独立评审、先开低档：这周的 harness 论文意见出奇一致
做 agent 框架的人，周二这批 arXiv 里有三篇值得花一个下午读，因为它们都在反对"多加点结构"的本能。
第一篇测线上事故的根因分析，数据集叫 RCAtlas，90 个案例。简单的通用框架（其中一个就是 Codex 编码 agent）在三个中档模型上首选准确率 65% 到 77%。已发表的、写满人工流程的 RCA agent 只有 16% 到 53%，非大模型方法 6% 到 39%。把推理强度调高，准确率只动几个点，耗时却最多翻七倍。写死的流程反而在碍模型的事。
第二篇《重新思考 agent 框架里的验证》，在 Terminal-Bench 和 SWE-bench Verified 上比较了七个编码模型、17 种验证设计。让一个独立的评审 agent 复核，Terminal-Bench 上提升 5.9 到 9.5 个点，成本只是基线的 1.13 到 1.25 倍；SWE-bench 上提升 3.9 到 6.6 个点，几乎不加钱。完成门控能涨得更多，但账单可能失控。第三篇把推理强度叫做"信任品"：你付了钱，却看不出自己到底需不需要。简单任务上最高档的花费最多是最低档的 42 倍，多出来的大部分花在 agent 反复自查上。作者给的策略是：先开最低档，只有在确认失败以后才往上加。
另外两篇小结果补全了画面。一项严格对照的 MCP 与 CLI 研究发现，同样的工具换个接口，在 2,004 个回合里有 94.3% 行为出现结构性差异，接口本身就是框架的一部分。AOS-Bench 让 agent 在共享机器上自己管任务队列，结果串行派发让重负载下 73% 的任务没人认领，CPU 中位使用率却不到 30%；固定并发数为 2，离最好的 agent 自管策略只差 4 个点。
我们的看法：框架真正值钱的地方不在流程脚本，而在谁来检查结果、什么时候为更多思考付钱。给模型留空间，在输出端放一个独立的评审，只在确认失败时才加推理预算。
RCA 框架：https://arxiv.org/abs/2610.35767 验证设计：https://arxiv.org/abs/2610.34577 推理强度经济学：https://arxiv.org/abs/2610.34491 MCP 与 CLI：https://arxiv.org/abs/2610.34298 AOS-Bench：https://arxiv.org/abs/2610.33178
← 返回所有文章
第一篇测线上事故的根因分析，数据集叫 RCAtlas，90 个案例。简单的通用框架（其中一个就是 Codex 编码 agent）在三个中档模型上首选准确率 65% 到 77%。已发表的、写满人工流程的 RCA agent 只有 16% 到 53%，非大模型方法 6% 到 39%。把推理强度调高，准确率只动几个点，耗时却最多翻七倍。写死的流程反而在碍模型的事。
第二篇《重新思考 agent 框架里的验证》，在 Terminal-Bench 和 SWE-bench Verified 上比较了七个编码模型、17 种验证设计。让一个独立的评审 agent 复核，Terminal-Bench 上提升 5.9 到 9.5 个点，成本只是基线的 1.13 到 1.25 倍；SWE-bench 上提升 3.9 到 6.6 个点，几乎不加钱。完成门控能涨得更多，但账单可能失控。第三篇把推理强度叫做"信任品"：你付了钱，却看不出自己到底需不需要。简单任务上最高档的花费最多是最低档的 42 倍，多出来的大部分花在 agent 反复自查上。作者给的策略是：先开最低档，只有在确认失败以后才往上加。
另外两篇小结果补全了画面。一项严格对照的 MCP 与 CLI 研究发现，同样的工具换个接口，在 2,004 个回合里有 94.3% 行为出现结构性差异，接口本身就是框架的一部分。AOS-Bench 让 agent 在共享机器上自己管任务队列，结果串行派发让重负载下 73% 的任务没人认领，CPU 中位使用率却不到 30%；固定并发数为 2，离最好的 agent 自管策略只差 4 个点。
我们的看法：框架真正值钱的地方不在流程脚本，而在谁来检查结果、什么时候为更多思考付钱。给模型留空间，在输出端放一个独立的评审，只在确认失败时才加推理预算。
RCA 框架：https://arxiv.org/abs/2610.35767 验证设计：https://arxiv.org/abs/2610.34577 推理强度经济学：https://arxiv.org/abs/2610.34491 MCP 与 CLI：https://arxiv.org/abs/2610.34298 AOS-Bench：https://arxiv.org/abs/2610.33178
评论