2026年11月3日ResearchAgentsFramework

25 个 agent 认知模块里 18 个是摆设,另一篇论文要给 harness 立档案

agent 系统特别爱起响亮的模块名:全局工作空间、心智理论、主动推理。周一 arXiv 有一篇预注册的审计论文,专门查这些模块到底有没有在干活。《Real Computation or Merely Naming?》(arXiv 2610.41604)发现,25 个有名有姓的模块里,有 18 个算出来的值根本到不了任何生产输出。作者把这些空接线分成三种:接上了但从没被调用,调用了但没作用,调用了但对内容是瞎的。12 次干预、61 条预注册判据里,53 条被证实,5 条被证伪。修好之后,规划器的任务成功率从 0.028 变成 1.000,状态控制器误差降了 52%。

这个教训不好听,但很普适。模块的名字是一个说法,不是一个机制。如果你给 agent 加了记忆层、反思层、规划层,最快的审计就是把它拿掉,看输出变不变。这跟这一周反复出现的现象是一回事:装了没用的 MCP 服务器,追溯不到模型的评测调用,看上去在、其实不在的功能。

另一篇论文把同样的担心往上提了一层。Gertler、Novelli 和 Floridi 的《Towards Portable Specification of the Agent Harness》(arXiv 2610.40917)把 harness 拆成八个功能组件,提议建立一份带版本号的 harness 档案:哪个模型在哪种 harness 配置下跑的。理由是同一个模型换个 harness,报出来的分数能差好几倍;而且 harness 在两次运行之间会变,agent 改自己的工具时甚至在一次运行里面也会变。作者指出,现有已生效的 AI 法规里没有一条要求这种记录。

两篇放在一起,就是一个很朴素的标准:说清楚你用的是哪个 harness,再证明它的每个部件都在干活。今天的 LongCat 和 GDPx 都在不同 harness 下报成绩,正好说明这事早该做了。

论文:https://arxiv.org/abs/2610.41604 https://arxiv.org/abs/2610.40917
← 上一篇
agent-desktop:Vercel 押注电脑操作 agent 该读无障碍树,不该看像素
下一篇 →
超级用户日报: 2026-11-03
← 返回所有文章

评论

加载中...
>_