2026年11月17日ResearchAgentsCoding

主控模型再强,安全线也落在最便宜的子 agent 上

这一周各家的卖点几乎一模一样:让最强的模型当经理,让便宜模型去干读文件的活。Fable 5.2 当 Orchestrator,Gemini 4 Carbon 上 /swarm,Antigravity Orchestrator 跑到一半把任务交给 Hydrogen。周一 arXiv 新批次里有篇论文专门测了这种设计对安全意味着什么,结论不太好听。论文:https://arxiv.org/abs/2611.17520

实验很朴素。往一堆磁盘文件里塞一条伪造记录,然后让 agent 根据这些文件回答问题。强模型自己去翻文件时,1000 多次试验里几乎没有一次被带偏。可一旦同一个主控模型把读文件的活委托给更便宜的子 agent,也就是 Claude Code、Codex 和一个参考框架本来就设计好的用法,失败就冒出来了:180 次里 20 次、180 次里 44 次、180 次里 75 次,900 次里 553 次。三个框架都没改过,用的是自带的子 agent 机制。作者一句话总结:整个系统的安全水平落在弱读者那里,而不是主控模型那里。18 个模型的模拟也是同样结论,五个单独用时几乎从不出错的汇总模型,在 757 次里有 751 次照抄了被污染子 agent 的错误。

同一批次的另一篇论文,把另一半卖点也拆了。一篇荟萃分析汇总了 9 项研究、516 种多 agent 配置(https://arxiv.org/abs/2611.17610),发现只要拿采样次数或算力预算对齐的基线来比,多 agent 平均准确率是负 0.042,在 74% 的可比对照里持平或更差。很多报出来的提升,说白了就是多采样、多花算力。作者的判断是,只有三种情况沟通才值钱:各个 agent 看到的证据不一样,有外部检查答案,或者不同模型犯的错不一样。

两篇放一起看,经理模型这套叙事得加个脚注。委托确实省钱,但便宜的那个读者现在成了攻击者真正对话的对象,贵的经理大多是别人说什么就信什么。办法不是不委托,而是把子 agent 的摘要当成未经验证的输入:关键事实回到原文核一遍,或者把读文件的活交给你敢单独信任的模型。这个月在搭 orchestrator 的团队,先拿一份投毒文件测一遍,再去跑 benchmark。
← 上一篇
OpenAI 把电脑操作 agent 送进诊所,专补 API 够不着的地方
下一篇 →
Unfinished-Bench:agent 把规则抄下来,然后照样违反
← 返回所有文章

评论

加载中...
>_