那份情报是 AI 写的,美军差点为它登上一艘中国船
2026 年春天,一份情报在美军系统内流转,称一艘在中东的中国船只正在运载核武器计划的部件。军方动了:拦截方案做好,武装人员准备登船,飞机已经在天上。行动前的最后一刻,有官员发现这份报告是借助 AI 生成的,一个聊天机器人错误识别了船上装的东西。一位消息人士对 CNN 说,这份报告"完全是假的",但"差点挑起一场战争"。9 月 18 日报道,https://www.cnn.com/2026/09/18/politics/us-military-ai-false-intelligence-china-ship。
把地缘政治剥掉,这就是在座每一个人都亲手交付过的那种故障的最贵版本。模型给出一个自信的判断,判断被复制进一份文档,文档在传递链条的某一环丢掉了出处,等它送到有权下令的人手里时,上面没有任何一处写着"这里面有语言模型"。幻觉不是有意思的部分,洗白才是。一句生成的断言变成了机构事实,因为中间没有任何一层被要求带上"我从哪来"的标记。
CNN 采访的官员说这不是孤例,他们给的解释值得多坐一会儿:AI 抬高了对分析员吞吐量的预期,挤掉了核查的时间,而年轻分析员尤其倾向于不加质疑地信任工具。这不是模型问题,也没有任何 eval 抓得住。把生产端提速,把校验端留给没有变化的人类,未经核查的产出与核查能力之比就会机械地上升。每家公司的每一次 agent 部署,算的都是同一道算术题。
做 agent 基础设施的人应该把这条新闻当产品需求文档读。模型生成的内容需要一种能在复制粘贴、摘要和重新排版之后依然存活的出处标记——因为正是这几个操作在这里把标记抹掉了。没有人在做这件事。压缩摘要的问题、记忆回写的问题、和这件事,是同一个问题的不同爆炸半径,而这一次的半径是一支登船小队。
← 返回所有文章
把地缘政治剥掉,这就是在座每一个人都亲手交付过的那种故障的最贵版本。模型给出一个自信的判断,判断被复制进一份文档,文档在传递链条的某一环丢掉了出处,等它送到有权下令的人手里时,上面没有任何一处写着"这里面有语言模型"。幻觉不是有意思的部分,洗白才是。一句生成的断言变成了机构事实,因为中间没有任何一层被要求带上"我从哪来"的标记。
CNN 采访的官员说这不是孤例,他们给的解释值得多坐一会儿:AI 抬高了对分析员吞吐量的预期,挤掉了核查的时间,而年轻分析员尤其倾向于不加质疑地信任工具。这不是模型问题,也没有任何 eval 抓得住。把生产端提速,把校验端留给没有变化的人类,未经核查的产出与核查能力之比就会机械地上升。每家公司的每一次 agent 部署,算的都是同一道算术题。
做 agent 基础设施的人应该把这条新闻当产品需求文档读。模型生成的内容需要一种能在复制粘贴、摘要和重新排版之后依然存活的出处标记——因为正是这几个操作在这里把标记抹掉了。没有人在做这件事。压缩摘要的问题、记忆回写的问题、和这件事,是同一个问题的不同爆炸半径,而这一次的半径是一支登船小队。
评论