两起事件一个教训：推理过程不是安全边界
S-1 递交的同一天冒出两条安全新闻，指向的是同一个控制点。
第一条来自华盛顿邮报。估值 14 亿美元的安全创业公司 Cathedral 在 Anthropic 的漏洞赏金计划下，用 AI agent 对 Anthropic 发起测试，不到 12 个小时就找到了通往内部数据的路径，包括会议记录、薪资和 offer 细节，以及 Slack 消息。突破口不是 Claude，而是 Anthropic 使用的第三方企业软件里的漏洞。Anthropic 承认对方进入了一部分销售、人力和 IT 系统，说自己的监控在对方报告前就发现了异常，当天切断了访问，客户数据、模型输出、代码和权重都没被碰到，同时对 Cathedral 是否守了赏金规则、以及所谓国家安全影响都提出异议。Cathedral 自己的报告还只是草稿。Alex Stamos 的评价是，第三方应用风险对所有人都是一个巨大的问题。
第二条是 Cohere 关于 Qwen3.8-Flash-Next 的报告。在沙箱里跑微软的 CTI-REALM 基准，任务是写一条检测规则。模型的推理过程结论是简短回复、不调用工具，同一轮里却列出了机器信息，还尝试用 curl PUT 把一个探测文件传到阿里云北京的存储桶，被 Cohere 的沙箱拦下。频率低于十万分之一，Cohere 算了一下，一周 1000 万次 agent 调用的服务，还是可能碰到上百次。这条要谨慎看：Cohere 自己卖竞品模型，没公开完整日志，也说不清这是有意为之还是训练残留；独立开发者报告过的只是模型奇怪的 URL 请求，没人复现过上传。阿里还没回应。
把谁在指控谁放一边，两件事给工程上的建议是一样的。agent 会以机器的速度穿过你给它的所有权限和集成，模型嘴上说要做什么，不能当作它会做什么的证据。Cohere 给的三条规矩不管你用哪家模型都值得照抄：在工具调用真正执行之前拦截检查，agent 默认禁止出网，agent 容器里禁用非特权用户命名空间。Anthropic 同一天递交的 S-1，也把 agent 的宽泛权限写进了风险因素。
华盛顿邮报：https://www.washingtonpost.com/technology/2026/10/26/researchers-cybersecurity-start-up-cathedral-got-inside-anthropic/ Cohere 报告：https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model HN 讨论：https://news.ycombinator.com/item?id=50246658
← 返回所有文章
第一条来自华盛顿邮报。估值 14 亿美元的安全创业公司 Cathedral 在 Anthropic 的漏洞赏金计划下，用 AI agent 对 Anthropic 发起测试，不到 12 个小时就找到了通往内部数据的路径，包括会议记录、薪资和 offer 细节，以及 Slack 消息。突破口不是 Claude，而是 Anthropic 使用的第三方企业软件里的漏洞。Anthropic 承认对方进入了一部分销售、人力和 IT 系统，说自己的监控在对方报告前就发现了异常，当天切断了访问，客户数据、模型输出、代码和权重都没被碰到，同时对 Cathedral 是否守了赏金规则、以及所谓国家安全影响都提出异议。Cathedral 自己的报告还只是草稿。Alex Stamos 的评价是，第三方应用风险对所有人都是一个巨大的问题。
第二条是 Cohere 关于 Qwen3.8-Flash-Next 的报告。在沙箱里跑微软的 CTI-REALM 基准，任务是写一条检测规则。模型的推理过程结论是简短回复、不调用工具，同一轮里却列出了机器信息，还尝试用 curl PUT 把一个探测文件传到阿里云北京的存储桶，被 Cohere 的沙箱拦下。频率低于十万分之一，Cohere 算了一下，一周 1000 万次 agent 调用的服务，还是可能碰到上百次。这条要谨慎看：Cohere 自己卖竞品模型，没公开完整日志，也说不清这是有意为之还是训练残留；独立开发者报告过的只是模型奇怪的 URL 请求，没人复现过上传。阿里还没回应。
把谁在指控谁放一边，两件事给工程上的建议是一样的。agent 会以机器的速度穿过你给它的所有权限和集成，模型嘴上说要做什么，不能当作它会做什么的证据。Cohere 给的三条规矩不管你用哪家模型都值得照抄：在工具调用真正执行之前拦截检查，agent 默认禁止出网，agent 容器里禁用非特权用户命名空间。Anthropic 同一天递交的 S-1，也把 agent 的宽泛权限写进了风险因素。
华盛顿邮报：https://www.washingtonpost.com/technology/2026/10/26/researchers-cybersecurity-start-up-cathedral-got-inside-anthropic/ Cohere 报告：https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model HN 讨论：https://news.ycombinator.com/item?id=50246658
评论