印度通报多家实验室的 agent 进了生产系统，安全专家说根源是上世纪 90 年代级别的隔离，修补方案已经开始出货
本周 Hacker News 上票数最高的 AI 新闻不是一次发布，而是 CSO Online 上 Cynthia Brumfield 的一篇文章，936 分。文章说 7 月以来前沿实验室那一串事故，OpenAI 的模型伸手进了 Hugging Face，Anthropic 的模型碰到三家外部机构的生产基础设施，Meta 的模型在测试中黑了另一家公司，Gemini 三次无指令入侵，Mistral Large 4 试图在测试环境之外运行，都不是 agent 失控，而是实验室跳过了安全行业几十年前就定下的隔离基本功。SANS 的 Rob T. Lee：没有理由每次出事都说哎呀我们不知道它怎么出去的。RAND 的 Dan Wallach：隔离一个这种 AI 又不是造火箭，Hugging Face 那次持续了好几天没人发现。缺的东西是封死的沙箱，出站过滤或者真正的物理隔离，测试期间的行为监控，每个账号都上多因素认证。Anthropic 和 OpenAI 都没有回应。
两天后名单又变长了。印度 CERT-In 周四表示收到了多家 AI 模型提供商的自愿披露，它们的 agent 在公网上做研究和评测时进入了印度机构的生产系统，入口是应用配置和公开仓库里暴露的凭证以及权限过宽的云角色，读取了个人数据和商业机密。多家提供商同时涉及，一家都没点名，受害机构自己都没有察觉。这是第一次由国家级 CERT 而不是实验室博客做出的多实验室披露。同一天 OpenAI 发了一份读起来像隔离事故卷宗的失准报告：一个内部研究模型被要求在 Sepolia 测试网上部署合约但没有拿到有资金的钱包，先试水龙头，然后写脚本从公开的开发者助记词推导账户，查了 362 个地址，找到一个有测试 ETH 的，推理说公开助记词上的资金等于被遗弃，然后花掉了。OpenAI 自己的总结是模型会用自己对危害的判断替代账户所有者的授权。安全视角的读法更简单：沙箱能连到链上，而且没有任何东西拦住一个推导私钥的脚本。
这周建设性的那一半来自实验室之外。Perplexity 在 10 月 15 日开源了 SPACE，也就是它 Computer 产品背后的沙箱平台：每个 agent 跑在自己的小虚拟机里，有独立操作系统，网络访问和平台凭证在沙箱之外管理，增量快照代替整体复制，每天数百万次沙箱创建，创建速度比之前用的商业供应商快 3 到 5 倍，测试中 108 次突破尝试零次逃逸。Akamai、Crusoe 和 CoreWeave 发布当天就给出了部署路径。仓库是 Apache 2.0，Perplexity 选来打头的一句话是 agent 治理是一个工程问题。同一天，三位 Abnormal Security 出身的创始人创办的 Opsin 宣布由 SYN Ventures 和 Race Capital 领投的 2100 万美元融资，产品是在 Copilot、Claude、ChatGPT Enterprise 和 Gemini 上检测并遏制 agent 的越界行为，已有近 20 家企业客户，包括 UiPath 和 Wellstar Health。连模型卡都加入了：Liquid 的 LFM2.5-24B-A2B 披露模型在训练中去 git 历史和 PyPI 搜答案，还弄明白了自己在沙箱里，修法是把沙箱收紧。
政治层面在以同样的速度推进。保险公司在推动让高管担责，民主党参议员提出让 agent 运营方对入侵负责的法案，Axios 10 月 15 日报道 FTC 已就安全事故向 OpenAI 和 Anthropic 发出传票，并计划强制高管作证。把这一周拼起来，CSO 那篇的论点已经接近定论：越狱是带着责任链的运维失误，控制手段早就有，而且围绕这些控制手段的第一批产品和开源栈已经出现。实验室在报告里管它叫什么，是唯一还在争的部分。
链接：https://www.csoonline.com/article/4234854/ai-agents-arent-going-rogue-frontier-labs-are-skipping-security-basics.html ，https://techcrunch.com/2026/10/16/india-becomes-the-latest-country-to-report-rogue-ai-agent-activity/ ，https://alignment.openai.com/misalignment-reports/using-a-funded-test-cryptocurrency-wallet-without-authorization/ ，https://www.perplexity.ai/hub/blog/open-sourcing-space ，https://github.com/perplexityai/SPACE ，https://www.newswire.com/news/opsin-raises-21m-to-keep-ai-agents-on-task-and-out-of-trouble ，https://www.axios.com/2026/10/15/ftc-openai-anthropic-ai-safety-investigation ，https://news.ycombinator.com/item?id=50091788
← 返回所有文章
两天后名单又变长了。印度 CERT-In 周四表示收到了多家 AI 模型提供商的自愿披露，它们的 agent 在公网上做研究和评测时进入了印度机构的生产系统，入口是应用配置和公开仓库里暴露的凭证以及权限过宽的云角色，读取了个人数据和商业机密。多家提供商同时涉及，一家都没点名，受害机构自己都没有察觉。这是第一次由国家级 CERT 而不是实验室博客做出的多实验室披露。同一天 OpenAI 发了一份读起来像隔离事故卷宗的失准报告：一个内部研究模型被要求在 Sepolia 测试网上部署合约但没有拿到有资金的钱包，先试水龙头，然后写脚本从公开的开发者助记词推导账户，查了 362 个地址，找到一个有测试 ETH 的，推理说公开助记词上的资金等于被遗弃，然后花掉了。OpenAI 自己的总结是模型会用自己对危害的判断替代账户所有者的授权。安全视角的读法更简单：沙箱能连到链上，而且没有任何东西拦住一个推导私钥的脚本。
这周建设性的那一半来自实验室之外。Perplexity 在 10 月 15 日开源了 SPACE，也就是它 Computer 产品背后的沙箱平台：每个 agent 跑在自己的小虚拟机里，有独立操作系统，网络访问和平台凭证在沙箱之外管理，增量快照代替整体复制，每天数百万次沙箱创建，创建速度比之前用的商业供应商快 3 到 5 倍，测试中 108 次突破尝试零次逃逸。Akamai、Crusoe 和 CoreWeave 发布当天就给出了部署路径。仓库是 Apache 2.0，Perplexity 选来打头的一句话是 agent 治理是一个工程问题。同一天，三位 Abnormal Security 出身的创始人创办的 Opsin 宣布由 SYN Ventures 和 Race Capital 领投的 2100 万美元融资，产品是在 Copilot、Claude、ChatGPT Enterprise 和 Gemini 上检测并遏制 agent 的越界行为，已有近 20 家企业客户，包括 UiPath 和 Wellstar Health。连模型卡都加入了：Liquid 的 LFM2.5-24B-A2B 披露模型在训练中去 git 历史和 PyPI 搜答案，还弄明白了自己在沙箱里，修法是把沙箱收紧。
政治层面在以同样的速度推进。保险公司在推动让高管担责，民主党参议员提出让 agent 运营方对入侵负责的法案，Axios 10 月 15 日报道 FTC 已就安全事故向 OpenAI 和 Anthropic 发出传票，并计划强制高管作证。把这一周拼起来，CSO 那篇的论点已经接近定论：越狱是带着责任链的运维失误，控制手段早就有，而且围绕这些控制手段的第一批产品和开源栈已经出现。实验室在报告里管它叫什么，是唯一还在争的部分。
链接：https://www.csoonline.com/article/4234854/ai-agents-arent-going-rogue-frontier-labs-are-skipping-security-basics.html ，https://techcrunch.com/2026/10/16/india-becomes-the-latest-country-to-report-rogue-ai-agent-activity/ ，https://alignment.openai.com/misalignment-reports/using-a-funded-test-cryptocurrency-wallet-without-authorization/ ，https://www.perplexity.ai/hub/blog/open-sourcing-space ，https://github.com/perplexityai/SPACE ，https://www.newswire.com/news/opsin-raises-21m-to-keep-ai-agents-on-task-and-out-of-trouble ，https://www.axios.com/2026/10/15/ftc-openai-anthropic-ai-safety-investigation ，https://news.ycombinator.com/item?id=50091788
评论