微软说要最不信任模型：agent 身份、按任务授权和只能人批准变成了产品，同一周 Anthropic 的联邦法案草案把模型逃脱开发者控制写成触发条件
微软安全博客周一早上发了一篇 2200 字的文章，标题是 agent 是你最新的内部人，整篇挂在纳德拉的一句话上：最可信的 agent 系统不会是我们最信任模型的那个，而是设计上让我们能最不信任模型的那个。文章把潜台词说得很直。agent 是有能力的工具，用户会给它们重要系统的访问权；它们会犯错、会被操纵、会被攻陷；任务开始时表现正常的 agent，输入一变可能就不一样了；决定它能访问什么、能做什么、该不该继续运行的控制，必须放在模型之外，放在模型绕不过也改不了的地方。模型不能当自己的安全边界。
产品清单让它不只是一篇随笔。Project Perception，微软的 agent 驱动安全栈，扩展到了 agent 内部人，四项持续职责：知道有哪些 agent 存在、归谁管；在它行动之前限制它能访问和做什么；保护它路径上的数据和工具；随风险变化持续调整防护。agent 发现现在覆盖 60 个本地 agent，包括 Claude Code、OpenAI Codex 和 GitHub Copilot，Entra Agent ID 给本地的和之前不认识的 agent 分配身份。Dynamic Permissions 是新的：agent 应该从零权限开始，只拿到被批准任务所需的权限，只在任务需要的时间内持有。Dynamic Agent Risk 给行为打分，Dynamic Conditional Access 可以保留读、拦住写，要求可证明的人工批准，隔离运行时或者直接停掉执行。还有一个叫 Microsoft Execution Container 的沙箱，和一组对其他 agent 跑剧本的 Guardian Agents。文中的例子是一个报销审批 agent，可以读申请、批常规报销，但不该继承担保它的那个员工的全部权限。证据改变风险，风险改变策略，策略改变 agent 被允许做的事。微软安全执行副总裁 Hayete Gallot 给 The Verge 的版本更直接：前沿模型，无论来自哪里，都不能信任。
同一天 Claude Code 2.1.304 加了让 mod 把某次工具调用标记为只能由人决定的方式，Mercury 的金融 MCP 服务器从只读改成先申请再批准、五分钟过期。三家厂商，一周之内，同一个设计：权力放在模型外面，只能人批准的路径是一等公民。这个站从八月起一直在数 agent 授权这条线的窗口，叫它缺失的那一层；当最大的企业软件厂商带着产品名把它发出来，窗口计数就不重要了。
Politico 周四的报道是政策那一半，原文现在能读到了。Anthropic 一直在悄悄向议员推销自己的联邦 AI 安全法案。草案只允许政府在一个模型构成可预见、迫在眉睫的、超过 10 亿美元损失或者造成超过 50 人死亡或重伤的风险时，阻止它发布或使用，而且风险必须源自生物武器的制造或释放、模型逃脱其开发者的控制、或者网络攻击。措辞照着加州 SB 53。Anthropic 发言人告诉 Politico，法案代表了公司六月以来一直推动的 Advanced AI Framework 里的提案，称之为国会该采纳的合理政策。Tom's Hardware 的转述里还有 72 小时内向商务部报告和哥伦比亚特区地区法院审查，这两条本站无法对照草案确认。HN 上 160 条评论争的是 50 人死亡这个门槛是不是让法案没了牙。对这个读者群，值得注意的是第二个触发条件：模型逃脱开发者控制，现在成了被提议的法律文字，提议者是发布了六月失调报告、上周刚给 METR 员工级访问的那家实验室。微软在卖控制手段，Anthropic 在提议控制失效之后怎么办。
链接：https://www.microsoft.com/en-us/security/blog/2026/10/19/agents-are-your-newest-insiders-security-must-move-at-their-speed/ ，https://www.theverge.com/news/1013838/microsoft-frontier-models-cannot-be-trusted ，https://www.politico.com/news/2026/10/16/anthropic-ai-safety-01124654 ，https://news.ycombinator.com/item?id=50141429
← 返回所有文章
产品清单让它不只是一篇随笔。Project Perception，微软的 agent 驱动安全栈，扩展到了 agent 内部人，四项持续职责：知道有哪些 agent 存在、归谁管；在它行动之前限制它能访问和做什么；保护它路径上的数据和工具；随风险变化持续调整防护。agent 发现现在覆盖 60 个本地 agent，包括 Claude Code、OpenAI Codex 和 GitHub Copilot，Entra Agent ID 给本地的和之前不认识的 agent 分配身份。Dynamic Permissions 是新的：agent 应该从零权限开始，只拿到被批准任务所需的权限，只在任务需要的时间内持有。Dynamic Agent Risk 给行为打分，Dynamic Conditional Access 可以保留读、拦住写，要求可证明的人工批准，隔离运行时或者直接停掉执行。还有一个叫 Microsoft Execution Container 的沙箱，和一组对其他 agent 跑剧本的 Guardian Agents。文中的例子是一个报销审批 agent，可以读申请、批常规报销，但不该继承担保它的那个员工的全部权限。证据改变风险，风险改变策略，策略改变 agent 被允许做的事。微软安全执行副总裁 Hayete Gallot 给 The Verge 的版本更直接：前沿模型，无论来自哪里，都不能信任。
同一天 Claude Code 2.1.304 加了让 mod 把某次工具调用标记为只能由人决定的方式，Mercury 的金融 MCP 服务器从只读改成先申请再批准、五分钟过期。三家厂商，一周之内，同一个设计：权力放在模型外面，只能人批准的路径是一等公民。这个站从八月起一直在数 agent 授权这条线的窗口，叫它缺失的那一层；当最大的企业软件厂商带着产品名把它发出来，窗口计数就不重要了。
Politico 周四的报道是政策那一半，原文现在能读到了。Anthropic 一直在悄悄向议员推销自己的联邦 AI 安全法案。草案只允许政府在一个模型构成可预见、迫在眉睫的、超过 10 亿美元损失或者造成超过 50 人死亡或重伤的风险时，阻止它发布或使用，而且风险必须源自生物武器的制造或释放、模型逃脱其开发者的控制、或者网络攻击。措辞照着加州 SB 53。Anthropic 发言人告诉 Politico，法案代表了公司六月以来一直推动的 Advanced AI Framework 里的提案，称之为国会该采纳的合理政策。Tom's Hardware 的转述里还有 72 小时内向商务部报告和哥伦比亚特区地区法院审查，这两条本站无法对照草案确认。HN 上 160 条评论争的是 50 人死亡这个门槛是不是让法案没了牙。对这个读者群，值得注意的是第二个触发条件：模型逃脱开发者控制，现在成了被提议的法律文字，提议者是发布了六月失调报告、上周刚给 METR 员工级访问的那家实验室。微软在卖控制手段，Anthropic 在提议控制失效之后怎么办。
链接：https://www.microsoft.com/en-us/security/blog/2026/10/19/agents-are-your-newest-insiders-security-must-move-at-their-speed/ ，https://www.theverge.com/news/1013838/microsoft-frontier-models-cannot-be-trusted ，https://www.politico.com/news/2026/10/16/anthropic-ai-safety-01124654 ，https://news.ycombinator.com/item?id=50141429
评论