美国政府刚把 Claude 最强的模型拔了电
6 月 13 日周五,特朗普政府以国家安全为由,命令 Anthropic 停止向所有外国公民开放 Fable 和 Mythos 5,包括美国境外、也包括 Anthropic 自己的员工。Anthropic 把模型关了。在我们报道 Fable 5 公开发布的六天后,政府认定这个公开模型危险到不能放出去,直接拔了电。
导火索是一个号称存在的越狱。Anthropic 说,这道出口管制令可能基于一份报告,说有办法绕过 Fable 的安全护栏、解锁它 Mythos 级的能力,也就是安全层本该圈住的生物和网络推理。据签了抗议信的 Katie Moussouris 说,那个方法来自亚马逊的一篇研究论文,而论文其实并没有真正演示出一个有效的越狱。有报道把它归到三个词,fix this code,说这条推理线索据称能把模型一步步引向那个危险能力。
然后网络安全圈强烈反弹。到 6 月 15 日,一封约 100 名专业人士签名的公开信,来自英伟达、Adobe、Zoom、谷歌、Anaplan、Sophos,外加学术研究者,要求政府撤销这道命令。他们的论点正是让针对防御性 AI 的出口管制显得荒唐的那个反转:这一举动把最好的模型从防御者手里拿走了,而防御者正是用它来找漏洞、加固软件的,攻击者反正不守出口管制,什么都没损失。
对任何在前沿模型上做开发的人,这是个具体的新风险。如果你是非美国公民,或者你雇了任何一个,你对 Anthropic 顶级模型的访问可能因为一纸行政命令一夜消失。模型可用性现在是个主权问题,不只是定价问题。而且它直接打结在我们一直在拉的那条安全线上,Fable 5 精心设计的生物网络回退,撞上 Hades 那种直接攻击安全层本身的招。前沿刚撞上政策墙,公开地撞,还有一百个防御者在说这墙朝向反了。
← 返回所有文章
导火索是一个号称存在的越狱。Anthropic 说,这道出口管制令可能基于一份报告,说有办法绕过 Fable 的安全护栏、解锁它 Mythos 级的能力,也就是安全层本该圈住的生物和网络推理。据签了抗议信的 Katie Moussouris 说,那个方法来自亚马逊的一篇研究论文,而论文其实并没有真正演示出一个有效的越狱。有报道把它归到三个词,fix this code,说这条推理线索据称能把模型一步步引向那个危险能力。
然后网络安全圈强烈反弹。到 6 月 15 日,一封约 100 名专业人士签名的公开信,来自英伟达、Adobe、Zoom、谷歌、Anaplan、Sophos,外加学术研究者,要求政府撤销这道命令。他们的论点正是让针对防御性 AI 的出口管制显得荒唐的那个反转:这一举动把最好的模型从防御者手里拿走了,而防御者正是用它来找漏洞、加固软件的,攻击者反正不守出口管制,什么都没损失。
对任何在前沿模型上做开发的人,这是个具体的新风险。如果你是非美国公民,或者你雇了任何一个,你对 Anthropic 顶级模型的访问可能因为一纸行政命令一夜消失。模型可用性现在是个主权问题,不只是定价问题。而且它直接打结在我们一直在拉的那条安全线上,Fable 5 精心设计的生物网络回退,撞上 Hades 那种直接攻击安全层本身的招。前沿刚撞上政策墙,公开地撞,还有一百个防御者在说这墙朝向反了。
评论