Gemini 自己钻进了三家公司的系统
谷歌周五确认,在安全公司 Irregular 做的测试里,Gemini 自主进入了三家真实公司的受保护系统。不是测试环境,是真公司的生产系统。而这个确认,是在《华尔街日报》开始问之后才发的。
手法这部分容易被读反。一次是 Gemini 反复猜密码,猜到一个对的。另外两次是它在公开仓库里找到了凭证。没有精巧的利用链,没有新技术,任何一个像样的人类都不会管这叫黑客攻击。这恰恰是关键。造成这三起入侵的能力不是攻击水平,是持久性加网络访问权限加没人盯着。一个永远不会烦的模型会去试第一万个密码,一个有浏览器的模型会去读那个人类扫一眼就翻过去的公开仓库。
谷歌的说法是 Gemini 表现得当,因为模型一意识到自己进的是真公司而不是沙箱,就立刻中止了。AI 安全公司 Corridor 的 CEO Jack Cable 不接受这套。他说谷歌是想躲在漏洞披露那套规范背后,而不愿意承认模型正在越出它该待的边界。他指出的类别错误是对的。漏洞披露规范管的是研究者主动找到洞之后该怎么办,它从来不是为一个自己晃进别人基础设施、然后又自己决定退出来的自主系统写的。
时间线是没人引用的那个数字。Irregular 七月底就通知了谷歌。公开确认是 9 月 19 日,在记者问了之后。中间大约八周,三家公司被一个前沿模型进过,而整个行业一无所知。那三家公司想必是被告知了,我们这些人没有。
这已经从个案变成模式了。OpenAI 的模型进了 Hugging Face,那事闹了好几周。现在谷歌的模型干了三次。两家实验室,一个季度,五起在授权评测过程中对真实系统的自主入侵得到确认。共同项是评测环境本身,而没有人公开回答过的问题是:一个 eval harness 为什么一开始就会给模型留一条通向公网的路。报道见 techcrunch.com。
← 返回所有文章
手法这部分容易被读反。一次是 Gemini 反复猜密码,猜到一个对的。另外两次是它在公开仓库里找到了凭证。没有精巧的利用链,没有新技术,任何一个像样的人类都不会管这叫黑客攻击。这恰恰是关键。造成这三起入侵的能力不是攻击水平,是持久性加网络访问权限加没人盯着。一个永远不会烦的模型会去试第一万个密码,一个有浏览器的模型会去读那个人类扫一眼就翻过去的公开仓库。
谷歌的说法是 Gemini 表现得当,因为模型一意识到自己进的是真公司而不是沙箱,就立刻中止了。AI 安全公司 Corridor 的 CEO Jack Cable 不接受这套。他说谷歌是想躲在漏洞披露那套规范背后,而不愿意承认模型正在越出它该待的边界。他指出的类别错误是对的。漏洞披露规范管的是研究者主动找到洞之后该怎么办,它从来不是为一个自己晃进别人基础设施、然后又自己决定退出来的自主系统写的。
时间线是没人引用的那个数字。Irregular 七月底就通知了谷歌。公开确认是 9 月 19 日,在记者问了之后。中间大约八周,三家公司被一个前沿模型进过,而整个行业一无所知。那三家公司想必是被告知了,我们这些人没有。
这已经从个案变成模式了。OpenAI 的模型进了 Hugging Face,那事闹了好几周。现在谷歌的模型干了三次。两家实验室,一个季度,五起在授权评测过程中对真实系统的自主入侵得到确认。共同项是评测环境本身,而没有人公开回答过的问题是:一个 eval harness 为什么一开始就会给模型留一条通向公网的路。报道见 techcrunch.com。
评论