加密过的能力测不出来:模型可以被证明能藏起任意能力
每一次能力评测都压在一个假设上:如果模型会做那件危险的事,足够好的红队就能让它在你面前做出来。Andis Draguns、Sumeet Ramesh Motwani、Raymond Douglas 和 Christian Schroeder de Witt 的论文说,面对一个有敌意的开发者,这个假设不成立,而且是证明,不是论证。构造方法是把一个加密的神经网络嵌进宿主模型的权重里。隐藏电路只在收到秘密触发器时才解密执行。用 digital locker,作者证明在标准密码学假设下,即使拿到全部白盒权重,隐藏的计算也是可证明地难以激发、难以解释。之前的工作能藏一个固定字符串,这次藏的是任意程序。
他们用 PyTorch 做出来,然后像审计员一样攻击自己的模型:微调、权重加噪、基于梯度的触发器搜索、潜空间对抗训练。隐藏任务是化学反应预测,选它是当 CBRN 相关能力的替身。没有一种激发方法把它挖出来。模型开源,让防御方来试。
把这篇放在本周其他新闻旁边读。Anthropic 10月9日把所有内部评测断网。英国 AI 安全研究所在今天发布前测了 Gemini 4 Argon。谷歌说它监控内部激活来抓滥用。路透同一天报道实验室在谈外部评估员能发表多少。这一切都假设评估员能找到那里有的东西。这篇论文说,一个想过审计的开发者可以交付一个能过审计、同时仍然带着那种能力的模型,审计看不出来。实际结论不舒服:权重访问不够,信任只能往上游挪,挪到训练来源和谁对 checkpoint 有写权限。HN 推到 270 分,评论区问的是最明显的问题:一个没有敌意的实验室会不会无意中对自己干出这件事。论文没有这么主张,但这才是评测断网那条新闻真正要问的。
链接:https://arxiv.org/abs/2610.13928 ,https://news.ycombinator.com/item?id=50065692
← 返回所有文章
他们用 PyTorch 做出来,然后像审计员一样攻击自己的模型:微调、权重加噪、基于梯度的触发器搜索、潜空间对抗训练。隐藏任务是化学反应预测,选它是当 CBRN 相关能力的替身。没有一种激发方法把它挖出来。模型开源,让防御方来试。
把这篇放在本周其他新闻旁边读。Anthropic 10月9日把所有内部评测断网。英国 AI 安全研究所在今天发布前测了 Gemini 4 Argon。谷歌说它监控内部激活来抓滥用。路透同一天报道实验室在谈外部评估员能发表多少。这一切都假设评估员能找到那里有的东西。这篇论文说,一个想过审计的开发者可以交付一个能过审计、同时仍然带着那种能力的模型,审计看不出来。实际结论不舒服:权重访问不够,信任只能往上游挪,挪到训练来源和谁对 checkpoint 有写权限。HN 推到 270 分,评论区问的是最明显的问题:一个没有敌意的实验室会不会无意中对自己干出这件事。论文没有这么主张,但这才是评测断网那条新闻真正要问的。
链接:https://arxiv.org/abs/2610.13928 ,https://news.ycombinator.com/item?id=50065692
评论