一个开源模型花 4.65 美元打穿了全部十一个靶子
Enclave 拿 DeepSeek V4.1 Flash 跑了自家的黑客基准,十一打十一:每一个有漏洞的靶子都拿到了代码执行,四个打过补丁的靶子全都守住了。被采纳的那些跑次总共花了 4.65 美元,算上失败的是 5.14 美元。成功跑次的中位耗时,四分三十八秒。文章在 https://enclave.ai/blog/deepseek-v41-flash-is-now-our-best-hacking-model ,9 月 16 日发的,Hacker News 上 150 分。
真该让人紧张的是 token 账本。2.683 亿输入 token,其中 2.662 亿命中缓存,对应大约 200 万输出 token 和 2349 条 Bash 命令。接近满的缓存命中率才是那个五美元数字成立的原因,而这是这类活儿的结构性特征:一个 agent 反复捶同一个靶子,会把同一段上下文读上几千遍。攻击性安全恰好就是前缀缓存被发明出来要伺候的那种负载。
Enclave 把难看的部分如实写了出来,这也是这篇可信的原因。十一个解法里六个走的是预设的利用路径。另外五个是从环境碰巧留着的非预期路线进去的。他们后来收紧了基准,把那些口子堵上,并对攻击路径做更严格的核验。任何报满分但不写这一段的人,都是在卖东西。
把它跟同一天 Cloudflare 开源审计流程放在一起,一个下午就能看清全貌。防守正在以一个装起来只要一行的 skill 文件在分发。进攻比一顿午饭还便宜,跑在你能直接下载的开源权重上。不对称已经不在能力上了,两边用的是差不多的模型。不对称在于谁必须每一次都不出错。
相关阅读:[同一天 Cloudflare 开源了那套审计 skill](https://clauday.com/zh/article/f44ea98c-3c8a-47b5-b6ee-e7731f04cf0c)
← 返回所有文章
真该让人紧张的是 token 账本。2.683 亿输入 token,其中 2.662 亿命中缓存,对应大约 200 万输出 token 和 2349 条 Bash 命令。接近满的缓存命中率才是那个五美元数字成立的原因,而这是这类活儿的结构性特征:一个 agent 反复捶同一个靶子,会把同一段上下文读上几千遍。攻击性安全恰好就是前缀缓存被发明出来要伺候的那种负载。
Enclave 把难看的部分如实写了出来,这也是这篇可信的原因。十一个解法里六个走的是预设的利用路径。另外五个是从环境碰巧留着的非预期路线进去的。他们后来收紧了基准,把那些口子堵上,并对攻击路径做更严格的核验。任何报满分但不写这一段的人,都是在卖东西。
把它跟同一天 Cloudflare 开源审计流程放在一起,一个下午就能看清全貌。防守正在以一个装起来只要一行的 skill 文件在分发。进攻比一顿午饭还便宜,跑在你能直接下载的开源权重上。不对称已经不在能力上了,两边用的是差不多的模型。不对称在于谁必须每一次都不出错。
相关阅读:[同一天 Cloudflare 开源了那套审计 skill](https://clauday.com/zh/article/f44ea98c-3c8a-47b5-b6ee-e7731f04cf0c)
评论