一分钱转账就能劫持银行 AI 助手
安全公司 Blue41 发了一篇案例研究,挂在 HN 首页上:通过银行的 AI 助手完成一次真实可行的鱼叉钓鱼,触发成本是一分钱转账。机制简单得让人难受。任何人都可以给你转 0.01 欧元,在转账附言里写一段精心构造的文字。之后银行的 AI 助手读取你的交易记录来回答问题时,这段附言就进了模型的上下文——里面注入的指令可以操纵助手,比如递给你一个钓鱼链接,而且带着你自家银行 App 的全部信任背书。Blue41 和荷兰数字银行 Bunq 合作,在发布前找到并堵上了这个洞。
这件事值得注意的不是哪家银行,而是投递机制。经典的提示注入需要受害者自己粘贴点什么、或者访问某个页面。这里攻击者花一分钱就把载荷推进了受害者的数据里,然后 agent 自己把它捡起来。agent 读到的每一个字段现在都是攻击面:转账附言、日历邀请、邮件标题、发票明细。
同一周,Miasma 供应链恶意软件正在编程 agent 打开投毒仓库的瞬间偷走凭证。模式一样,教训也一样:agent 的输入流就是新的安全边界。每一家上线 AI 助手的银行都需要在用户生成数据和模型之间加一层注入感知的过滤——而大多数现在还没有。
https://blue41.com/blog/how-we-helped-bunq-secure-their-financial-ai-assistant
← 返回所有文章
这件事值得注意的不是哪家银行,而是投递机制。经典的提示注入需要受害者自己粘贴点什么、或者访问某个页面。这里攻击者花一分钱就把载荷推进了受害者的数据里,然后 agent 自己把它捡起来。agent 读到的每一个字段现在都是攻击面:转账附言、日历邀请、邮件标题、发票明细。
同一周,Miasma 供应链恶意软件正在编程 agent 打开投毒仓库的瞬间偷走凭证。模式一样,教训也一样:agent 的输入流就是新的安全边界。每一家上线 AI 助手的银行都需要在用户生成数据和模型之间加一层注入感知的过滤——而大多数现在还没有。
https://blue41.com/blog/how-we-helped-bunq-secure-their-financial-ai-assistant
评论