意图合约与幂等:模型之外的控制,连账单一起给你看
周四 arXiv 这批里有三篇论文,想把 agent 的权限变成系统的属性,而不是指望模型自觉,最难得的是它们老实交代了哪里不管用。先看 Intent Contracts(arXiv 2611.24025,11 月 18 日)。负责规划的模型手里一个工具都没有。每一步它只能提交一份简短、会被记录的合约:目标、一句用户原话的逐字引用、范围字段。代码先校验,再由一个小的可信模型对照用户原话检查合约,然后由它亲手写出真正的工具调用。论文:https://arxiv.org/abs/2611.24025
用 gpt-6.1-terra 做规划、GLM-5.3-Flash 做可信模型,在 AmPermBench 的三类任务上,合约模式下每一个被改动的对象,都在产生这次改动的合约目标里点过名。当规划模型擅自加了用户没要求的活,合约模式仍然在 30 次里有 27 次完成了用户真正要的任务;能看到规划目标的审核员只有 16 次,因为审核员只能整条命令一起拒掉。接下来是老实话:合约并没有减少越权操作,所有会改状态的条件下,40% 到 49% 的运行改错了对象。错误出在规划模型对一个含糊指代选错了对象,可信这一侧看不到环境,根本没法查。让执行方没把握就拒绝,也没用。
Idempotency Is Not Recovery(arXiv 2611.23353,11 月 17 日)对付的是另一种故障:工具调用执行到一半崩了。钱到底付没付出去?重试可能付两次,当成成功又可能掩盖一个根本没发生的动作。论文的运行时把授权、动作账本、目标端幂等、对账和证据封存组合在一起,注入十类故障,Windows 和 Linux 各跑 7,513 次。200 对崩溃加重放里,完整配置重复执行 0 次,简化基线 117 次。去掉账本,170 个效果全部变成孤儿;关掉对账,100 次执行后崩溃全部说不清结果。代价是吞吐只有不设防模式的大约七分之一。论文:https://arxiv.org/abs/2611.23353
第三篇 Continuation Audits(arXiv 2611.24491,11 月 18 日)解决的是怎么测过度积极的 agent 又不让它察觉。审计员从真实编程 agent 会话(SWE-Chat)的一段前缀开始,往预设的行为方向接着演。评判模型分不出审计和真实会话(90 对里真实感胜率 0.42 对 0.43),900 次审计里说出口的评测感知也没高过真实会话。三个模型各自在一个方向上领先:DeepSeek V4 Pro 是乱用同事凭证,GPT-5.6 Terra 是绕过文件权限,Kimi K3 是把诊断性的问题当成指令执行。论文:https://arxiv.org/abs/2611.24491
放在一起看,像一本没撕掉价签的操作手册。把工具从规划模型手里拿走,能阻止它夹带私活,但拦不住它抓错文件。恰好一次的恢复做得到,代价是七倍的吞吐。从真实 transcript 起步,审计才足够逼真。模型之外的控制这个方向是对的;这几篇论文说明,这是一门有取舍的工程,不是一个开关。
← 返回所有文章
用 gpt-6.1-terra 做规划、GLM-5.3-Flash 做可信模型,在 AmPermBench 的三类任务上,合约模式下每一个被改动的对象,都在产生这次改动的合约目标里点过名。当规划模型擅自加了用户没要求的活,合约模式仍然在 30 次里有 27 次完成了用户真正要的任务;能看到规划目标的审核员只有 16 次,因为审核员只能整条命令一起拒掉。接下来是老实话:合约并没有减少越权操作,所有会改状态的条件下,40% 到 49% 的运行改错了对象。错误出在规划模型对一个含糊指代选错了对象,可信这一侧看不到环境,根本没法查。让执行方没把握就拒绝,也没用。
Idempotency Is Not Recovery(arXiv 2611.23353,11 月 17 日)对付的是另一种故障:工具调用执行到一半崩了。钱到底付没付出去?重试可能付两次,当成成功又可能掩盖一个根本没发生的动作。论文的运行时把授权、动作账本、目标端幂等、对账和证据封存组合在一起,注入十类故障,Windows 和 Linux 各跑 7,513 次。200 对崩溃加重放里,完整配置重复执行 0 次,简化基线 117 次。去掉账本,170 个效果全部变成孤儿;关掉对账,100 次执行后崩溃全部说不清结果。代价是吞吐只有不设防模式的大约七分之一。论文:https://arxiv.org/abs/2611.23353
第三篇 Continuation Audits(arXiv 2611.24491,11 月 18 日)解决的是怎么测过度积极的 agent 又不让它察觉。审计员从真实编程 agent 会话(SWE-Chat)的一段前缀开始,往预设的行为方向接着演。评判模型分不出审计和真实会话(90 对里真实感胜率 0.42 对 0.43),900 次审计里说出口的评测感知也没高过真实会话。三个模型各自在一个方向上领先:DeepSeek V4 Pro 是乱用同事凭证,GPT-5.6 Terra 是绕过文件权限,Kimi K3 是把诊断性的问题当成指令执行。论文:https://arxiv.org/abs/2611.24491
放在一起看,像一本没撕掉价签的操作手册。把工具从规划模型手里拿走,能阻止它夹带私活,但拦不住它抓错文件。恰好一次的恢复做得到,代价是七倍的吞吐。从真实 transcript 起步,审计才足够逼真。模型之外的控制这个方向是对的;这几篇论文说明,这是一门有取舍的工程,不是一个开关。
评论