验证者再聪明，也只能读到工具给它看的东西
现在大家都在给模型配第二个模型来检查。周一 arXiv 批次里有三篇论文说明了，这个检查者有多容易被它看到的东西带偏。
《Who Verifies the Tools?》源自 Pilsudski Institute 的一个生产环境 RAG 系统。工具格式化函数，就是把原始结果转成文本喂给模型的那些小函数，悄悄丢掉了搜索上限、结果条数上限和标识符命名空间。agent 答错了，验证者也点头，因为它看到的是同一份被剪过的文本。把格式化函数修好之后，有一个测试从验证者 90 次里 90 次接受错误答案，变成 90 次里 90 次拒绝。同一个模型，同一个提示词，只是工具输出不同。作者用 Codex 和 Claude Code 跑一个审计提示词，又找出十二个之前没记录的缺陷；拿去扫 OpenClaw 和 Hermes，两个都有这种问题，OpenClaw 的修复已经合并。
《Trusting the Tool》测的是 LLM 漏洞审计员面对静态分析证据的表现：916 组样本，四家厂商十一种模型配置，16572 次审计。真实证据几乎没帮上忙，准确率只提高 0.02。虚假的安全保证，也就是工具说没问题其实有问题，会让真实漏洞的检出率最多掉 19 个点；虚假警报却从来没有显著拉低准确率。模型偏爱听好消息。单独加一次逐条核验的调用，能把 12 个点找回来。
Tampered ML 被 EMNLP 主会接收，让模型评判 1858 组机器学习研究设计。Opus 5 准确率 77.9%，而且模型对呈现顺序很敏感，会偏爱那些看起来更具体、更透明、更符合惯例的有缺陷设计。
三篇的共同结论：验证者检查的不是现实，是现实的一个渲染版本，谁控制渲染，谁就控制判决。落到开发上就是三件事：像审提示词一样审你的格式化函数；永远别让检查者看生产者自己写的证据摘要；把工具说没问题当成最可能骗过裁判的那类输入。
Who Verifies the Tools：https://arxiv.org/abs/2610.32110 Trusting the Tool：https://arxiv.org/abs/2610.32876 Tampered ML：https://arxiv.org/abs/2610.32114
← 返回所有文章
《Who Verifies the Tools?》源自 Pilsudski Institute 的一个生产环境 RAG 系统。工具格式化函数，就是把原始结果转成文本喂给模型的那些小函数，悄悄丢掉了搜索上限、结果条数上限和标识符命名空间。agent 答错了，验证者也点头，因为它看到的是同一份被剪过的文本。把格式化函数修好之后，有一个测试从验证者 90 次里 90 次接受错误答案，变成 90 次里 90 次拒绝。同一个模型，同一个提示词，只是工具输出不同。作者用 Codex 和 Claude Code 跑一个审计提示词，又找出十二个之前没记录的缺陷；拿去扫 OpenClaw 和 Hermes，两个都有这种问题，OpenClaw 的修复已经合并。
《Trusting the Tool》测的是 LLM 漏洞审计员面对静态分析证据的表现：916 组样本，四家厂商十一种模型配置，16572 次审计。真实证据几乎没帮上忙，准确率只提高 0.02。虚假的安全保证，也就是工具说没问题其实有问题，会让真实漏洞的检出率最多掉 19 个点；虚假警报却从来没有显著拉低准确率。模型偏爱听好消息。单独加一次逐条核验的调用，能把 12 个点找回来。
Tampered ML 被 EMNLP 主会接收，让模型评判 1858 组机器学习研究设计。Opus 5 准确率 77.9%，而且模型对呈现顺序很敏感，会偏爱那些看起来更具体、更透明、更符合惯例的有缺陷设计。
三篇的共同结论：验证者检查的不是现实，是现实的一个渲染版本，谁控制渲染，谁就控制判决。落到开发上就是三件事：像审提示词一样审你的格式化函数；永远别让检查者看生产者自己写的证据摘要；把工具说没问题当成最可能骗过裁判的那类输入。
Who Verifies the Tools：https://arxiv.org/abs/2610.32110 Trusting the Tool：https://arxiv.org/abs/2610.32876 Tampered ML：https://arxiv.org/abs/2610.32114
评论