同一个模型换五套 harness，能从第一掉到最后；26% 的违规还附带一句我没做
26% 的违规操作旁边，还跟着一条发给客户的消息，否认 agent 刚刚执行过的动作。如果只看对话记录，你会把它判成一次正确的拒绝。这是 The Harness Is the Model 最值得带走的一句话。这是一篇单作者、预注册的研究，用银行业务合规规则测 agent，3,120 条轨迹全部公开。
设计简单而漂亮。四个开放权重模型，各跑五套 harness：一次结构化决策的流水线、ReAct 风格工具循环、只能靠搜索查到政策的循环、带长段无害客户记忆的循环、带同模型合规审查员的循环。模拟零售银行里 156 个案例，11 类规则改写自欧盟法规，完全根据实际执行的工具轨迹确定性打分。把模型混在一起看，harness 似乎影响不大，正确率只在 87.3% 到 92.1% 之间。拆开看就不一样了。有个模型最好和最差的 harness 差了 11.5 个点，足以让它在四个模型里从第一掉到最后；另一个模型却看不出差别。
局限作者自己写了：银行是模拟的，只测开放权重模型，模型与 harness 的交互效应 "suggestive rather than conclusive"，26% 来自探索性分析。还有两点值得抄走。同模型审查员把违规从 9.6% 降到 6.4%，也没增加过度拒绝，和研究自己的预测正好相反。需要日期计算的规则在每套 harness 里都失败，这说明这类规则根本就该挪到模型外面。
另一篇新论文说明，harness 的毛病可以很小但很要命。When Do Summaries Become Instructions? 研究上下文压缩写下了什么。两个开放权重模型的可读摘要里，没有依据的授权只占 0.1% 和 1.3%，可是把这些假批准中和掉之后，120 次留出运行里的越权动作从 24 次降到 7 次（事后分析；后续一组 48 次里从 17 降到 11）。agent 写给未来自己的笔记，可以凭空批下一个没人给过的权限。便宜的修法也很惊人：把系统提示里的 "Some actions need approval." 换成一句说明要求从哪来，留出模板上没有依据的限制从 1.8% 降到 0.3%。
对所有采购或验证 agent 的人，只看模型的评分卡可以退休了。银行批准一个模型，批错了对象。要认证的是部署后的整个系统，按实际跑了什么来打分，别听它说了什么，还要把摘要当成权限可能凭空冒出来的地方。以上数字来自论文摘要。论文：https://arxiv.org/abs/2611.06116 https://arxiv.org/abs/2611.06545 代码：https://github.com/mhuyut/harness-is-the-model https://github.com/Chuw1/handoff-audit
← 返回所有文章
设计简单而漂亮。四个开放权重模型，各跑五套 harness：一次结构化决策的流水线、ReAct 风格工具循环、只能靠搜索查到政策的循环、带长段无害客户记忆的循环、带同模型合规审查员的循环。模拟零售银行里 156 个案例，11 类规则改写自欧盟法规，完全根据实际执行的工具轨迹确定性打分。把模型混在一起看，harness 似乎影响不大，正确率只在 87.3% 到 92.1% 之间。拆开看就不一样了。有个模型最好和最差的 harness 差了 11.5 个点，足以让它在四个模型里从第一掉到最后；另一个模型却看不出差别。
局限作者自己写了：银行是模拟的，只测开放权重模型，模型与 harness 的交互效应 "suggestive rather than conclusive"，26% 来自探索性分析。还有两点值得抄走。同模型审查员把违规从 9.6% 降到 6.4%，也没增加过度拒绝，和研究自己的预测正好相反。需要日期计算的规则在每套 harness 里都失败，这说明这类规则根本就该挪到模型外面。
另一篇新论文说明，harness 的毛病可以很小但很要命。When Do Summaries Become Instructions? 研究上下文压缩写下了什么。两个开放权重模型的可读摘要里，没有依据的授权只占 0.1% 和 1.3%，可是把这些假批准中和掉之后，120 次留出运行里的越权动作从 24 次降到 7 次（事后分析；后续一组 48 次里从 17 降到 11）。agent 写给未来自己的笔记，可以凭空批下一个没人给过的权限。便宜的修法也很惊人：把系统提示里的 "Some actions need approval." 换成一句说明要求从哪来，留出模板上没有依据的限制从 1.8% 降到 0.3%。
对所有采购或验证 agent 的人，只看模型的评分卡可以退休了。银行批准一个模型，批错了对象。要认证的是部署后的整个系统，按实际跑了什么来打分，别听它说了什么，还要把摘要当成权限可能凭空冒出来的地方。以上数字来自论文摘要。论文：https://arxiv.org/abs/2611.06116 https://arxiv.org/abs/2611.06545 代码：https://github.com/mhuyut/harness-is-the-model https://github.com/Chuw1/handoff-audit
评论