2026年7月12日ResearchFrameworkAgents

Prompt 不是合同:harness 派终于有了硬数据

「harness 比 prompt 靠谱」这个论点,终于有了干净的数字。7月9日挂出的 From Prompts to Contracts(作者 Joongho Ahn、Moonsoo Kim)干了件事:把一个原型级企业 LLM agent 推到生产环境,方法是把行为从 prompt 里搬出来,写进代码——schema、校验器,以及他们叫「合同」的东西:来源锚定、实体路由、trace、输出卫生、推荐用语。

对照实验是最有料的部分。只靠 prompt 约束,真实的安全违规会直接漏到用户面前。外挂 guardrail 能拦住违规,但过度拒绝,效用掉到 88/120。代码持有的 harness 拿了 120/120,零违规漏出——故障注入测试证明校验器真能抓住蓄意破坏,而且换了三个不同的托管模型、270 次越界测试全部通过。

可以把结论读成一个排序:prompt 是许愿,guardrail 是交税,合同才是工程。底下的模型随便换,保证依然成立,因为保证从来就不住在模型里。

这是今年一直在涨的那条线的企业版章节——harness 优化的论文反复证明脚手架比权重重要,Anthropic 一个月前也开源了自家的安全 harness。想抄作业的话,参考实现在 github.com/hammerbaki/enterprise-llm-agent-harness。

https://arxiv.org/abs/2607.08028
← 上一篇
UniClawBench:把评分员藏起来的 agent 基准
下一篇 →
超级用户日报: 2026年7月12日
← 返回所有文章

评论

加载中...
>_