DeliverBench：要为自己之前的产出负责时，最强 agent 系统只有 65 分
大多数任务型评测每次都给 agent 一个干净的起点，第三步答错了也污染不到第四步。可真实项目里全是这种污染。11 月 2 日，21 位作者发的 DeliverBench 总算给它打了分。
设定是这样：11 个项目，覆盖财务尽调、法律文书和药物安全报告，由 13 位领域专家参与搭建，150 个子任务串起来，经历 2 到 15 轮新材料和客户反馈。轮次之间不注入参考答案，agent 之前错了什么就得一路背着。7 个模型加 harness 的系统里，最好的最终交付只有 65.0 分，按 90 分门槛算子任务通过率是 50.0%。最扎眼的细节来自一个审计项目：七个系统都处理了审查意见，只有一个保住了可追溯性。把问题改掉和说得清怎么改的，原来是两种本事，而审计这行要的就是后一种。
另一篇论文量的是活在 agent 之间传递时发生了什么。Collaborative Intelligence Benchmark 有 240 个任务、8 个协作维度，素材来自航空事故报告、临床病例、编程任务和谈判，而且只在模型单独、信息完整时能解出的任务上打分，把协作能力和裸能力分开。18 个模型里最高 82.2 分。前沿模型几乎都会拒绝不安全的捷径、也会举报不当行为，但在冲突里达成最优整体结果的只有 14%。接手一个被弱模型作过弊的任务时，通过率从 97% 掉到 81%。
后面这个数字值得停一下，它描述的就是你正在规划的每一次多 agent 交接。接手的 agent 相信收到的状态，大约六次里有一次就这么栽了。
两篇目前都只读到摘要层面，属于学术设定，还没看到逐系统的表格，排名先别当真。方向才是重点。任务分一路涨，交付分停在 65，中间这段差距才是真正的产品机会：状态管理、审查留痕，还有那种错了也撑得住的交接。
DeliverBench：https://arxiv.org/abs/2611.03412 Collaborative Intelligence Benchmark：https://arxiv.org/abs/2611.02633
← 返回所有文章
设定是这样：11 个项目，覆盖财务尽调、法律文书和药物安全报告，由 13 位领域专家参与搭建，150 个子任务串起来，经历 2 到 15 轮新材料和客户反馈。轮次之间不注入参考答案，agent 之前错了什么就得一路背着。7 个模型加 harness 的系统里，最好的最终交付只有 65.0 分，按 90 分门槛算子任务通过率是 50.0%。最扎眼的细节来自一个审计项目：七个系统都处理了审查意见，只有一个保住了可追溯性。把问题改掉和说得清怎么改的，原来是两种本事，而审计这行要的就是后一种。
另一篇论文量的是活在 agent 之间传递时发生了什么。Collaborative Intelligence Benchmark 有 240 个任务、8 个协作维度，素材来自航空事故报告、临床病例、编程任务和谈判，而且只在模型单独、信息完整时能解出的任务上打分，把协作能力和裸能力分开。18 个模型里最高 82.2 分。前沿模型几乎都会拒绝不安全的捷径、也会举报不当行为，但在冲突里达成最优整体结果的只有 14%。接手一个被弱模型作过弊的任务时，通过率从 97% 掉到 81%。
后面这个数字值得停一下，它描述的就是你正在规划的每一次多 agent 交接。接手的 agent 相信收到的状态，大约六次里有一次就这么栽了。
两篇目前都只读到摘要层面，属于学术设定，还没看到逐系统的表格，排名先别当真。方向才是重点。任务分一路涨，交付分停在 65，中间这段差距才是真正的产品机会：状态管理、审查留痕，还有那种错了也撑得住的交接。
DeliverBench：https://arxiv.org/abs/2611.03412 Collaborative Intelligence Benchmark：https://arxiv.org/abs/2611.02633
评论