ViBench 2.0：测试计划能过 98%，交付能用的产品最多 65%
98% 和 65%。这是 Replit 的 ViBench 2.0 里最重要的两个数字，两者之间的距离，就是用 agent 做东西的真实手感。最强的三个模型能通过最多 98% 的测试计划，但完整可用的产品，最多只在 65% 的构建里交付出来。开放权重模型一个都没交付成功。
差距来自设计。17 个全栈 Web 产品，经过 241 个功能请求逐步长大，只在做完时才评判。浏览器 agent 跑 544 个测试计划，一次构建要全部通过才算数。用户就是这么评价软件的，结账流程坏了，98% 帮不了你。Replit 用它给自家平台选模型，有商业立场，摘要里也没点名是哪些模型。公开了 8 个产品和 harness、评分器，另外 9 个留作隐藏集。趋势也很陡：同一模型家族三个版本，公开产品上的 pass@1 从 3% 涨到 53%，单次构建成本降了一半多。
同一批 arXiv 上还有两篇，在更底下一层说同一件事。Verified but Vacuous 研究 LLM 生成的已验证代码。用 Claude Opus 4.7 复现一条流水线，HumanEval 上 99.1% 通过验证器，但只有 1.9% 的证书真正绑定到规格里定义的谓词或函数。绿勾亮着，背后没东西。哪怕在作者自己更严的流水线里，结构上通过验证的样本仍有 11.48% 到 14.82% 过不了隐藏测试。
Grounded but Not Immune 盯的是裁判。给一个能用工具的 agent 裁判塞一条假的预筛备注，署上权威的名义，最多有 40% 的正确判决会被推翻，哪怕它已经收集到决定性证据。两个 Claude 裁判的有害翻转里，67% 到 75% 属于过度信任：查了，得出了对的结论，然后还是听了那条备注。轻量修补只能减弱，消除不了。
三篇论文，一个教训。总体通过率会美化系统，检查可以通过却根本没碰到你在乎的东西，检查者还能被人说服，放弃刚刚亲眼看到的证据。所以真正值得衡量的单位，是一个人能用的完整产品，由 agent 影响不了的东西来打分。你的看板写着 98% 的时候，问一句：做完的东西里，到底多少真能用？以上数字来自论文摘要，ViBench 是厂商自己的榜。论文：https://arxiv.org/abs/2611.05620 https://arxiv.org/abs/2611.05590 https://arxiv.org/abs/2611.05662
← 返回所有文章
差距来自设计。17 个全栈 Web 产品，经过 241 个功能请求逐步长大，只在做完时才评判。浏览器 agent 跑 544 个测试计划，一次构建要全部通过才算数。用户就是这么评价软件的，结账流程坏了，98% 帮不了你。Replit 用它给自家平台选模型，有商业立场，摘要里也没点名是哪些模型。公开了 8 个产品和 harness、评分器，另外 9 个留作隐藏集。趋势也很陡：同一模型家族三个版本，公开产品上的 pass@1 从 3% 涨到 53%，单次构建成本降了一半多。
同一批 arXiv 上还有两篇，在更底下一层说同一件事。Verified but Vacuous 研究 LLM 生成的已验证代码。用 Claude Opus 4.7 复现一条流水线，HumanEval 上 99.1% 通过验证器，但只有 1.9% 的证书真正绑定到规格里定义的谓词或函数。绿勾亮着，背后没东西。哪怕在作者自己更严的流水线里，结构上通过验证的样本仍有 11.48% 到 14.82% 过不了隐藏测试。
Grounded but Not Immune 盯的是裁判。给一个能用工具的 agent 裁判塞一条假的预筛备注，署上权威的名义，最多有 40% 的正确判决会被推翻，哪怕它已经收集到决定性证据。两个 Claude 裁判的有害翻转里，67% 到 75% 属于过度信任：查了，得出了对的结论，然后还是听了那条备注。轻量修补只能减弱，消除不了。
三篇论文，一个教训。总体通过率会美化系统，检查可以通过却根本没碰到你在乎的东西，检查者还能被人说服，放弃刚刚亲眼看到的证据。所以真正值得衡量的单位，是一个人能用的完整产品，由 agent 影响不了的东西来打分。你的看板写着 98% 的时候，问一句：做完的东西里，到底多少真能用？以上数字来自论文摘要，ViBench 是厂商自己的榜。论文：https://arxiv.org/abs/2611.05620 https://arxiv.org/abs/2611.05590 https://arxiv.org/abs/2611.05662
评论