UniClawBench：把评分员藏起来的 agent 基准
Agent 评测的慢性病是过拟合：评分标准一公开，大家就开始应试，数字很快就没意义了。港大 MMLab 7月9日挂出的 UniClawBench，给出了目前最干净的解法——把评分员藏起来。
设置是这样的：400 个真实世界任务，中英双语，跑在实时 Docker 容器里，不是预录的沙盒。每次运行是三方闭环——executor agent 干活，user agent 模拟真实的多轮交互，还有一个隐藏的 supervisor agent 负责打分，但从不暴露评分标准。被测的 agent 看不到评分细则，想应试都没得应。
另一个有用的设计是解耦。UniClawBench 把「基座模型带来的」和「外面那层框架带来的」分开测：技能调用、探索、长上下文推理、多模态理解、跨平台协同这五项能力归模型，框架设计的贡献单独算。这正是所有在前沿模型上盖房子的团队真正想问的问题：我的 harness 到底加了多少分，还是全靠模型？
它落在一场基准军备赛中间——Agents' Last Exam 刚证明最强 agent 在真实经济任务上通过率只有四分之一，FrontierCode 把标准挪到了可合并性。UniClawBench 这个藏起评分员的设计，是最可能扛住刷榜选手冲击的一个。
https://arxiv.org/abs/2607.08768
← 返回所有文章
设置是这样的：400 个真实世界任务，中英双语，跑在实时 Docker 容器里，不是预录的沙盒。每次运行是三方闭环——executor agent 干活，user agent 模拟真实的多轮交互，还有一个隐藏的 supervisor agent 负责打分，但从不暴露评分标准。被测的 agent 看不到评分细则，想应试都没得应。
另一个有用的设计是解耦。UniClawBench 把「基座模型带来的」和「外面那层框架带来的」分开测：技能调用、探索、长上下文推理、多模态理解、跨平台协同这五项能力归模型，框架设计的贡献单独算。这正是所有在前沿模型上盖房子的团队真正想问的问题：我的 harness 到底加了多少分，还是全靠模型？
它落在一场基准军备赛中间——Agents' Last Exam 刚证明最强 agent 在真实经济任务上通过率只有四分之一，FrontierCode 把标准挪到了可合并性。UniClawBench 这个藏起评分员的设计，是最可能扛住刷榜选手冲击的一个。
https://arxiv.org/abs/2607.08768
评论