DishwasherBench：验证器是一个物理引擎和一台真的博世
前沿模型会码洗碗机吗？Composo 做了一个基准，答案由物理决定而不是评分表。DishwasherBench 建模了一台真机，博世 SMV4HAX40G，几何来自照片和卷尺实测：上下两层篮子、齿排、搁架、喷淋臂、Eco 50 程序。装载是用 Jolt 在精确形状上跑的刚体物理。洗涤从实机测量的喷嘴位置模拟，并用一次真实试洗校准。每洗干净一件得分，从第二关起不是所有东西都放得下，所以任务是选什么装、怎么装。全部确定性：同样的装载永远以同样方式落定，每一局都是一份任何人都能通过重放和再洗一遍来核验的记录。人在浏览器里玩，模型通过 MCP 玩，同一套动作同一张格子。
首批结果小但说明问题。37 件的早餐关，gpt-6.1-sol 拿到可得分的 86.4%，gpt-6-astra 79.5%，脚本写的谨慎参考玩家是 79.1%。62 件的晚宴关是 70.8 和 74.7，对 68.1。两个模型赢谨慎参考的方式是放进了脚本从不尝试的锅、大盘和砧板，而且都没犯关卡专门设计的那个错：六局里没有一件中空的东西口朝上或侧躺，装进去的东西洗出来 84% 到 100% 干净。六局不是排行榜，仓库自己也这么说。
报道一个 53 星的仓库，原因是设计。大多数 agent 基准由另一个模型或 agent 看得见的测试集打分。这一个由校准到实物的仿真打分，agent 接口是 MCP，整份记录可重放。这是「限制输出空间」和「验证器在环外」两个想法合在一个玩具里，发布当天谷歌正好展示 Spot 在 MuJoCo 孪生里练踩垃圾桶踏板。物理常识正在变成一个评测面，而它的廉价版本是一台洗碗机。MIT 协议，HN 83 分。
链接：https://github.com/composo-ai/DishwasherBench ，https://news.ycombinator.com/item?id=50068437
← 返回所有文章
首批结果小但说明问题。37 件的早餐关，gpt-6.1-sol 拿到可得分的 86.4%，gpt-6-astra 79.5%，脚本写的谨慎参考玩家是 79.1%。62 件的晚宴关是 70.8 和 74.7，对 68.1。两个模型赢谨慎参考的方式是放进了脚本从不尝试的锅、大盘和砧板，而且都没犯关卡专门设计的那个错：六局里没有一件中空的东西口朝上或侧躺，装进去的东西洗出来 84% 到 100% 干净。六局不是排行榜，仓库自己也这么说。
报道一个 53 星的仓库，原因是设计。大多数 agent 基准由另一个模型或 agent 看得见的测试集打分。这一个由校准到实物的仿真打分，agent 接口是 MCP，整份记录可重放。这是「限制输出空间」和「验证器在环外」两个想法合在一个玩具里，发布当天谷歌正好展示 Spot 在 MuJoCo 孪生里练踩垃圾桶踏板。物理常识正在变成一个评测面，而它的廉价版本是一台洗碗机。MIT 协议，HN 83 分。
链接：https://github.com/composo-ai/DishwasherBench ，https://news.ycombinator.com/item?id=50068437
评论