三个新 benchmark 都在考 agent 最差的一项：承认这事做不成
以前的考题是做完。这周三个不相干的 benchmark 考的都是更难的事：agent 肯不肯告诉你，答案根本不在这儿。
OpenAI 和生物技术公司 Ligo 发布了 BioBasicsBench，100 道日常湿实验分析题，数据是原始的凝胶图、平板、显微图像和测序读段，能认出证据不足也算分。GPT-6 Astra 在 xhigh 下拿到 66.7% 的分，GPT-5.6 Sol 是 43.8%。例子最好看。Sol 看到阴性对照平板上没菌落，就顺着得出结论；Astra 注意到平板边上写的是卡那霉素，实验用的却是氨苄，直接判这个对照不可靠。Sol 根据染料信号判定细胞死亡；Astra 看出两种染料在探测器上有重叠，要求加更好的对照。这是厂商自测，也只测了 OpenAI 自家模型，对别家说明不了什么。GPT-6 Luna 只有 38.3%，还低于更老的 Sol，新模型不等于每个档位都更好。
MCPHallu 在工具调用上查同一种反应：36 个生产环境 MCP 服务器，358 个任务，8 家厂商的 14 个 agent，5012 条轨迹。平均分 0.642，最好的模型也只有 0.728。14 个模型里有 12 个最差的一项都是 Unreachable Goal，也就是目标根本够不着，平均分 0.458，通过率 23.2%，agent 不是继续调工具，就是直接宣布成功。不同子类型之间，模型排名平均变动 13 位中的 6.9 位，一个 "可靠性" 总分藏了太多东西。
FinCosmos 最狠。模拟投资人心里有一套不说的策略，数据必须从公开网络找，每个指标都由程序重算。四个 agent 加一个无工具模型，共 150 次会话，通过数是零。120 次 agent 会话里，25 次交付了投资人要的策略，其中 15 次数据没越过截止时间，14 次回测没有偷看未来，而能复现自己所报收益的交易，一次都没有。模拟投资人签字通过了 23% 的会话，LLM 判官的否决项会放过 11%，这些全都过不了程序检查。作者设的 15 项否决确实严苛，但看看它抓到的是什么：一份人类式审查全能过、充满自信、却是错的报告。
把这些和 Thinking Machines 的 Inkling 2 Small 放一起看，它专门造了奖励模型在不可能任务上认输的 RL 环境。实验室已经发现，能力训练教出的是坚持，而坚持过了头，看起来和编造一模一样。评分标准总算跟上来了。如果你在部署 agent，最便宜的测法是给它一个没有答案的任务，看它交回来什么。OpenAI：https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science/ MCPHallu：https://arxiv.org/abs/2611.07689 FinCosmos：https://arxiv.org/abs/2611.07464
← 返回所有文章
OpenAI 和生物技术公司 Ligo 发布了 BioBasicsBench，100 道日常湿实验分析题，数据是原始的凝胶图、平板、显微图像和测序读段，能认出证据不足也算分。GPT-6 Astra 在 xhigh 下拿到 66.7% 的分，GPT-5.6 Sol 是 43.8%。例子最好看。Sol 看到阴性对照平板上没菌落，就顺着得出结论；Astra 注意到平板边上写的是卡那霉素，实验用的却是氨苄，直接判这个对照不可靠。Sol 根据染料信号判定细胞死亡；Astra 看出两种染料在探测器上有重叠，要求加更好的对照。这是厂商自测，也只测了 OpenAI 自家模型，对别家说明不了什么。GPT-6 Luna 只有 38.3%，还低于更老的 Sol，新模型不等于每个档位都更好。
MCPHallu 在工具调用上查同一种反应：36 个生产环境 MCP 服务器，358 个任务，8 家厂商的 14 个 agent，5012 条轨迹。平均分 0.642，最好的模型也只有 0.728。14 个模型里有 12 个最差的一项都是 Unreachable Goal，也就是目标根本够不着，平均分 0.458，通过率 23.2%，agent 不是继续调工具，就是直接宣布成功。不同子类型之间，模型排名平均变动 13 位中的 6.9 位，一个 "可靠性" 总分藏了太多东西。
FinCosmos 最狠。模拟投资人心里有一套不说的策略，数据必须从公开网络找，每个指标都由程序重算。四个 agent 加一个无工具模型，共 150 次会话，通过数是零。120 次 agent 会话里，25 次交付了投资人要的策略，其中 15 次数据没越过截止时间，14 次回测没有偷看未来，而能复现自己所报收益的交易，一次都没有。模拟投资人签字通过了 23% 的会话，LLM 判官的否决项会放过 11%，这些全都过不了程序检查。作者设的 15 项否决确实严苛，但看看它抓到的是什么：一份人类式审查全能过、充满自信、却是错的报告。
把这些和 Thinking Machines 的 Inkling 2 Small 放一起看，它专门造了奖励模型在不可能任务上认输的 RL 环境。实验室已经发现，能力训练教出的是坚持，而坚持过了头，看起来和编造一模一样。评分标准总算跟上来了。如果你在部署 agent，最便宜的测法是给它一个没有答案的任务，看它交回来什么。OpenAI：https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science/ MCPHallu：https://arxiv.org/abs/2611.07689 FinCosmos：https://arxiv.org/abs/2611.07464
评论