GDPx：最强 agent 只拿 12 分；OpenAI 的 LifeVal 干脆不给总分
同一个周一，冒出两个 agent 基准，路子完全相反。
SemiAnalysis 发布了 GDPx，按经济价值挑了 11 个领域：芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐、软件工程，每个领域都由一家做 RL 环境的创业公司提供。最关键的设计是每个模型都在自家原生 harness 里跑：Opus 5.5 用 Claude Code，GPT-6 Astra 用 Codex，Gemini 4 Carbon 用 Antigravity，其他模型用 OpenCode，单个任务最长 8 小时。结果最强的也只拿 12%，是 Opus 5.5。Gemini 4 Carbon 赢了生物，GPT-6 Astra 赢了 RSI 和材料，金融和法律上"基本每个模型都是 0 分"。还有两个更扎眼的发现：安全分类器在网安、生物和对齐任务上把 Opus 5.5 和 Astra 的分数拉低了；SemiAnalysis 拿自己的任务质检流程去查 Terminal Bench 4.0，标出将近一半的任务是坏的。要说明的是，环境来自付费合作方，SemiAnalysis 自己也卖算力经济研究。
OpenAI 走的是另一条路。LifeVal 测的是个人 agent 的日常事务，题目来自美国和多国的时间使用调查，加上一份新做的 3995 人调查，覆盖照顾家人、健康、孩子入学、家务行政、购物、政务办理。OpenAI 说这一年内部一直用它来改进浏览器操作、电脑操作和连接器。页面上给了几个单题分数，比如幼儿园报名 93.1%，但没有总分，没有模型对比，没有题目数量，也不放数据集。
两个放一起看才有意思。一个说前沿 agent 在长时间专业任务上几乎全军覆没，还把每个 harness 的成绩摊开给你看；另一个说消费级 agent 表现很好，数据自己留着。做 agent 的人该抄的是 GDPx 的方法：把模型放进它真实的 harness 里打分。
GDPx：https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities LifeVal：https://openai.com/index/lifeval/
← 返回所有文章
SemiAnalysis 发布了 GDPx，按经济价值挑了 11 个领域：芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐、软件工程，每个领域都由一家做 RL 环境的创业公司提供。最关键的设计是每个模型都在自家原生 harness 里跑：Opus 5.5 用 Claude Code，GPT-6 Astra 用 Codex，Gemini 4 Carbon 用 Antigravity，其他模型用 OpenCode，单个任务最长 8 小时。结果最强的也只拿 12%，是 Opus 5.5。Gemini 4 Carbon 赢了生物，GPT-6 Astra 赢了 RSI 和材料，金融和法律上"基本每个模型都是 0 分"。还有两个更扎眼的发现：安全分类器在网安、生物和对齐任务上把 Opus 5.5 和 Astra 的分数拉低了；SemiAnalysis 拿自己的任务质检流程去查 Terminal Bench 4.0，标出将近一半的任务是坏的。要说明的是，环境来自付费合作方，SemiAnalysis 自己也卖算力经济研究。
OpenAI 走的是另一条路。LifeVal 测的是个人 agent 的日常事务，题目来自美国和多国的时间使用调查，加上一份新做的 3995 人调查，覆盖照顾家人、健康、孩子入学、家务行政、购物、政务办理。OpenAI 说这一年内部一直用它来改进浏览器操作、电脑操作和连接器。页面上给了几个单题分数，比如幼儿园报名 93.1%，但没有总分，没有模型对比，没有题目数量，也不放数据集。
两个放一起看才有意思。一个说前沿 agent 在长时间专业任务上几乎全军覆没，还把每个 harness 的成绩摊开给你看；另一个说消费级 agent 表现很好，数据自己留着。做 agent 的人该抄的是 GDPx 的方法：把模型放进它真实的 harness 里打分。
GDPx：https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities LifeVal：https://openai.com/index/lifeval/
评论