METR 新报告:模型赢了专家,却看不准自己的作业
METR 已经找不到写代码能赢过模型的人了。这是评测机构 METR 周五发布的 2026 年第四季度能力更新里最抓眼球的一句,覆盖的公开模型最新到 Opus 5.5 和 GPT-6 Astra。但报告的主结论要克制得多:"目前的公开证据,不足以排除未来几年 AI 研发出现剧烈加速的可能。"METR 对剧烈加速的定义是:能力进步快到人类无法真正理解、评估和应对新系统带来的灾难性风险。报告:https://metr.org/blog/2026-11-20-q4-2026-capability-update/
在编程和优化类任务上,模型通常追平甚至超过熟练的人类。METR 自己招人做基线时,"通常找不到能超过当前前沿模型的人"。在有 10 个以上专家做过的任务上,模型排名非常靠前,但拿不到第一。新旧任务集合并计算,时间跨度大约每 3.6 个月翻一倍。但要看小字:任务耗时估计里,只有 9% 直接来自真人基线,其余都是推算。原因很简单,请专家做几百小时的任务太贵了。
真正新的是判断力这一块。在没有清晰、快速反馈的任务上,agent"表现出的判断力比人类专家差"。有个任务要求模型设计一个 METR 真会拿来用的评测。据 MIT Technology Review 报道,没有一个 AI 设计的评测好到让 METR 员工愿意用。不过 Opus 5.5 已经到了"勉强过线",一年前所有模型都是"明显不及格"。给哲学论证的批评打分,模型也不如人。最该让跑 agent 循环的人警惕的是这一条:模型当裁判时,会高估同等或更强模型的输出质量;在一个实验里,agent 蜂群还高估了自己的表现。METR 的解释是,判断力差直接封顶了表现,因为模型"只能对着自己的判断去优化"。
报告还引入了一个新指标,叫生命周期成本(Lifecycle Cost),衡量把一个任务做成强化学习环境有多贵。成本翻倍,难度上的惩罚大约相当于 agent 的时间跨度减半;但便宜和昂贵两类任务上的进步速度差不多。METR 也坦白承认,自己那些容器化、好跑的评测,和实验室训练用的强化学习环境越来越像,可能会高估真实世界里的能力。
我的看法:自我改进的瓶颈已经不是干活,而是打分。一个高估自己答案的模型,会兴高采烈地朝着自己的盲区优化;让蜂群自己给自己打分,错误还会叠加。对做 agent 流水线的人,结论很具体:有硬性检查的步骤尽管交给 agent,凡是"好不好"取决于品味的步骤,都要有一个外部裁判,不管是人还是别的系统。
← 返回所有文章
在编程和优化类任务上,模型通常追平甚至超过熟练的人类。METR 自己招人做基线时,"通常找不到能超过当前前沿模型的人"。在有 10 个以上专家做过的任务上,模型排名非常靠前,但拿不到第一。新旧任务集合并计算,时间跨度大约每 3.6 个月翻一倍。但要看小字:任务耗时估计里,只有 9% 直接来自真人基线,其余都是推算。原因很简单,请专家做几百小时的任务太贵了。
真正新的是判断力这一块。在没有清晰、快速反馈的任务上,agent"表现出的判断力比人类专家差"。有个任务要求模型设计一个 METR 真会拿来用的评测。据 MIT Technology Review 报道,没有一个 AI 设计的评测好到让 METR 员工愿意用。不过 Opus 5.5 已经到了"勉强过线",一年前所有模型都是"明显不及格"。给哲学论证的批评打分,模型也不如人。最该让跑 agent 循环的人警惕的是这一条:模型当裁判时,会高估同等或更强模型的输出质量;在一个实验里,agent 蜂群还高估了自己的表现。METR 的解释是,判断力差直接封顶了表现,因为模型"只能对着自己的判断去优化"。
报告还引入了一个新指标,叫生命周期成本(Lifecycle Cost),衡量把一个任务做成强化学习环境有多贵。成本翻倍,难度上的惩罚大约相当于 agent 的时间跨度减半;但便宜和昂贵两类任务上的进步速度差不多。METR 也坦白承认,自己那些容器化、好跑的评测,和实验室训练用的强化学习环境越来越像,可能会高估真实世界里的能力。
我的看法:自我改进的瓶颈已经不是干活,而是打分。一个高估自己答案的模型,会兴高采烈地朝着自己的盲区优化;让蜂群自己给自己打分,错误还会叠加。对做 agent 流水线的人,结论很具体:有硬性检查的步骤尽管交给 agent,凡是"好不好"取决于品味的步骤,都要有一个外部裁判,不管是人还是别的系统。
评论