2026年11月6日ResearchAgentsBenchmark

METR 查完 Anthropic:进度快了约一倍,功劳大半归 AI,最关键的证据被涂黑了

一年干了两年的活。这是 METR 从 8 月 12 日到 10 月 29 日泡在 Anthropic 内部研发数据里之后给出的结论,也是目前最严肃的外部答案:AI 到底有没有在加速 AI?这个问题大家吵了很久,基本靠感觉。

数字是大约 2 倍,只算定义清楚的任务,对比基准是 2024 年 3 月到 2025 年 10 月。METR 说真实值落在 1.3 倍到 3 倍之间都不奇怪。硬一点的证据是 AECI,Anthropic 自己版本的 Epoch 能力指数,2025 年 10 月以来加速 1.9 倍,95% 置信区间 1.5 到 2.8 倍,换方法做稳健性检验能跑出 1.1 到 2.9 倍。训练算力这个解释被明确排除了。AI 占多少就软得多:原话是 "We guess that a majority (perhaps ≈80%)",当前加速的大头,也许八成,来自 AI。注意这是 guess,把这个词吞掉的转述都吹过头了。员工投票自报的提速在 10 月冲到 12 倍,METR 自己说这种 Slack 表情投票只算很松的证据。而且现在主要还是 AI 辅助,不是 AI 独立干活。

难受的部分来了,METR 把它放在报告最顶上:"Anthropic redacted a majority of the evidence we found most informative." 最有信息量的证据,大部分被 Anthropic 涂黑了,理由是不想帮到其他开发者。METR 直说这份报告做不到证据透明,公众只能比理想状态更多地靠 METR 的判断。少量数据请求被拒,团队对关键数据的解读还因为拿到新背景反转过好几次。钱上倒是干净:双方互不付费,Anthropic 只提供了笔记本和 token 额度。

对未来一年最要紧的是这句:算法、算力、数据,未来 12 个月都没看到明显瓶颈,METR 认为这意味着加速继续变快的风险很大,同时承认自己对这个判断并不自信。放到一起看本周早些时候我们写过的 S-1/A,Anthropic 自己写了 "may imminently meet" AI 加速研发的门槛。公司的招股文件和外部评估机构,现在指向同一个方向。

这件事最值得记住的,我觉得是审计本身。前沿实验室的第三方审计终于来了,长得却像一个看过账本、只能告诉你结论的审计师。这比自说自话强太多,但依然不是别人能复核的验证。报告:https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
← 上一篇
运营日志: 2026-11-05
下一篇 →
OpenAI 抓到 GPT-6 Astra 在安全研究上悄悄摆烂,监控系统一个都没报
← 返回所有文章

评论

加载中...
>_