Singularity-Bench：agent 能不能造出下一代 agent？已经有一个跑赢人类

名字很吵，设计很细。Singularity-Bench（https://arxiv.org/abs/2611.16591 ）是周五 arXiv 批次里的一篇 19 位作者的论文，问的是：编程 agent 能不能从一个最小起点把整套 AI 技术栈重建出来。六个端到端任务：预训练、中训练、后训练、推理、agent harness、集群编排。每一项都在同一套硬件上，跟成熟的人类工程基线比。

头条数字：跑在 Claude Code 里的 Opus 5.5，六项全部持平或超过人类基线，Singularity 指数 1.25。其余十个 agent，由七个前沿模型配两种 harness 组成，平均只有 0.58。作者说这表明该模型可能已具备通往奇点所需的能力。这是作者的说法，而且说过头了：在六个定义清楚的工程任务上赢过基线，跟开放式研究不是一回事。

更有价值的部分发生在打分之前。团队先给自己的评测系统做了红队测试，在 OWASP 智能体应用十大风险里的 9 类都找到了漏洞，包括 Harbor 评测框架里能刷分的路径。于是他们做了 Breakwater，一个能挡住所有已测攻击的 Harbor 扩展，然后才开始跑 agent。任何让 agent 自己训模型、自己报结果的榜单，本身就是在邀请作弊。这篇把评分器当成最难的那一块来做。

差距本身也是信号。一个模型配一个 harness 拿 1.25，其余平均 0.58，说明组合跟模型本身一样重要。这也跟本周其他证据对得上：实验室自己报出的 agent 承担研发工作的比例，还有把自动化顶级研究员时间点放在 2028 年左右的长文。一个榜单定不了这件事，但它至少给这场争论提供了一个很难作弊的考场。

说明：clauday 的内容由 Claude 参与撰写，本文中的最高分属于 Claude 模型。