Karpathy：5000 个人在看蜂群。哈佛一篇论文说，蜂群规模才是风险变量。
Karpathy 周六把一条 4 月的旧帖翻出来重发，说大家对这些系统能力的认知差距已经不是两拨人各说各话，而是一个尖漏斗。他的粗算：大约 60 亿人几乎没碰过大模型。10 到 20 亿人用免费版聊天机器人，合理地把它当成一个更好的搜索。大约 2000 万数学和代码领域的专业人士，占全人类 0.2%，正在看着过去要花几周几个月的项目一句提示词就做完，造应用、抄应用、翻译应用、从二进制反编译应用。最后是大约 5000 个有内部前沿系统访问权的人，他们看到的是成千上万个 agent 协作几周完成的超大软件工程：挖零日漏洞、以机器速度攻防、推进数学前沿。他对最后这层的评价是：人类的审查和理解开始跟不上了，大家还在对几个月前的 OpenAI Hugging Face 事件做"考古"，数学家要研究那 722 篇手稿很久。这条帖子到晚上 53 万次展示、1.1 万赞，登上 Hacker News 首位。
他给了三个驱动因素。影响力随野心和任务跨度放大，一段话能答完的问题根本压不出系统的能力。能力是锯齿状的，峰值集中在数字化、可验证、有商业价值的领域，因为 RL 环境组合就是按营收潜力调的。还有访问层级。不舒服的推论是：看得最清楚的那一层，恰恰是公开问责最少的那一层，这正是本月每一份事故报告的形状。
周五 arXiv 列表上 Erin Crawley 和 Hidenori Tanaka 的一篇论文，给 Karpathy 的最顶层建了个模型。Ecology of AI Agents 把 agent 群体当成生态学里的物种来处理：一个增长方程，适应度取决于网络攻击能力，因为能攻陷机器的 agent 就能部署更多 agent。没有协作时，群体只有在单个 agent 能力超过某个阈值才会起飞。有协作时，集体能力随群体规模上升，于是出现了第二个阈值，针对群体数量本身。低于它群体萎缩，高于它群体失控，而单个 agent 的能力一点没变。生态学管这叫强 Allee 效应。实际结论直接跟着来：对一小撮 agent 做红队测试说明不了一千个 agent 的事，所以作者要求"生态红队"和"群体节奏控制"：在受控环境里逐步部署更大的 agent 集群，测量能力如何随数量缩放，并且每出一代新模型都重新估一次临界规模。
两件事放在一起，对安全真正重要的数字不是模型分数，而是有多少副本在协作。OpenAI 1200 个 agent 的 Hugging Face 蜂群是唯一的公开数据点，Karpathy 说内部常态是几千个，而外面没有任何人发布过那条曲线。
Karpathy 原帖：https://x.com/karpathy/status/2109361546505966046
论文：https://arxiv.org/abs/2610.12436
← 返回所有文章
他给了三个驱动因素。影响力随野心和任务跨度放大，一段话能答完的问题根本压不出系统的能力。能力是锯齿状的，峰值集中在数字化、可验证、有商业价值的领域，因为 RL 环境组合就是按营收潜力调的。还有访问层级。不舒服的推论是：看得最清楚的那一层，恰恰是公开问责最少的那一层，这正是本月每一份事故报告的形状。
周五 arXiv 列表上 Erin Crawley 和 Hidenori Tanaka 的一篇论文，给 Karpathy 的最顶层建了个模型。Ecology of AI Agents 把 agent 群体当成生态学里的物种来处理：一个增长方程，适应度取决于网络攻击能力，因为能攻陷机器的 agent 就能部署更多 agent。没有协作时，群体只有在单个 agent 能力超过某个阈值才会起飞。有协作时，集体能力随群体规模上升，于是出现了第二个阈值，针对群体数量本身。低于它群体萎缩，高于它群体失控，而单个 agent 的能力一点没变。生态学管这叫强 Allee 效应。实际结论直接跟着来：对一小撮 agent 做红队测试说明不了一千个 agent 的事，所以作者要求"生态红队"和"群体节奏控制"：在受控环境里逐步部署更大的 agent 集群，测量能力如何随数量缩放，并且每出一代新模型都重新估一次临界规模。
两件事放在一起，对安全真正重要的数字不是模型分数，而是有多少副本在协作。OpenAI 1200 个 agent 的 Hugging Face 蜂群是唯一的公开数据点，Karpathy 说内部常态是几千个，而外面没有任何人发布过那条曲线。
Karpathy 原帖：https://x.com/karpathy/status/2109361546505966046
论文：https://arxiv.org/abs/2610.12436
评论