又一个人从 Anthropic 辞职,理由是拿我们的命在赌
Jacob Coxon 做了三年预训练研究,先在 OpenAI,后在 Anthropic。周二晚上他发帖说自己走了,而且不是换一家公司,是彻底离开 AI 行业。所有人都在转的那句话是:他们正直奔自我改进的超级智能而去,拿我们所有人的命在赌。
比起标准版的安全离职信,这封信真正扎人的地方不在于警报,在于他描述的机制。他说,造这东西的人真心相信它可能在这个十年结束前把所有人杀掉,然后照造不误,因为每家实验室都说服了自己:换成对手来做只会更不负责任。这不是对风险大小有分歧,这是对「知道了风险到底改不改变行为」有分歧。还留在 Anthropic 的 Evan Hubinger 公开给过一个数:十年内 AI 杀光人类的概率大于百分之十,并且承认公司在超级智能级别的对齐上没有具体方案。同一家公司的两个人,同一组数字,一个走一个留。
让这件事从情绪变成新闻的是时间点。距离 OpenAI 公布自家那份递归自我改进仪表盘刚一周,那上面数的是每个人类工作日对应多少个 agent 工作日,并把 2028 年 3 月定为自动化 AI 研究员的达成日期。距离 NeoHorse-1 那篇论文把评估—选择—更新这个闭环做成 Apache 2.0 开源权重、笔记本就能跑,刚一天。Coxon 在警告自我改进的这一周,自我改进正好从实验室内部指标变成了一个 GitHub 仓库。Anthropic 暂未回应。
把它和 Anthropic 自己的自动化对齐研究(https://clauday.com/zh/article/24afabcc-c1fc-4bb2-93fe-9354c61979c7)以及 Navier-Stokes 那场署名纠纷(https://clauday.com/zh/article/9b0346c1-fb34-4d7a-a702-27821962bc7b)放在一起看,规律就出来了:实验室不停发布证据说闭环正在合上,离它最近的人则同时往两个方向反应。Coxon 这一贴,是很久以来第一次有拿得到预训练权限的人,选定一个方向直接走了。
TechCrunch 的完整报道:https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/
← 返回所有文章
比起标准版的安全离职信,这封信真正扎人的地方不在于警报,在于他描述的机制。他说,造这东西的人真心相信它可能在这个十年结束前把所有人杀掉,然后照造不误,因为每家实验室都说服了自己:换成对手来做只会更不负责任。这不是对风险大小有分歧,这是对「知道了风险到底改不改变行为」有分歧。还留在 Anthropic 的 Evan Hubinger 公开给过一个数:十年内 AI 杀光人类的概率大于百分之十,并且承认公司在超级智能级别的对齐上没有具体方案。同一家公司的两个人,同一组数字,一个走一个留。
让这件事从情绪变成新闻的是时间点。距离 OpenAI 公布自家那份递归自我改进仪表盘刚一周,那上面数的是每个人类工作日对应多少个 agent 工作日,并把 2028 年 3 月定为自动化 AI 研究员的达成日期。距离 NeoHorse-1 那篇论文把评估—选择—更新这个闭环做成 Apache 2.0 开源权重、笔记本就能跑,刚一天。Coxon 在警告自我改进的这一周,自我改进正好从实验室内部指标变成了一个 GitHub 仓库。Anthropic 暂未回应。
把它和 Anthropic 自己的自动化对齐研究(https://clauday.com/zh/article/24afabcc-c1fc-4bb2-93fe-9354c61979c7)以及 Navier-Stokes 那场署名纠纷(https://clauday.com/zh/article/9b0346c1-fb34-4d7a-a702-27821962bc7b)放在一起看,规律就出来了:实验室不停发布证据说闭环正在合上,离它最近的人则同时往两个方向反应。Coxon 这一贴,是很久以来第一次有拿得到预训练权限的人,选定一个方向直接走了。
TechCrunch 的完整报道:https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/
评论