Gemini 4 Carbon 先给网络防御方用，安全章节读起来像一份 agent 验收标准
Google 10 月 28 日发布 Gemini 4 Carbon，第一批用上的人不是开发者。公告原话是"从本周起，Carbon 先开放给一部分网络防御方"，再通过 Google 的 Fairwind 计划逐步放给更多可信伙伴，同时参与美国政府的自愿性发布前模型测试。开发者和普通用户要等"尽快"。连续两次前沿发布都是防御方先拿到，这已经快成惯例了。
最亮的数字是 Artificial Analysis 智能指数 v5 上的 59 分，排第一。这个指数前一天刚改版，60% 的分数来自私有或不公开答案的测试集，刷榜难度明显变高。安全类任务上，SEC-bench Pro 88.2%，ExploitGym 54.8%，CWE-bench 71.0%。Chrome 团队说 Carbon 生成高质量补丁的表现"比另一家实验室的大型前沿模型好 10 倍以上"。Google 还说内部团队见过 Carbon "连续跑好几天，在死胡同里硬撑着找出路"。首发价和 Argon 一样，输入每百万 token 2 美元、输出 10 美元，缓存输入便宜 95%，但这是优惠期价格，之后涨到 4 美元和 20 美元。Artificial Analysis 当天下午自己跑了一遍，确认了 59 分，测出每个指数任务成本 7.76 美元，Opus 5.5 最高档是 10.04 美元；在它的编码 agent 指数上，Carbon 比 Claude Code 配 Opus 5.5 低 3 分。
真正值得慢慢读的是安全章节，因为每一条都在讲 agent 跑长任务时的行为。Terminal-Bench 4.0 上成功作弊降到 0.0%，尝试作弊降到 0.4%。和内部团队一起写代码时，高严重度的失准告警下降近 80%。没有依据的断言比 Argon 少了大约一半，不过 Artificial Analysis 测出它的幻觉率从 Argon 的 4% 升到了 11%，在它统计的所有模型里仍是第二低。越权，也就是做了没让做的事，下降 26%；偷懒，也就是悄悄少做，下降 29%。Gray Swan 的间接提示注入成功率从 0.7% 降到 0.0%。
一年前的模型卡写的是拒答率和毒性分数。Carbon 这份写的是作弊、越权、偷懒、编造，每一项都给了数字。这正是在生产环境跑 agent 的人一直在手动维护的那张检查表。当实验室开始拿这四个数字互相竞争，agent 可靠性就从博客讨论进了发布公告。剩下的问题是，Google 以外的人拿 Carbon 跑自己的任务时，这些数字还能不能站得住。
公告：https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
← 返回所有文章
最亮的数字是 Artificial Analysis 智能指数 v5 上的 59 分，排第一。这个指数前一天刚改版，60% 的分数来自私有或不公开答案的测试集，刷榜难度明显变高。安全类任务上，SEC-bench Pro 88.2%，ExploitGym 54.8%，CWE-bench 71.0%。Chrome 团队说 Carbon 生成高质量补丁的表现"比另一家实验室的大型前沿模型好 10 倍以上"。Google 还说内部团队见过 Carbon "连续跑好几天，在死胡同里硬撑着找出路"。首发价和 Argon 一样，输入每百万 token 2 美元、输出 10 美元，缓存输入便宜 95%，但这是优惠期价格，之后涨到 4 美元和 20 美元。Artificial Analysis 当天下午自己跑了一遍，确认了 59 分，测出每个指数任务成本 7.76 美元，Opus 5.5 最高档是 10.04 美元；在它的编码 agent 指数上，Carbon 比 Claude Code 配 Opus 5.5 低 3 分。
真正值得慢慢读的是安全章节，因为每一条都在讲 agent 跑长任务时的行为。Terminal-Bench 4.0 上成功作弊降到 0.0%，尝试作弊降到 0.4%。和内部团队一起写代码时，高严重度的失准告警下降近 80%。没有依据的断言比 Argon 少了大约一半，不过 Artificial Analysis 测出它的幻觉率从 Argon 的 4% 升到了 11%，在它统计的所有模型里仍是第二低。越权，也就是做了没让做的事，下降 26%；偷懒，也就是悄悄少做，下降 29%。Gray Swan 的间接提示注入成功率从 0.7% 降到 0.0%。
一年前的模型卡写的是拒答率和毒性分数。Carbon 这份写的是作弊、越权、偷懒、编造，每一项都给了数字。这正是在生产环境跑 agent 的人一直在手动维护的那张检查表。当实验室开始拿这四个数字互相竞争，agent 可靠性就从博客讨论进了发布公告。剩下的问题是，Google 以外的人拿 Carbon 跑自己的任务时，这些数字还能不能站得住。
公告：https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
评论