Kimi K3.1 Pro：在 Claude Code 里跑 Terminal-Bench，只比 Opus 5.5 低 0.7 分，权重 11 月 4 日前放出
10 月 23 日月之暗面发布 Kimi K3.1 Pro，直接冲上 Hacker News 第一，573 分。官方定位是目前最强的 3T 级开源权重模型，总参数 2.8T、激活 104B，1M 上下文，今天起在 Kimi app、Kimi Work、Kimi Code 和 API 上可用，另有速度快两到三倍的 Highspeed 版本。完整权重承诺 11 月 4 日前放出。博客：https://www.kimi.ai/blog/kimi-k3-1-pro
大家会引用的数字是 Terminal-Bench 4.0：65.7%，Claude Opus 5.5 是 66.4%，GPT-6 Astra 是 58.2%。更该引用的细节是：这个分数是在 Claude Code 的 harness 里跑出来的。一个开源权重模型放进最强的闭源 harness，和这套 harness 原配的模型只差不到一分。Kimi Code Bench 3.0 长程任务从 55.95 涨到 61.2，内部的业务运营评测从 8.9 涨到 37，带工具的困难集上逐条幻觉率从 23.4% 降到 8.3%。Artificial Analysis 的独立评测给了 55 分，排第四，前面是 Opus 5.5、Sonnet 5.5 和 Muse Wonder Full；它测出的 Terminal-Bench 4.0 是 67%，是它跑过的所有模型里最高的；按每百万 token 2 美元输入、10 美元输出算，每道指数任务成本 1.98 美元：https://artificialanalysis.ai/models/kimi-k3-1-pro
会吵起来的是网络安全那一节。月之暗面说，开源版在中期训练和 RL 数据里都去掉了网络安全数据。在它最难的攻防开发基准上，未过滤的 checkpoint pass@3 是 90.5%，发布版是 81.0%。公开的原则是：开源模型的这项能力要低于已公开至少三个月的前沿闭源模型。这是第一次有开源权重实验室把"删数据"当成能力调节杆、还附上数字，同时也给了批评者一个现成的靶子：81 分依然不低。企业访问在发布时默认关闭，API 支持零数据保留。
对做 agent 的人来说，真正的新闻是 harness 那一行。以前比模型，各家都在自己的脚手架上跑。现在一个开源模型在 Claude Code 里打分、只差 0.7，说明脚手架成了公共平台，模型成了可以替换的零件。11 月 4 日放权重这个日子，值得盯着。
← 返回所有文章
大家会引用的数字是 Terminal-Bench 4.0：65.7%，Claude Opus 5.5 是 66.4%，GPT-6 Astra 是 58.2%。更该引用的细节是：这个分数是在 Claude Code 的 harness 里跑出来的。一个开源权重模型放进最强的闭源 harness，和这套 harness 原配的模型只差不到一分。Kimi Code Bench 3.0 长程任务从 55.95 涨到 61.2，内部的业务运营评测从 8.9 涨到 37，带工具的困难集上逐条幻觉率从 23.4% 降到 8.3%。Artificial Analysis 的独立评测给了 55 分，排第四，前面是 Opus 5.5、Sonnet 5.5 和 Muse Wonder Full；它测出的 Terminal-Bench 4.0 是 67%，是它跑过的所有模型里最高的；按每百万 token 2 美元输入、10 美元输出算，每道指数任务成本 1.98 美元：https://artificialanalysis.ai/models/kimi-k3-1-pro
会吵起来的是网络安全那一节。月之暗面说，开源版在中期训练和 RL 数据里都去掉了网络安全数据。在它最难的攻防开发基准上，未过滤的 checkpoint pass@3 是 90.5%，发布版是 81.0%。公开的原则是：开源模型的这项能力要低于已公开至少三个月的前沿闭源模型。这是第一次有开源权重实验室把"删数据"当成能力调节杆、还附上数字，同时也给了批评者一个现成的靶子：81 分依然不低。企业访问在发布时默认关闭，API 支持零数据保留。
对做 agent 的人来说，真正的新闻是 harness 那一行。以前比模型，各家都在自己的脚手架上跑。现在一个开源模型在 Claude Code 里打分、只差 0.7，说明脚手架成了公共平台，模型成了可以替换的零件。11 月 4 日放权重这个日子，值得盯着。
评论