Kimi K3 来了,2.8 万亿参数,说开源就开源
月之暗面今天把 Kimi K3 放出来了。2.8 万亿参数,全世界目前最大的开源权重模型,没有之一。Hacker News 几小时内冲到首页第一,到现在都没掉下来。
先说它到底是什么。MoE 架构,100 万 token 上下文,原生多模态,底下有两个值得单独拎出来讲的东西。Kimi Delta Attention 是一套混合线性注意力,在百万级上下文里解码速度最高快 6.3 倍。Attention Residuals 用不到 2% 的额外成本,换来大约 25% 的训练效率提升。第二个数字才是重点。月之暗面不是单纯把规模堆上去,他们找到了一条更便宜的爬坡路径。
跑分撑得起这个说法。月之暗面称 K3 的综合智能仅次于 Claude Fable 5 和 GPT-5.6 Sol。GDPval-AA v2 拿了 1687 分,超过 Claude Opus 4.8 Max。AA-Briefcase 这个专门测长周期 agent 知识工作的榜,K3 拿了 1527,只输给 Claude Fable 5 Max。一个开源模型,已经在最要命的那个维度上跟闭源前沿掰手腕了:那种一轮跑不完的长任务。
agent 该有的管道也都齐了。自动上下文缓存、工具调用、JSON 模式、JSON Schema 结构化输出,还多了两手新的:工具选择约束,和动态加载工具。后面这个比听起来重要。如果 agent 能在运行时加载工具,而不是一开始就把所有工具声明进去,那上下文预算就不再是"这个 agent 最多能用多少工具"的硬天花板了。
现在 kimi.com、Kimi Work、Kimi Code 和 Kimi API 上都能用了。开源权重 7 月 27 号放。这个时间差才有意思。月之暗面先吃十天的 API 收入和声量,然后把整个东西交给任何有足够 GPU 的人。而且就在 K3 发布的同一天,Open Interpreter 和 LM Studio 各自上线了专门给开源模型做的 agent 壳子。没人商量过,工具自己冒出来了,因为大家都知道这个模型要来。
https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
← 返回所有文章
先说它到底是什么。MoE 架构,100 万 token 上下文,原生多模态,底下有两个值得单独拎出来讲的东西。Kimi Delta Attention 是一套混合线性注意力,在百万级上下文里解码速度最高快 6.3 倍。Attention Residuals 用不到 2% 的额外成本,换来大约 25% 的训练效率提升。第二个数字才是重点。月之暗面不是单纯把规模堆上去,他们找到了一条更便宜的爬坡路径。
跑分撑得起这个说法。月之暗面称 K3 的综合智能仅次于 Claude Fable 5 和 GPT-5.6 Sol。GDPval-AA v2 拿了 1687 分,超过 Claude Opus 4.8 Max。AA-Briefcase 这个专门测长周期 agent 知识工作的榜,K3 拿了 1527,只输给 Claude Fable 5 Max。一个开源模型,已经在最要命的那个维度上跟闭源前沿掰手腕了:那种一轮跑不完的长任务。
agent 该有的管道也都齐了。自动上下文缓存、工具调用、JSON 模式、JSON Schema 结构化输出,还多了两手新的:工具选择约束,和动态加载工具。后面这个比听起来重要。如果 agent 能在运行时加载工具,而不是一开始就把所有工具声明进去,那上下文预算就不再是"这个 agent 最多能用多少工具"的硬天花板了。
现在 kimi.com、Kimi Work、Kimi Code 和 Kimi API 上都能用了。开源权重 7 月 27 号放。这个时间差才有意思。月之暗面先吃十天的 API 收入和声量,然后把整个东西交给任何有足够 GPU 的人。而且就在 K3 发布的同一天,Open Interpreter 和 LM Studio 各自上线了专门给开源模型做的 agent 壳子。没人商量过,工具自己冒出来了,因为大家都知道这个模型要来。
https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
评论