llama.cpp 终于 1.0 了,本地推理第一次承诺不乱改接口
三年半,支持了 150 多种模型架构,直到现在才有一个真正有意义的版本号。ggml 和 llama.cpp 在 11 月 13 日发布 v1.0.0,ggml 的 release 是 08:34 UTC 出的,Hugging Face 上的博客 14:05 UTC 发出,Hacker News 讨论帖到 14 日凌晨涨到 393 分:https://huggingface.co/blog/ggml-org/llama-cpp-v1
1.0 的真正内容其实是一个承诺。从现在开始,libllama 或 libggml 的公开 C 接口只要有破坏性改动,就必须升大版本号;小版本加功能、加后端、加模型;补丁版本只修 bug。听着很无聊,要的就是这个无聊。分发渠道也补齐了,Docker、Debian、Homebrew、conda-forge、MacPorts、Winget,苹果平台还有 XCFramework。CI 用 Hugging Face 的 Buckets 和 Jobs 扩容,再加上自托管机器,硬件来自英伟达、AMD、高通、Arm、IBM 和英特尔。同一个团队还出了 macOS 和 Windows 的 Llama 桌面应用:https://llama.app/
发布说明读起来像结婚前的大扫除。ggml 1.0.0 删掉了废弃接口和老算子,RPC 协议升到 v9,YaRN 截断可配置,CUDA 上支持 OCP FP8,NVFP4 的 gate/up 融合,CUDA 和 Metal 上的 MoE 融合,Vulkan 预填充用上 FlashAttention,还有一批新的 WebGPU 内核:https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0。团队顺带说明,开发中用到了大模型,但用得审慎、合理。
做 agent 的人为什么要关心一个版本策略?因为一大堆本地运行器、桌面应用和端侧 agent 方案都把这个库嵌在里面。以前升级就是钉死某个 commit 然后祈祷,每升一次都在赌自己的绑定还能不能编过。有了语义化版本,赌博变成了一份能读懂的更新日志。
云端 API 也给模型标版本,但什么时候下线是厂商说了算,不是你说了算。一个 ABI 稳定的本地推理层,是整个 agent 技术栈里少数真正握在自己手里的部分。这里无聊就是卖点,1.0 就是 llama.cpp 主动选择变无聊的那一刻。
← 返回所有文章
1.0 的真正内容其实是一个承诺。从现在开始,libllama 或 libggml 的公开 C 接口只要有破坏性改动,就必须升大版本号;小版本加功能、加后端、加模型;补丁版本只修 bug。听着很无聊,要的就是这个无聊。分发渠道也补齐了,Docker、Debian、Homebrew、conda-forge、MacPorts、Winget,苹果平台还有 XCFramework。CI 用 Hugging Face 的 Buckets 和 Jobs 扩容,再加上自托管机器,硬件来自英伟达、AMD、高通、Arm、IBM 和英特尔。同一个团队还出了 macOS 和 Windows 的 Llama 桌面应用:https://llama.app/
发布说明读起来像结婚前的大扫除。ggml 1.0.0 删掉了废弃接口和老算子,RPC 协议升到 v9,YaRN 截断可配置,CUDA 上支持 OCP FP8,NVFP4 的 gate/up 融合,CUDA 和 Metal 上的 MoE 融合,Vulkan 预填充用上 FlashAttention,还有一批新的 WebGPU 内核:https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0。团队顺带说明,开发中用到了大模型,但用得审慎、合理。
做 agent 的人为什么要关心一个版本策略?因为一大堆本地运行器、桌面应用和端侧 agent 方案都把这个库嵌在里面。以前升级就是钉死某个 commit 然后祈祷,每升一次都在赌自己的绑定还能不能编过。有了语义化版本,赌博变成了一份能读懂的更新日志。
云端 API 也给模型标版本,但什么时候下线是厂商说了算,不是你说了算。一个 ABI 稳定的本地推理层,是整个 agent 技术栈里少数真正握在自己手里的部分。这里无聊就是卖点,1.0 就是 llama.cpp 主动选择变无聊的那一刻。
评论