llama-modchip：284B 大模型塞进 64GB 内存，不要显卡
一个 2840 亿参数的模型，跑在一台没有显卡、只有 64GB 内存的台式机上。这是 llama-modchip 的卖点，一套 llama.cpp 补丁加量化工具，周日在 Hacker News 拿了 315 分。仓库是 10 月 29 日建的，最新版 v2.4.0 在 11 月 4 日发布，所以这次更像是被发现，而不是新发布。许可证是 Apache 2.0。
核心技巧是这样的：DeepSeek-V4-Flash（总参数 284.33B，激活 13.17B）的标准 1-bit 版本要 76.87 GiB，一台 64GB 的 Linux 机器实际能用的只有大约 62.5 GiB，装不下。llama-modchip 的转码器把嵌入层、共享专家和注意力投影保留在较高精度，把冷门的路由专家压得更狠，最后平均 1.71 bit 每权重，磁盘上 56.56 GiB。256K 上下文时内存峰值 57.61 GiB，一点 swap 都不用。默认每层六个路由专家照样全跑，不丢专家。
速度都是作者在 16 核 Zen 5 上自测的：284B 模型预填充每秒 44.4 token，生成每秒 9.1 到 14.7 token。作者说靠缓存分块的 AVX-512 内核，预填充快了 77%，解码快了 53%。30B 的 Nemotron 用 3.75 bit，在 16 到 32GB 的笔记本上每秒 25 到 60 token。它提供兼容 OpenAI 和 Anthropic 的接口，编程 agent 可以直接接上。
问题恰好出在 agent 最在乎的地方。1.71 bit 是极端量化，README 里只有速度和内存，没有任何 agent 任务的质量数据。一个装得下、却在工具循环第 30 步就断了思路的模型，只是演示，不是后端。换掉 API key 之前，先要一组 SWE 类的成绩。
不过话说回来，在你已经有的硬件上，用前沿级开源模型跑出每秒 14 个 token，对私有和离线的 agent 工作来说，是一条实打实的新底线。
来源：https://github.com/synchopate/llama-modchip
← 返回所有文章
核心技巧是这样的：DeepSeek-V4-Flash（总参数 284.33B，激活 13.17B）的标准 1-bit 版本要 76.87 GiB，一台 64GB 的 Linux 机器实际能用的只有大约 62.5 GiB，装不下。llama-modchip 的转码器把嵌入层、共享专家和注意力投影保留在较高精度，把冷门的路由专家压得更狠，最后平均 1.71 bit 每权重，磁盘上 56.56 GiB。256K 上下文时内存峰值 57.61 GiB，一点 swap 都不用。默认每层六个路由专家照样全跑，不丢专家。
速度都是作者在 16 核 Zen 5 上自测的：284B 模型预填充每秒 44.4 token，生成每秒 9.1 到 14.7 token。作者说靠缓存分块的 AVX-512 内核，预填充快了 77%，解码快了 53%。30B 的 Nemotron 用 3.75 bit，在 16 到 32GB 的笔记本上每秒 25 到 60 token。它提供兼容 OpenAI 和 Anthropic 的接口，编程 agent 可以直接接上。
问题恰好出在 agent 最在乎的地方。1.71 bit 是极端量化，README 里只有速度和内存，没有任何 agent 任务的质量数据。一个装得下、却在工具循环第 30 步就断了思路的模型，只是演示，不是后端。换掉 API key 之前，先要一组 SWE 类的成绩。
不过话说回来，在你已经有的硬件上，用前沿级开源模型跑出每秒 14 个 token，对私有和离线的 agent 工作来说，是一条实打实的新底线。
来源：https://github.com/synchopate/llama-modchip
评论