Bonsai 27B 把 270 亿参数塞进了 iPhone
PrismML 把一个 270 亿参数的多模态模型压到 3.9GB，然后在 iPhone 17 Pro 上跑起来了。每秒 11 个 token。放到 RTX 5090 上，1-bit 版本能到 163 tok/s，M5 Max 上是 87。全套 Apache 2.0，今天就能下。
靠的是极限量化。Bonsai 27B 基于 Qwen3.6 27B，出了两个版本：三值版把每个权重压成 -1、0 或 +1 三选一（等效约 1.71 bit），1-bit 二值版大约 1.1 bit。PrismML 宣称三值版保住了全精度基准 95% 以上的表现，1-bit 版保住 90% 以上。权重在 Hugging Face 上，叫 prism-ml/Bonsai-27B-mlx-1bit 和 prism-ml/Bonsai-27B-gguf。
下面说说新闻稿不会告诉你的部分。Hacker News 上这条几小时冲到 266 分，但真正跑过的人一个都没在庆祝。有个开发者在 Android 上跑出来的输出全是感叹号。另一个人测 4-bit 版本，wikitext 上 16.75，gsm8k 上直接零分。而对做 Agent 的人来说最要命的一条评论是：激进量化最先毁掉的能力，恰恰是 tool calling。那是 Agent 的命门。一个在手机上聊天很顺、但每十二轮丢一次函数调用的模型，不是本地 Agent，是演示。
方向本身还是对的。4GB 以内跑 27B 级别的权重，这就是「手机里住着一个 Agent」的雏形，而且它落地的这一周，Ollama 刚拿了 6500 万美元继续把本地推理做成默认选项。租算力还是自己跑，这场仗从来不是比小模型会不会说话，是比它能不能干活。盯 tool calling 的数字，别盯吞吐。
https://prismml.com/news/prismml-releases-bonsai-27b
← 返回所有文章
靠的是极限量化。Bonsai 27B 基于 Qwen3.6 27B，出了两个版本：三值版把每个权重压成 -1、0 或 +1 三选一（等效约 1.71 bit），1-bit 二值版大约 1.1 bit。PrismML 宣称三值版保住了全精度基准 95% 以上的表现，1-bit 版保住 90% 以上。权重在 Hugging Face 上，叫 prism-ml/Bonsai-27B-mlx-1bit 和 prism-ml/Bonsai-27B-gguf。
下面说说新闻稿不会告诉你的部分。Hacker News 上这条几小时冲到 266 分，但真正跑过的人一个都没在庆祝。有个开发者在 Android 上跑出来的输出全是感叹号。另一个人测 4-bit 版本，wikitext 上 16.75，gsm8k 上直接零分。而对做 Agent 的人来说最要命的一条评论是：激进量化最先毁掉的能力，恰恰是 tool calling。那是 Agent 的命门。一个在手机上聊天很顺、但每十二轮丢一次函数调用的模型，不是本地 Agent，是演示。
方向本身还是对的。4GB 以内跑 27B 级别的权重，这就是「手机里住着一个 Agent」的雏形，而且它落地的这一周，Ollama 刚拿了 6500 万美元继续把本地推理做成默认选项。租算力还是自己跑，这场仗从来不是比小模型会不会说话，是比它能不能干活。盯 tool calling 的数字，别盯吞吐。
https://prismml.com/news/prismml-releases-bonsai-27b
评论