2026年11月22日Open SourceTool

LookAtMyQuant:Inkling 2 Mini 发布第二天,就被压进 5.4 GB

Thinking Machines 周五发布 Inkling 2 Mini,周六就有个人开发者把它塞进了 5.4 GB。LookAtMyQuant 是一个 MIT 开源的"量化编译器",把这个模型 18.89 GB 的文本权重压到 5.38 GB,每个权重 1.63 bit,上了 Hacker News 266 分。仓库:https://github.com/ShinMegamiBoson/lookatmyquant ,权重:https://huggingface.co/shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB

原理说白了就是三步。先量一下模型每一块权重被压缩后对输出伤害有多大。再给每一块挑一种编码方式。最后让整体刚好塞进预算,伤害最小。全模型一刀切 2-bit 是笨办法,聪明的做法是敏感的地方多给 bit,不敏感的地方往死里压。Inkling 2 Mini 比一般模型更难压:总参数 26.4B,激活 5.4B,128 个专家选 8 个,中间层还要循环跑三遍,一个坏权重每个 token 要被踩三次。

对比 BF16 原版的数字。GSM8K 抽 200 题:原版 147,5.4 GB 版 134,Unsloth 7.76 GB 的 UD-IQ1_S 是 127,Unsloth 9.14 GB 的 UD-Q2_K_XL 是 132。HumanEval 164 题:66、60、46、49。也就是说最小的文件,打赢了大它最多 41% 的 Unsloth 版本。8.9 GB 版在 GSM8K 上拿到 148,和原版持平。视觉塔 637 MB 原封不动。同一套方法之前把 Qwen3.8-27B 从 53.7 GB 压到 7.2 GB,540 道数学题做对 401 道,和原版一样。整套配方算力成本大约 34 美元。

但得说实话。这些全是作者一个人自己跑的结果,GSM8K 只抽了 200 题,加上 HumanEval,贪心解码,推理关掉。这只是冒烟测试,不是正经评测,也还没人复现。再看表格最下面一行:Unsloth 11.66 GB 的 UD-IQ3_XXS 拿了 148 和 68,比原版还略高。内存够的话,老老实实 3-bit 依然最好。运行时目前只支持 Apple Silicon(lamq,基于 MLX)。

不过速度本身就是新闻。一个循环结构的开源 agent 模型,从发布到变成笔记本能跑的 5 GB 文件,只用了一天左右,配方还是公开的。以前从"实验室放出权重"到"MacBook 上能跑"要几周,现在一个周末就够了,而且补上这段距离的是个人开发者,不是实验室。
← 上一篇
国家数据局要给词元立标准:token 正在变成电表上的度数
下一篇 →
ClawDOS:176 KB 的完整编程 agent,跑在 1983 年的 IBM PC 上
← 返回所有文章

评论

加载中...
>_