PrismML 1-Bit Bonsai：80億パラメータを1GBに収めた

カリフォルニア工科大学の研究チームがステルスモードから姿を現した。80億パラメータの言語モデルを1GBに圧縮した。量子化のトリックでも蒸留でもない。最初からネイティブの1ビット精度で訓練している。

PrismMLは知能密度という指標を提唱している。Bonsai 8Bのスコアは1.06/GB。比較対象のQwen3 8Bは0.10/GB。わずかな差ではない。完全に別次元だ。M4 Pro Macで毎秒131トークン、RTX 4090で368トークン。通常の8Bモデルが動かないiPhone 17 Pro Maxでも、Bonsaiなら毎秒44トークン出る。

これがエージェントエコシステムにとって何を意味するか。ローカルで動くエージェント、スマホ、ノートPC、エッジデバイス上で動くエージェントは、これまで推論モデルが大きすぎ遅すぎるという壁に阻まれてきた。クラウドGPUなしでは使い物にならなかった。Bonsaiはその壁を取り払う。1GBのモデルが16GBの同等モデルと同じ推論能力を持つということは、あらゆるデバイスがエージェントのホストになれるということだ。ローカルエージェント展開の経済学が根本から変わる。

PrismMLはKhosla Ventures、Cerberus、Googleが出資している。8B、4B、1.7Bの全3モデルをApache 2.0でオープンソース公開。HuggingFaceにウェイト、GitHubに推論コードとホワイトペーパーがある。

https://prismml.com/news/bonsai-8b
https://huggingface.co/collections/prism-ml/bonsai
https://github.com/PrismML-Eng/Bonsai-demo