Mamba-3：Transformerを7倍の速度で上回るオープンソース状態空間モデル

Together AI、カーネギーメロン大学、プリンストン大学、Cartesia AIは、言語モデリングベンチマークでTransformerを約4%上回りながら、推論速度が最大7倍速いMamba-3をリリースした。

Mamba-3はMamba-2から3つの重要なアーキテクチャ上の進歩を導入している：より表現力の高い再帰のための指数台形離散化スキーム、より豊かな表現のための複素数値状態追跡、そしてデコード遅延を増加させずに精度を向上させるMIMO（多入力多出力）アーキテクチャだ。このモデルは、状態サイズを半分にしながらMamba-2と同等のパープレキシティを達成する。

15億パラメータスケールでは、Mamba-3 SISOはすべてのシーケンス長で最速のプリフィル＋デコード遅延を達成し、Mamba-2、Gated DeltaNet、さらにはvLLMで提供されるLlama-3.2-1B（Transformer）をも上回った。この論文はICLR 2026に採択された。

エージェントエコシステムにとって、Mamba-3が重要なのは推論効率がエージェント運用のコスト削減と高速化に直結するためだ。ツール呼び出し、マルチターン対話、コード分析など長いコンテキストを処理する必要があるエージェントは、品質を維持しながら遅延を半減するモデルから多大な恩恵を受ける。

論文全文、コード、最適化されたTriton/TileLang/CuTeカーネルはhttps://github.com/state-spaces/mambaでオープンソース公開されている。ブログ記事：https://www.together.ai/blog/mamba-3