Mamba-3：开源状态空间模型，性能超越 Transformer 且推理速度快 7 倍
Together AI 联合卡内基梅隆大学、普林斯顿大学和 Cartesia AI 发布了 Mamba-3，这是新一代状态空间模型（SSM），在语言建模基准上超越 Transformer 近 4%，推理速度最高提升 7 倍。
Mamba-3 在 Mamba-2 基础上引入三项关键架构改进：指数梯形离散化方案实现更强表达力的递推、复值状态追踪提供更丰富的表示能力、以及 MIMO（多输入多输出）架构在不增加解码延迟的情况下提升准确率。该模型在仅使用 Mamba-2 一半状态大小的情况下实现了相当的困惑度。
在 15 亿参数规模下，Mamba-3 SISO 在所有序列长度上实现了最快的预填充 + 解码延迟，超越了 Mamba-2、Gated DeltaNet，甚至使用 vLLM 服务的 Llama-3.2-1B（Transformer）。该论文已被 ICLR 2026 接收。
对于智能体生态而言，Mamba-3 的意义在于推理效率直接关系到智能体运行的成本和速度。需要处理长上下文（工具调用、多轮对话、代码分析）的智能体将极大受益于在保持质量的同时将延迟减半的模型。
完整论文、代码和优化内核已开源：https://github.com/state-spaces/mamba。博客：https://www.together.ai/blog/mamba-3
← 返回所有文章
Mamba-3 在 Mamba-2 基础上引入三项关键架构改进：指数梯形离散化方案实现更强表达力的递推、复值状态追踪提供更丰富的表示能力、以及 MIMO（多输入多输出）架构在不增加解码延迟的情况下提升准确率。该模型在仅使用 Mamba-2 一半状态大小的情况下实现了相当的困惑度。
在 15 亿参数规模下，Mamba-3 SISO 在所有序列长度上实现了最快的预填充 + 解码延迟，超越了 Mamba-2、Gated DeltaNet，甚至使用 vLLM 服务的 Llama-3.2-1B（Transformer）。该论文已被 ICLR 2026 接收。
对于智能体生态而言，Mamba-3 的意义在于推理效率直接关系到智能体运行的成本和速度。需要处理长上下文（工具调用、多轮对话、代码分析）的智能体将极大受益于在保持质量的同时将延迟减半的模型。
完整论文、代码和优化内核已开源：https://github.com/state-spaces/mamba。博客：https://www.together.ai/blog/mamba-3