DeepInfer：DeepSeek 把自家线上推理引擎开源了，最值钱的功能恰恰最无聊

10 月 20 日，DeepSeek 推了 DeepInfer 的第一个公开 commit，直接冲成本周 Hacker News 第一，2298 分、881 条评论。两天不到 star 破 17700，Apache 2.0 协议。README 的定位是支撑 DeepSeek 大规模线上服务的高性能推理框架，最早主要基于 vLLM 改出来，默认权重是 DeepSeek-V4.1-Flash-1017。链接：https://github.com/deepseek-ai/DeepInfer

里面有什么：注意力的数据并行和上下文并行，MoE 专家并行加负载均衡，一条投机解码路径，一次最多猜 5 个 token、按置信度决定留不留，结构化输出，同时支持英伟达和华为昇腾。还没放出来的：prefill 和 decode 分离、数据并行负载均衡，这两样恰恰是真正上规模时差距最大的部分。说白了，给的是发动机，不是整座工厂。

最值得看的功能反而最无聊：batch 不变推理加确定性采样，目前只在英伟达上。平时同一个 prompt，跟谁拼在一个 batch 里，答案就可能差一点点，因为浮点运算的顺序变了。听起来像舍入误差，直到你让 agent 跑 200 步，想搞清楚为什么第 14 次失败了第 15 次没失败。今年所有 agent 评测都撞过同一堵墙：复现不了的东西就没法调。一家前沿实验室把可复现推理做成默认选项并开源，大家少了一个借口。

英伟达旁边写着昇腾，这是政治潜台词。同一周 DeepSeek 被美国联邦设备禁用，转头就把自己线上服务的代码交给所有人，美国人也包括在内。DeepSeek 的开源打法一直有效，原因很简单：送出去的都是送了不心疼的部分，真正让工厂转起来的那几样留在家里。