DeepSeek 开源了自己的「后厨」：DeepInfer 到底是干什么的

2026 年 10 月 20 日，DeepSeek 官方发推宣布开源 DeepInfer —— 支撑 DeepSeek-V4.1-Flash 大规模线上服务的内部推理框架。这篇博客用尽量少的技术黑话，说清楚它解决什么问题、里面的几个关键技术分别在干嘛、以及对你我这样的普通开发者意味着什么。

一、先说个容易搞混的事：模型和推理框架不是一回事

很多人以为「有了模型就能用 AI」，其实中间还差一整层东西。

打个比方：

• 模型是菜谱和厨师的刀工。它决定了这道菜能做到多好吃、能做出哪些菜。
• 推理框架是整个后厨的动线和排班。哪个灶台先开火、几份相同的备菜要不要复用、高峰期怎么加人——这些和菜谱无关，但直接决定这家店一天能出多少份、每份要等多久、成本多少。

用官方的话说：模型定义了能力的边界，而如何把这种能力以合理的成本服务给海量用户，是推理框架要解决的核心问题。

二、推理框架到底在优化什么？

一句话：更高的吞吐、更低的延迟、更低的成本。

这三个词互相打架。想让更多人同时用（高吞吐），每个人等的时间就会变长；想让人人等得短（低延迟），机器就得空转着等，成本就上去了。推理框架的本事，就是在这三者之间找那个最划算的点。

有几个衡量指标值得记住：

• TTFT（Time To First Token）：你发出问题，到看见第一个字的时间。决定「感觉快不快」。
• TBT（Time Between Tokens）：字与字之间的间隔。决定「读起来顺不顺」。
• 吞吐：整台机器一秒钟能吐多少 token。决定「成本高不高」。

大模型服务里有两个阶段，性格完全不同：

• Prefill（预填充）：把你的整段输入一次性读完，算出缓存。特点是算力密集，像一次性搬一大堆货。
• Decode（解码）：一个字一个字往外蹦，每蹦一个字都要把整个模型过一遍。特点是访存密集，像来回跑很多趟取小件。

把这两个阶段的机器混在一起用，是最常见的浪费。DeepInfer 的核心思路之一，就是让它们彻底分开、各自按自己的性格配置。

三、DeepSeek 定下的三个目标

官方文档里写得很直白，整个 V4.1-Flash 推理系统一开始就围绕三件事设计：

目标一：支持多个厂商的加速卡。

不把自己绑死在一家芯片上。DeepInfer 同时支持 NVIDIA SM100 和 华为昇腾 950，并且要求在每个平台上都尽量把性能吃干。

目标二：用「普通硬件」组织预填充和解码。

注意这里的关键词是普通。不是靠什么特制机器，而是用常见的 8 卡机做 Prefill、用 64–128 卡的超节点做 Decode，然后针对两个阶段的负载特点去设计计算、通信和调度。

目标三：KV Cache 保留超过 72 小时。

这一条最容易被忽略，但可能是省钱效果最明显的。

四、KV Cache：为什么「记住」比「重算」便宜得多

模型读一段长文本时，会把中间结果存下来，叫 KV Cache。下次遇到一样的前缀，直接拿来用就行，不用重算。

问题是这些缓存非常占内存。大多数系统的做法是：占满了就扔掉，下次重新算。而 DeepSeek 的选择是——想办法存下来，并且存三天以上。

在你我日常使用里，这体现为「多轮对话时后面的回复明显更快」——因为前面的上下文早就算过、存着了。

顺便说一句：这个仓库 10 月 16 日创建，到 10 月 21 日已经有了1.6 万多颗星和 1600 多个 fork。热度本身就说明了社区等了这东西多久。

五、所以，这东西对普通人有什么用？

分三种人看：

如果你只是用 AI 产品：你感受到的是——更快的首字、更便宜的价格、更靠谱的多轮长对话。DeepInfer 开源本身不会直接让 API 降价，但它把「怎么省钱」的方法论公开了，整个行业都会跟着优化。

如果你是做模型部署的工程师：这是目前最完整的一份「大厂级推理系统是怎么搭的」的实操文档。文档里有非常具体的参数：EPLB 的冗余专家数怎么起步、SWA 缓存的存储粒度是 128 token、最小部署单元要多少卡。这些数字是拿真金白银的线上流量试出来的，比论文里的理想曲线值钱得多。

如果你是学生或研究者：这提供了一个难得的完整案例，能看清楚「模型结构、算子、通信、调度、存储」这几层是怎么互相咬合的，你光看模型论文是想不出来的——必须同时理解注意力机制和服务架构。

六、一句话总结

DeepSeek 开源的 DeepInfer，不是又一个「跑得更快的推理引擎」，而是一份把每天 155 万亿 token 的生意是怎么跑起来的摊开给你看的说明书。

里面没有魔法。有的是：把两个性格不同的阶段拆开、把专家摊到更多卡上、在没希望的地方少花钱、理解模型结构后砍掉一半无用计算、以及让 GPU 一秒都别空转。

这些事单独看都很朴素，合在一起，就是一家公司能把 AI 做成基础设施的原因。