DeepInfra 的技术底牌：拆解 2026 年推理栈的三层协同设计

2026 年的 AI 推理市场已经不再是“谁有 GPU 谁就能卖 token”的粗放阶段。当开源模型在基准上逼近闭源前沿，推理层的竞争焦点从“能不能跑”转向了每 token 的延迟、吞吐与成本能否同时成立。DeepInfra 在这一年完成了 1.07 亿美元 B 轮融资，NVIDIA 和 Samsung Next 出现在投资方名单中，其平台每周处理的 token 量达到约 5 万亿级别。支撑这个规模的，不是某一行单点优化，而是一套从模型架构适配到推理引擎再到集群调度的三层协同设计。这篇文章沿着这三层往下拆。

第一层：模型层——MoE 与注意力压缩把“每 token 成本”从源头压下来

推理成本的第一决定因素不在 GPU，而在模型每次 forward 激活了多少参数、缓存了多少状态。DeepInfra 在 2026 年重点托管的几款旗舰模型，恰好都在这两个维度上做了结构性改造。

DeepSeek V4 Pro 是最典型的例子。它是一个 1.6 万亿参数的 MoE 模型，但每个 token 只激活 490 亿参数，比例约 3%。这意味着它保留了万亿级模型的表征容量，却把单 token 的浮点运算量压到了激活参数对应的水平。更关键的是注意力机制：V4 Pro 采用 Compressed Sparse Attention 与 Heavily Compressed Attention 的混合设计，在 100 万 token 上下文长度下，单 token 推理 FLOPs 只有前代 V3.2 的 27%，KV cache 占用只有 10%。在长上下文工作负载中，KV cache 往往是显存瓶颈和带宽瓶颈的共同来源，把它压缩一个数量级，直接改变了 1M context 能否经济地服务的答案。

DeepSeek V4.1-Flash 则代表了另一个方向：把 prefill 和 decode 的代价拆开优化。它采用 Causal Encoder-Decoder 架构，40 层主干拆成 20 层 causal encoder 和 20 层 decoder，decoder 的全局 KV cache 直接从 encoder 最终隐状态投影得到，而不是逐层累积。结果是 prefill 阶段只激活 80 亿参数，decode 阶段激活 160 亿，远低于 5520 亿的总参数骨架。KV cache 的量化结果同样引人注目：全局 KV cache footprint 降至 890 字节/token，大约是 V4-Flash 的四分之一、V1 的 1/437。对于 agentic 管线这类输入密集、需要反复 prefill 的工作负载，这个差距在成本上是结构性的。

这一层的技术逻辑可以概括为：MoE 解决“总参数大但单 token 计算量可控”，注意力压缩解决“长上下文下 KV cache 爆炸” 。两者叠加，才让 1M 上下文和万亿级模型在推理侧变得可服务。

第二层：引擎层——TensorRT-LLM + NVFP4 + 投机解码，把硬件的每一拍榨出来

模型架构决定了“理论上要算多少”，引擎决定了“实际上以多低的代价算出来”。DeepInfra 在这一层的选择非常集中：全面押注 NVIDIA 推理栈，且不是简单调用，而是围绕它做垂直整合。

量化是成本下降最直接的一刀。 DeepInfra 使用 ModelOpt 将模型权重量化到 NVFP4，在 Blackwell GPU 上，这带来了从 Hopper 到 Blackwell 的阶梯式成本下降：同样是 MoE 模型，FP8 on Hopper 的成本约为 $0.20/百万 token，到 B200 上的 FP8 降至 $0.10，再叠加 NVFP4 后进一步到 $0.05/百万 token——相对 dense 405B 模型的 $1.00，是 20 倍的差距。NVFP4 的关键不在于“更低的精度”本身，而在于 Blackwell 对 FP4 的原生支持让低精度矩阵乘法的吞吐收益能够真正兑现，同时精度损失被控制在可接受范围内。在一些嵌入模型上，NVFP4 量化后的 RTEB 分数为 72.0，对比 BF16 的 72.4，差距不到 1%。

投机解码解决的是 decode 阶段的串行瓶颈。 传统自回归生成一个 token 做一次 forward，GPU 利用率在 decode 阶段天然偏低。DeepInfra 部署了 Multi-Token Prediction 和 Eagle 投机解码：模型同时预测多个候选 token，再并行验证，把 decode 从严格的串行过程变成“预测—并行验证”的批处理过程，在支持的模型上直接提升吞吐。这不是新概念，但在生产规模上稳定运行需要与量化、KV cache 管理紧密耦合，否则验证阶段的内存开销会抵消收益。

分布式服务层由 NVIDIA Dynamo 承担。 Dynamo 的核心能力是 KV-aware routing 和 disaggregated prefill/decode：把 prefill 和 decode 拆到不同的 GPU 池上，按各自的最优 batch 策略执行；路由层根据 KV cache 的位置把请求送到“缓存已经热了”的节点，减少重复 prefill。DeepInfra 将此描述为“从芯片到 API 的全栈所有权”——它拥有并运营 GPU 基础设施，在八个美国数据中心内做垂直整合，而不是依赖 spot 或租用容量。

第三层：调度层——显式 Prompt Cache 与自适应并行，把“重复计算”变成可编程的缓存命中

模型和引擎优化回答的是“单次请求怎么算得快”。但在 agentic 工作负载下，大量请求共享同一个巨大的 system prompt、工具定义或对话历史，重复 prefill 才是延迟和成本的头号浪费源。传统推理引擎的 prefix cache 是 best-effort 的：负载一高，旧缓存就被驱逐，下一次请求重新付全价。

DeepInfra 在 2026 年 8 月推出的 Prompt Cache Retention 把这件事从“尽力而为”变成了“显式契约”。开发者通过 prompt_cache_key 和 prompt_cache_options 指定一段上下文保留 5 分钟或 1 小时，第一次请求支付写入溢价，后续复用直接跳过 prefill，按 cache-read 折扣价计费。对于 agent 每步复用同一套工具 schema 的场景，这消除的是每一步都重复计算几万 token 的系统性浪费，而不是边际优化。

更底层的一层是自适应并行策略：DeepInfra 根据模型架构和请求特征，在 tensor parallelism、pipeline parallelism 和 expert parallelism 之间动态选择。MoE 模型的 expert 分布不均匀，dense 模型的层间依赖更强，长上下文请求的 KV 压力集中在注意力层——没有一种并行策略通吃所有情况。调度层的任务是在集群粒度上让每种负载跑到对应的最优并行切分上。

三层协同的效果：不是加法，是乘法

把这三层放在一起看，才能理解 DeepInfra 在 2026 年的成本位置。MoE 把单 token 的激活计算量降到总参数的零头，NVFP4 把每次矩阵乘法的硬件代价再压一档，投机解码把 decode 的串行浪费填上，Dynamo 的 KV-aware 路由和显式 Prompt Cache 把重复 prefill 从计费路径中移除。每一层单独看都是业界已知的技术，但它们之间的耦合深度——比如 Prompt Cache 的保留策略需要和 Dynamo 的路由层共享 KV 位置信息，NVFP4 的量化需要和 TensorRT-LLM 的 kernel 选择对齐——决定了这些优化是“叠加”还是“相乘”。

基准数据提供了侧面的印证。在 DeepSeek V3.2 的 API 对比中，DeepInfra 的 time to first token 为 0.82 秒，仅次于 Google Vertex 的 0.76 秒；在 GLM-5.1 上，DeepInfra FP8 的 TTFT 为 0.94 秒，与 Fireworks 并列第一。在吞吐侧，不同模型和对比集的差异较大：Qwen3.8 2.4T A95B 上 DeepInfra 输出速度约 106–109 t/s，在部分对比中落后于 Together AI 和 Modal，但在另一些模型上又能进入前三。这说明 DeepInfra 的定位更偏向成本效率和首 token 延迟，而非在所有模型上追求绝对输出吞吐的峰值——这与它“按 token 计费的 serverless 推理云”的商业模型是一致的。

技术选择的代价与边界

这套技术栈并非没有约束。NVFP4 的精度风险集中在敏感任务上：数学推理和代码生成对权重量化的容忍度低于嵌入或分类任务，DeepInfra 需要在模型上线前做针对性的量化感知校准，而非对所有模型一刀切。NVIDIA 栈的深度绑定带来了显著的效率红利，但也意味着当非 NVIDIA 硬件在特定工作负载上出现性价比拐点时，迁移成本较高——DeepInfra 已经在规划 Vera Rubin GPU 的接入，说明它选择的是在 NVIDIA 路线图内持续跟进，而不是多硬件对冲。显式 Prompt Cache 的收益高度依赖工作负载的复用模式：对于一次性长文档问答，保留缓存的写入溢价可能得不偿失；它的价值集中在 agent、多轮对话和固定知识库 RAG 这类天然高复用的场景。

DeepInfra 在 2026 年的技术故事，本质上是一个推理栈的垂直整合故事：在模型架构快速迭代的窗口期，谁能把新模型的 MoE 稀疏性、注意力压缩和低精度量化在引擎和调度层第一时间兑现为可服务的 economics，谁就能在“每 token 成本”这个最终指标上占据位置。三层协同的深度，比任何单层优化的幅度都更能解释它为什么能在一年内把 token 处理量推到每周 5 万亿的规模。