2.8 万亿参数、每个 token 只调 1040 亿：Kimi K3.1 Pro 开源权重拆解

引言

11 月 4 日，月之暗面（Moonshot AI）在 Hugging Face 上放出了 Kimi K3.1 Pro 的完整权重。该模型 10 月 23 日已上线 API，这次兑现了“11 月 4 日前开放权重”的承诺。它是 2.8 万亿参数的 MoE 模型，据其自报成绩，在多项智能体基准上逼近 Claude Opus 5.5。

架构：用“混合注意力”撑起百万上下文

据 BitsMinds 对模型卡的梳理，K3.1 Pro 共 93 层，每层 896 个专家，每个 token 选 16 个路由专家外加 2 个共享专家，总参数 2.8T，激活 104B。

69 层使用自研 KDA 线性注意力，24 层使用门控 DSA 稀疏注意力，上下文窗口达 1,048,576 token。线性注意力计算量随长度线性增长；少量稀疏注意力层负责精确召回。模型原生多模态，配 4.01 亿参数的 MoonViT-V2 图像编码器。

原生低精度：训练时就量化

权重以 MXFP4 发布，激活为 MXFP8，采用量化感知训练，发布的低精度权重就是被调优过的那一份。但即使 4-bit 也需要多 GPU 节点，多数人更可能通过第三方托管受益。官方推荐 vLLM、SGLang 与自家 TokenSpeed。

成绩单：强在智能体，弱在硬推理

均为官方自报：Terminal-Bench 4.0 为 65.7（Opus 5.5：66.4）；SWE Marathon v1.1 为 51.7（46.3）；BrowseComp 为 92.1（GPT-6 Astra：91.5）；但 Program Bench 仅 31.5（65.0），HLE-Diamond 39.4（65.8）。Artificial Analysis 综合指数 55，仅次于 Opus 5.5 的 58。API 定价每百万输入/输出 token 2/10 美元。

为什么重要，又该警惕什么

它把可下载最强模型与闭源前沿的差距缩到几个指数点，“线性+稀疏注意力+QAT”也给长上下文智能体提供了可复制路线。保留意见：许可证是自定义的 Kimi K3.1 Pro License，并非标准开源协议；基准多为厂商自报；推理强度恒开、采样参数固定。

结语

K3.1 Pro 展示了万亿级 MoE 如何用混合注意力和原生低精度把成本压到可用区间。接下来看独立评测能否复现其智能体成绩。