MoE 的注意力正在和路由一起被重新设计:稀疏不是只发生在专家层

举报
yd_262048954 发表于 2026/11/08 01:02:23 2026/11/08
【摘要】 混合专家模型在 2026 年的主流叙事仍然是“大参数、小激活”:总参数量可以到几百 B,但每个 token 只激活其中一小部分。百度在 2026 年 11 月开源的 ERNIE-5.5-Flash-Base 给出了一个具体的形状:总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零预训练,最长训练上下文 128K,微调和推理阶段可外扩至 1M。Motif 3 ...

混合专家模型在 2026 年的主流叙事仍然是“大参数、小激活”:总参数量可以到几百 B,但每个 token 只激活其中一小部分。百度在 2026 年 11 月开源的 ERNIE-5.5-Flash-Base 给出了一个具体的形状:总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零预训练,最长训练上下文 128K,微调和推理阶段可外扩至 1M。Motif 3 是另一个数据点:314B 总参数,每 token 激活 13.2B,每个稀疏 MoE 层有 384 个路由专家,每个 token 选 8 个。

如果只看这些数字,容易把 MoE 理解成“专家层的事情”:路由选专家,专家做计算,注意力层保持不变。但 ERNIE-5.5-Flash-Base 的设计说明这个理解正在过时。它的注意力层用的是 Latent-Gated Sparse Attention,把混合稀疏注意力、低秩门控注意力和虚拟头注意力组合在一起,门控投影参数量减少了 75%;专家路由用的是 Multi-Router Latent MoE,由多个独立路由器共同参与专家选择,而不是一个路由器打分。Motif 3 的注意力则是 Grouped Differential Latent Attention,和 MoE 层交错在一起。

这些设计的共同方向是:稀疏性和效率优化不再只发生在“选哪个专家”这一层,而是同时发生在注意力的计算路径上。标准的多头注意力在长上下文和高参数量下,KV Cache 和注意力计算本身就会成为瓶颈;如果只在专家层做稀疏,注意力层仍然是密集计算,整体效率收益会被稀释。Latent-Gated Sparse Attention 和 Grouped Differential Latent Attention 试图在注意力内部引入稀疏和低秩结构,让“每 token 激活的计算量”在注意力和专家两个维度上同时被压缩。

ERNIE-5.5-Flash-Base 还有一个值得注意的细节:训练目标引入了 ECHO,复用主干最后一层来预测后续 token,并且这个机制可以作为投机解码的草稿模型。这把训练阶段的效率和推理阶段的效率连在了一起:一个在预训练时就设计好的辅助预测头,可以在推理时变成投机解码的草稿来源,而不需要额外训练一个独立的草稿模型。这种“训练-推理解耦但共享结构”的设计,比“训练完再想办法加速推理”更接近系统级优化。

对做推理部署的团队来说,这些架构变化意味着“MoE 的优化”不能再被简化成“调专家并行度”。注意力层的稀疏模式、路由器的数量和组合方式、草稿模型是否内建,都会影响 decode 阶段的访存模式和计算图。一个在 dense 模型上调好的并行策略,搬到 hybrid attention + MoE 的模型上可能需要重新设计。先看模型的注意力结构和路由设计,再决定并行和量化策略,比先套一个通用配置更可靠。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。