Meta 放出一个 816B 的开放权重巨兽:Muse Spark Open 详解,能跑在两张 Mac Studio 上

举报
Daniel777 发表于 2026/10/16 10:40:31 2026/10/16
【摘要】 2026 年 10 月 15 日,Meta 开源了 Muse Spark Open——一个 8160 亿参数的多模态 MoE 模型,1M token 上下文,Meta AI 负责人 Alexandr Wang 称之为"迄今最强大的美国开放权重模型"。最反直觉的一点是:这个参数量级的模型,官方声称能在两台 Mac Studio 上跑起来。 一、先说清楚:这模型有多大,又多"省"项目数值总参数量...

2026 年 10 月 15 日,Meta 开源了 Muse Spark Open——一个 8160 亿参数的多模态 MoE 模型,1M token 上下文,Meta AI 负责人 Alexandr Wang 称之为"迄今最强大的美国开放权重模型"。最反直觉的一点是:这个参数量级的模型,官方声称能在两台 Mac Studio 上跑起来。


一、先说清楚:这模型有多大,又多"省"

项目 数值
总参数量 816B(8160 亿)
每 token 激活参数 约 42B(MoE 稀疏激活)
上下文窗口 1M token(100 万)
模态 文本 + 图像 + 视频 + 音频
开放权重格式 NVFP4 和 BF16 两种
许可证 开放权重(可下载权重定制)

关键在"MoE 稀疏激活":816B 是总参数,但每次推理只激活约 42B。这就像一家公司有 8160 个员工,但每个任务只调动 420 个——规模做大了,但单次成本没等比上涨。


二、架构上的几个巧思

SGLang 团队的 Day-0 支持文章里,几个架构细节很值得玩味:

  1. GQA + 混合滑动窗口/全局注意力:滑动窗口层只看有界的近期上下文,周期性的全局层保留全序列访问能力。这是长上下文 + 低成本的两全做法。

  2. 带 pooler/unpooler 的 MoE:路由专家前先用 pooler 把隐藏向量从模型宽度压缩到较小专家宽度,专家聚合后再用 unpooler 恢复。在专家计算前压缩宽度,等于在 MoE 的每一层都省了算力。

  3. per-expert RMSNorm:每个专家的输出在乘以路由权重求和之前单独归一化,而不是归一化合并结果——这是保证大规模 MoE 训练稳定的细节。

  4. 量化分布很精细:60 层用 NVFP4 量化专家权重,但 Layer 0 和 Layer 61 保留 BF16——首尾层对精度最敏感,全部量化会伤性能。

这些细节说明:一个 816B 模型的"能用",靠的不是硬堆算力,而是一层层抠出来的工程取舍。


三、能跑在什么硬件上

这是最让开发者兴奋的部分。官方给出的部署平台覆盖面很广:

平台 说明
NVIDIA GB300 / B300 / GB200 / B200 / H200
AMD MI350X / MI355X(Day-0 支持)
Intel Xeon 6 P-core(INT4 量化,面向离线推理)
TPU SGLang-TorchTPU(首次为开放权重提供 Day-0 TPU)
Apple 两台 M5 Ultra 的 Mac Studio(Meta 官方宣称)

尤其是最后一条——Meta 明确说这个 816B 模型"在两台搭载 M5 Ultra 的 Mac Studio 上运行极佳",扎克伯格甚至点名称赞了与苹果新任 CEO John Ternus 的合作。把 816B 模型搬上桌面,这在一年前是不可想象的。


四、性能到底行不行

推理吞吐(NVIDIA B300,8 卡)

场景 吞吐
OpenHands agent 重放(并发 1) 14.8K tok/s/GPU
OpenHands agent 重放(并发 128) 80.3K tok/s/GPU
AgentX(并发 48) 34.5K tok/s/GPU

准确率(NVFP4/BF16 各量化档基本持平)

基准 成绩
GSM8K 约 97.4-98.0%
AIME26 pass@1 约 95.8%,pass@8 100%
GPQA Diamond 约 89.9%
Video-MME short 约 89.8%

结论先行:量化后的 NVFP4 和 BF16 精度几乎无差别,这意味着你可以放心用 4-bit 量化来大幅降低部署成本,而不用担心能力打折。


五、这件事的真正意义:开放权重格局要变天了

过去几年,开放权重市场一直是中国开发商的天下——阿里的通义千问(Qwen)、月之暗面的 Kimi、智谱的 GLM,长期霸占全球开源榜单前列。

Meta 这次的动作,明摆着是对着这个格局来的。中央社的报道点得很透:

Meta 推出新款开放权重模型,目标是中国的竞争对手,宣称性能可与中国的顶尖开发商匹敌,部分表现更胜一筹。

Alexandr Wang 的原话更直白:“这是迄今最强大的美国开放权重模型”——"美国"这两个字,就是这次发布的核心话术。

对开发者和企业,这其实是好事:开放权重阵营多了一个 816B 的顶级玩家,等于"不用锁在闭源 API 里"的选择又多了一个重量级。


六、给你的实际建议

  1. 想本地跑大模型的:Muse Spark Open 给了一个明确信号——816B 模型开始能上桌面了(两台 Mac Studio)。如果你在做本地 agent,值得关注它的 NVFP4 量化版。

  2. 做 agent 编程的:这个模型明确定位"编程和 agent 任务",1M 上下文 + 稀疏激活,是长任务 agent 的天然候选。可以拿它和 Qwen、Kimi 的旗舰开源模型做对比测试。

  3. 关注成本结构的:NVFP4 和 BF16 精度几乎无差别,意味着用 4-bit 量化部署几乎零损失,这对控制推理成本是实打实的利好。

  4. 理性提醒:开放权重 ≠ 完全开源,Meta 的许可有使用限制;816B 即便稀疏激活,真正的推理部署门槛依然不低,别被"能跑在 Mac Studio"冲昏头——那是两台顶配 M5 Ultra。


结语

Muse Spark Open 的发布,值得记住的不是"又一个 816B 模型",而是两件事:

  1. 开放权重的天花板被再次抬高了。 816B、1M 上下文、多模态,还带 Day-0 的多平台推理支持——这已经逼近闭源旗舰的规格。

  2. "美国 vs 中国"的开放权重竞赛,正式开打。 Meta 明牌对标 Qwen/Kimi/GLM,这对整个开源 AI 生态是利好——竞争越激烈,开发者能拿到的好模型越多、越便宜。

接下来最值得盯的,是 Muse Spark Open 在真实 agent 编程任务上,和 Qwen、Kimi K3 的正面硬刚结果。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。