Meta 放出一个 816B 的开放权重巨兽:Muse Spark Open 详解,能跑在两张 Mac Studio 上
2026 年 10 月 15 日,Meta 开源了 Muse Spark Open——一个 8160 亿参数的多模态 MoE 模型,1M token 上下文,Meta AI 负责人 Alexandr Wang 称之为"迄今最强大的美国开放权重模型"。最反直觉的一点是:这个参数量级的模型,官方声称能在两台 Mac Studio 上跑起来。
一、先说清楚:这模型有多大,又多"省"
| 项目 | 数值 |
|---|---|
| 总参数量 | 816B(8160 亿) |
| 每 token 激活参数 | 约 42B(MoE 稀疏激活) |
| 上下文窗口 | 1M token(100 万) |
| 模态 | 文本 + 图像 + 视频 + 音频 |
| 开放权重格式 | NVFP4 和 BF16 两种 |
| 许可证 | 开放权重(可下载权重定制) |
关键在"MoE 稀疏激活":816B 是总参数,但每次推理只激活约 42B。这就像一家公司有 8160 个员工,但每个任务只调动 420 个——规模做大了,但单次成本没等比上涨。
二、架构上的几个巧思
SGLang 团队的 Day-0 支持文章里,几个架构细节很值得玩味:
-
GQA + 混合滑动窗口/全局注意力:滑动窗口层只看有界的近期上下文,周期性的全局层保留全序列访问能力。这是长上下文 + 低成本的两全做法。
-
带 pooler/unpooler 的 MoE:路由专家前先用 pooler 把隐藏向量从模型宽度压缩到较小专家宽度,专家聚合后再用 unpooler 恢复。在专家计算前压缩宽度,等于在 MoE 的每一层都省了算力。
-
per-expert RMSNorm:每个专家的输出在乘以路由权重求和之前单独归一化,而不是归一化合并结果——这是保证大规模 MoE 训练稳定的细节。
-
量化分布很精细:60 层用 NVFP4 量化专家权重,但 Layer 0 和 Layer 61 保留 BF16——首尾层对精度最敏感,全部量化会伤性能。
这些细节说明:一个 816B 模型的"能用",靠的不是硬堆算力,而是一层层抠出来的工程取舍。
三、能跑在什么硬件上
这是最让开发者兴奋的部分。官方给出的部署平台覆盖面很广:
| 平台 | 说明 |
|---|---|
| NVIDIA | GB300 / B300 / GB200 / B200 / H200 |
| AMD | MI350X / MI355X(Day-0 支持) |
| Intel | Xeon 6 P-core(INT4 量化,面向离线推理) |
| TPU | SGLang-TorchTPU(首次为开放权重提供 Day-0 TPU) |
| Apple | 两台 M5 Ultra 的 Mac Studio(Meta 官方宣称) |
尤其是最后一条——Meta 明确说这个 816B 模型"在两台搭载 M5 Ultra 的 Mac Studio 上运行极佳",扎克伯格甚至点名称赞了与苹果新任 CEO John Ternus 的合作。把 816B 模型搬上桌面,这在一年前是不可想象的。
四、性能到底行不行
推理吞吐(NVIDIA B300,8 卡)
| 场景 | 吞吐 |
|---|---|
| OpenHands agent 重放(并发 1) | 14.8K tok/s/GPU |
| OpenHands agent 重放(并发 128) | 80.3K tok/s/GPU |
| AgentX(并发 48) | 34.5K tok/s/GPU |
准确率(NVFP4/BF16 各量化档基本持平)
| 基准 | 成绩 |
|---|---|
| GSM8K | 约 97.4-98.0% |
| AIME26 | pass@1 约 95.8%,pass@8 100% |
| GPQA Diamond | 约 89.9% |
| Video-MME short | 约 89.8% |
结论先行:量化后的 NVFP4 和 BF16 精度几乎无差别,这意味着你可以放心用 4-bit 量化来大幅降低部署成本,而不用担心能力打折。
五、这件事的真正意义:开放权重格局要变天了
过去几年,开放权重市场一直是中国开发商的天下——阿里的通义千问(Qwen)、月之暗面的 Kimi、智谱的 GLM,长期霸占全球开源榜单前列。
Meta 这次的动作,明摆着是对着这个格局来的。中央社的报道点得很透:
Meta 推出新款开放权重模型,目标是中国的竞争对手,宣称性能可与中国的顶尖开发商匹敌,部分表现更胜一筹。
Alexandr Wang 的原话更直白:“这是迄今最强大的美国开放权重模型”——"美国"这两个字,就是这次发布的核心话术。
对开发者和企业,这其实是好事:开放权重阵营多了一个 816B 的顶级玩家,等于"不用锁在闭源 API 里"的选择又多了一个重量级。
六、给你的实际建议
-
想本地跑大模型的:Muse Spark Open 给了一个明确信号——816B 模型开始能上桌面了(两台 Mac Studio)。如果你在做本地 agent,值得关注它的 NVFP4 量化版。
-
做 agent 编程的:这个模型明确定位"编程和 agent 任务",1M 上下文 + 稀疏激活,是长任务 agent 的天然候选。可以拿它和 Qwen、Kimi 的旗舰开源模型做对比测试。
-
关注成本结构的:NVFP4 和 BF16 精度几乎无差别,意味着用 4-bit 量化部署几乎零损失,这对控制推理成本是实打实的利好。
-
理性提醒:开放权重 ≠ 完全开源,Meta 的许可有使用限制;816B 即便稀疏激活,真正的推理部署门槛依然不低,别被"能跑在 Mac Studio"冲昏头——那是两台顶配 M5 Ultra。
结语
Muse Spark Open 的发布,值得记住的不是"又一个 816B 模型",而是两件事:
-
开放权重的天花板被再次抬高了。 816B、1M 上下文、多模态,还带 Day-0 的多平台推理支持——这已经逼近闭源旗舰的规格。
-
"美国 vs 中国"的开放权重竞赛,正式开打。 Meta 明牌对标 Qwen/Kimi/GLM,这对整个开源 AI 生态是利好——竞争越激烈,开发者能拿到的好模型越多、越便宜。
接下来最值得盯的,是 Muse Spark Open 在真实 agent 编程任务上,和 Qwen、Kimi K3 的正面硬刚结果。
- 点赞
- 收藏
- 关注作者
评论(0)