一万亿参数只用 52B:Mistral Large 4 开源权重,欧洲的“Le Chonk”凭什么站上开源前沿?

举报
why0603 发表于 2026/10/30 14:39:44 2026/10/30
【摘要】 引言10 月 29 日,Mistral 在 Hugging Face 上放出了 Mistral Large 4(昵称“Le Chonk”)的权重。这个模型 10 月 6 日以预览版亮相,当时承诺“月底开放权重”。三周的强化学习(RL)之后,正式版在智能体编程基准 Terminal-Bench 4.0 上从预览版的 28% 升到 41%。它把“超大总参数、小激活参数”的稀疏路线,和“少 tok...

引言

10 月 29 日,Mistral 在 Hugging Face 上放出了 Mistral Large 4(昵称“Le Chonk”)的权重。这个模型 10 月 6 日以预览版亮相,当时承诺“月底开放权重”。三周的强化学习(RL)之后,正式版在智能体编程基准 Terminal-Bench 4.0 上从预览版的 28% 升到 41%。它把“超大总参数、小激活参数”的稀疏路线,和“少 token 完成任务”的效率叙事放到了一起。

一、架构:细粒度 MoE,万亿容量,百亿算力

据 Hugging Face 模型卡,Mistral Large 4 是细粒度混合专家(MoE)模型:128 个路由专家,每个 token 激活 4 个,外加 1 个共享专家。总参数约 1T(官方文档写作 1.05T),每 token 激活约 49B(计入嵌入与输出层则为 52B,即仓库名“A52B”的由来)。上下文 1M token,输入文本和图像,输出文本。

原理:路由器为每个 token 挑选少数专家,其余专家不参与计算。“细粒度”意味着专家更小、组合更多。代价是显存:万亿权重必须全部驻留,所以 Mistral 同时发布 FP8 与 NVFP4 版本,量化版据报道可在 4 张 Nvidia B200/B300 上运行,支持 vLLM 和 SGLang。

二、真正的卖点:三周 RL 与“更少 token”

据 TNW 报道:

  • Terminal-Bench 4.0:28% → 41%,略高于 GLM-5.3 的 40%;
  • Artificial Analysis 编程智能体指数:与 GLM-5.3 相当,平均每任务少用 47% token;
  • CyberGym-E2E(在开源 C/C++ 项目中发现、复现并修补内存安全漏洞):79%,与 MiMo-V2.6-Pro 持平。

(均为厂商公布成绩,尚待独立复现。)

“少用 token”对智能体尤其关键:编程智能体一跑数小时,token 就是账单。Mistral 还新增 low / medium 推理档位,并称 high 档效率提升 50%。评测重心正从“答对率”转向“每 token 的任务完成率”。

三、许可与算力:开放,但有门槛

权重采用 Mistral Ecosystem Open-Weight License,Hugging Face 称其为“MIT 衍生”:允许商用、修改、微调,但把模型作为托管服务向第三方出售需另行取得商业授权;内部使用、嵌入自己产品不受限。严格说是“权重可得”而非 OSI 意义的开源。

据 TNW 转述 Mistral,模型在欧洲 3,800 张 Nvidia Grace Blackwell GPU 上训练,RL 阶段在法国自有算力上运行,功耗约 10 兆瓦;CEO 称三年融资约 60 亿美元。这些是公司自述,难以独立核实。后续将发布蒸馏小版本(含可在笔记本运行的一款),暂无日期。

结语

Mistral Large 4 代表一种取向:用稀疏架构压低激活算力,用 RL 压低每任务 token,再用开放权重换取主权与可控性。对需要本地或私有云部署编程与安全智能体的团队,这是一个认真的新选项。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。