Mistral Large 4权重登陆Hugging Face：约1万亿参数MoE，基准为厂商自报

Hugging Face 于 2026 年 10 月 29 日发文，宣布 Mistral Large 4（昵称 Le Chonk）的权重上线 Hub，并同步支持 Transformers、vLLM 和 llama.cpp。这是一个多模态、多语言的混合专家（MoE）模型，输入文字和图像，输出文字，据文章约有 1 万亿总参数、490 亿激活参数，上下文窗口为 100 万 token。Mistral 早在 10 月 6 日就以公开预览的形式宣布过该模型，并承诺月底放出权重，10 月 29 日是权重发布日，不是首次亮相。

文章里的两个参数口径需要分开看。Hugging Face 的文章写“490 亿激活参数”，仓库名却带有 A52B；模型卡解释为每个 token 激活 490 亿参数，若计入嵌入层和输出层则是 520 亿，Mistral 10 月 6 日的公告写的是 520 亿。授权方面，模型以 Mistral Ecosystem Open-Weight License 发布，这是 MIT 的衍生版本，对商用和非商用都开放，但运营“模型即服务”业务需要另行取得 Mistral 的商业许可。官方提供 FP8 和 NVFP4 两个版本，Unsloth 和 llama.cpp 团队另有 GGUF 量化版本。

架构上，文本解码器有 72 层，隐藏维度 6,144，64 个注意力头。注意力把多头潜在注意力（MLA）和 DeepSeek 稀疏注意力（DSA）索引器结合，每个查询最多选 2,048 个键位置；层间按 3 层使用 RoPE、每第 4 层使用 NoPE 的 3:1 方式排布，并在层间共享 KV 状态。第一层是稠密前馈网络，其余 71 层是 MoE 块，软最大路由器在 128 个专家中为每个 token 选 4 个，再加 1 个始终运行的共享专家，共 5 个活跃专家。视觉部分是 16 亿参数的 Pixtral 编码器，30 层，使用 14×14 的图块。

基准数字都是 Mistral 报告的结果，文章也这样标注。编码方面：DeepSWE v1.1 为 61.7%，SWE-Atlas-QnA 为 59.4%，Terminal-Bench 4 为 28.3%，综合 Coding Agent Index 为 49.8%，高于 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。网络安全方面：在 Artificial Analysis Cyber Index 上进入全球前五，其中“复现真实漏洞再修补”一项得 82%，文章称是该指数内的最高分；Cybench 的 40 道竞赛题解出 93%；Lakera B3 的攻击抵抗率为 93.3%。Mistral 称若干封闭前沿模型在这项测试中接近零分，原因是拒绝执行。模型仍会拒绝有害请求：在 JailbreakBench、StrongREJECT 和 AgentHarm 的网络安全提示上，平均拒绝率高于其他任何开放权重模型。截至 10 月 29 日，它在 Artificial Analysis 智能指数的开放权重模型中排第五。

部署方面，推理强度可选 low、medium、high，默认 high，不能关闭，即使设为 none 也按 high 运行。vLLM 支持 NVFP4 版本，需要英伟达 Blackwell GPU，并自带 DSpark 草稿模型加速。llama.cpp 提供 IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0 和 BF16；2 比特量化版可在一台配 512 GB 统一内存的苹果 Ultra 芯片电脑上运行。作者实测：单台 M3 Ultra 跑 Q2_K，预填充约 90 token/秒，生成 15 token/秒；4 张 RTX 6000 Pro 跑 NVFP4（32K 上下文），预填充 130 到 590 token/秒，生成约 10 token/秒。在 Inference Endpoints 的 8 张 H200 配方上，单个请求处理 1K token 提示的首 token 时间约 0.6 秒，生成约 65 token/秒，在草稿被接受的聊天提示上可达 120 到 138 token/秒；1,000 条 ShareGPT 对话的并发负载下总生成约 480 token/秒。这些是 Hugging Face 的特定配置实测，不是通用性能承诺。

文章还给出了使用细节。Transformers 里用 AutoModelForMultimodalLM 加载，示例用 torchrun 在 8 个进程上运行；用 TRL 微调的示例在一台 8 张 B300 的节点上训练 FP8 版本，让模型学会按系统提示要求的语言思考，数据集是 HuggingFaceH4/Multilingual-Thinking。llama.cpp 的 IQ2_XXS 量化在 4 张 RTX 6000 Pro 上可开到 80 万 token 上下文，短上下文时预填充约 500 token/秒、生成 30 token/秒，长上下文时掉到 129 和 3。Inference Endpoints 的配方最多服务 13.1 万 token 上下文、同时处理 16 个请求；16K token 的提示每次四个并发时，总预填充约 4,300 token/秒，首 token 时间 8 到 9 秒。Mistral 在 10 月 6 日的公告里还说，模型在其位于欧洲的数据中心用 3,800 张英伟达 Grace Blackwell GPU 从头训练，训练数据中有相当比例是覆盖 160 多种语言的多语言数据，这些是厂商自述。

此外，Mistral 报告的知识工作成绩是 AutomationBench 59.9%、AA-Briefcase 1,393 Elo。文章说，Mistral 内部测试显示，它在恶意软件分析、漏洞优先级排序和检测规则编写上也有用，而这些并不是专门训练的目标；Mistral 主要把它定位在防御性安全工作，理由是开放权重把使用政策和部署放在用户手里。Dell Enterprise Hub 的部署命令面向配备英伟达 H200、B200、GB200 或 GB300 的 Dell AI 服务器，示例是在 B300 节点上运行 NVFP4 版本。Hugging Face 把这个模型描述为在网络安全、编码智能体和多模态上尤其强。视觉编码器之后接一个空间合并大小为 2 的图块合并投影器，把 14×14 的图块压缩后再交给语言模型。位置编码方面，Mistral 使用 LeRope，即带有每个频率一个可学习乘数的 YaRN 缩放 RoPE。

此外，文章提供了用 TRL 在 8 张 B300 上微调 FP8 版的示例，以及 Dell Enterprise Hub 的部署命令。需要提醒的是，基准是厂商自报，开放权重不等于任意商用，而且 1T 参数的模型即使量化也需要很大的内存或多卡才能运行；评估时应该用自己的任务复测。