Mistral Large 4の重みがHugging Faceに登場、約1兆パラメータのMoE、ベンチマークは提供者の自己報告
Hugging Faceは2026年10月29日の記事で、愛称「Le Chonk」のMistral Large 4の重みがHubに公開され、Transformers、vLLM、llama.cppで使えると発表した。テキストと画像を入力しテキストを出力する、多言語対応のマルチモーダルな混合専門家（MoE）モデルで、記事によれば総パラメータ約1兆、アクティブ約490億、コンテキスト長は100万トークンである。Mistralは10月6日にこのモデルを公開プレビューとして発表済みで、月末に重みを出すと約束していた。
Hugging Faceは2026年10月29日の記事で、愛称「Le Chonk」のMistral Large 4の重みがHubに公開され、Transformers、vLLM、llama.cppで使えると発表した。テキストと画像を入力しテキストを出力する、多言語対応のマルチモーダルな混合専門家（MoE）モデルで、記事によれば総パラメータ約1兆、アクティブ約490億、コンテキスト長は100万トークンである。Mistralは10月6日にこのモデルを公開プレビューとして発表済みで、月末に重みを出すと約束していた。10月29日は重みの公開日であり、初登場ではない。
出典内の2つのパラメータ表記は分けて読む必要がある。Hugging Faceの記事は「アクティブ490億」と書くが、リポジトリ名にはA52Bが付く。モデルカードは、トークンごとに490億がアクティブで、埋め込み層と出力層を含めると520億と説明しており、Mistralの10月6日の発表は520億としている。ライセンスはMistral Ecosystem Open-Weight Licenseで、MITの派生版にあたり商用・非商用の両方に使えるが、モデル・アズ・ア・サービス事業の運営にはMistralとの別の商用ライセンスが必要だ。公式にはFP8とNVFP4の2種類があり、Unslothとllama.cppチームによるGGUF量子化版もある。
構造は次のとおり。テキストデコーダは72層、隠れ次元6,144、アテンションヘッド64。アテンションは多頭潜在アテンション（MLA）とDeepSeek Sparse Attention（DSA）のインデクサを組み合わせ、クエリごとに最大2,048のキー位置を選ぶ。層は3層がRoPE、4層目ごとにNoPEという3対1の配置で、層間でKV状態を共有する。第1層は密なフィードフォワード、残りの71層はMoEブロックで、ソフトマックスのルーターが128のエキスパートから4つを選び、常に動く共有エキスパート1つを加えて、アクティブは5つになる。視覚側は16億パラメータのPixtralエンコーダで、30層、14×14のパッチを使う。
ベンチマークの数字はMistralが報告したもので、記事もそう明記している。コーディングではDeepSWE v1.1が61.7%、SWE-Atlas-QnAが59.4%、Terminal-Bench 4が28.3%で、総合のCoding Agent Index 49.8%はDeepSeek V4 Pro 0813とQwen3.8 Maxを上回る。サイバーセキュリティではArtificial Analysis Cyber Indexで世界の上位5位に入り、「実在の脆弱性を再現して修正する」テストで82%を記録した。記事はこれを同指数内の最高値と述べる。Cybenchの競技形式の40問のうち93%を解き、LakeraのB3での攻撃耐性は93.3%だった。Mistralは、複数の閉じた最先端モデルがこのテストでほぼゼロなのは、作業を拒否するからだと述べる。ただしこのモデルも有害な依頼は断り、JailbreakBench、StrongREJECT、AgentHarmのサイバー系プロンプトでの平均拒否率は、他のどのオープンウェイトモデルよりも高い。10月29日時点で、Artificial Analysis Intelligence Indexのオープンウェイトモデルの中では5位である。
運用面では、推論の強さをlow、medium、highから選べる。既定はhighで無効にできず、noneを指定してもhighで動く。vLLMはNVFP4版に対応し、NVIDIA Blackwell GPUが必要で、高速化用のDSparkドラフターが付属する。llama.cppにはIQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0、BF16があり、2ビット量子化版は統合メモリ512 GBのApple Silicon Ultra機1台で動く。著者らの実測では、M3 Ultra 1台のQ2_Kでプリフィル約90トークン/秒、生成15トークン/秒、RTX 6000 Pro 4枚でNVFP4（32Kコンテキスト）がプリフィル130〜590、生成約10トークン/秒だった。H200を8枚使うInference Endpointsの構成では、1Kトークンのプロンプト1件の最初のトークンまで約0.6秒、生成は約65トークン/秒で、ドラフトが受理されるチャットでは120〜138に上がる。ShareGPT会話1,000件の負荷では合計約480トークン/秒だった。これらは特定の構成でのHugging Faceの実測であり、一般的な性能の約束ではない。
記事にはB300を8枚使いFP8版をTRLで微調整する例と、Dell Enterprise Hubの展開コマンドもある。注意点は3つ。ベンチマークは提供者の自己報告であること、オープンウェイトは自由な商用利用を意味しないこと、1兆パラメータのモデルは量子化しても大きなメモリか複数のカードが要ることだ。スコアを頼りにする前に、自分のタスクで再確認したい。
Sources
FAQ
10月29日に何が公開され、10月6日の発表とどう関係しますか？
10月29日にMistral Large 4の重みがHugging Faceで公開され、Transformers、vLLM、llama.cppで使えるようになった。Mistralは10月6日にすでに公開プレビューとして発表し、月末に重みを出すと約束していたので、29日は重みの公開日であり初登場ではない。
出典にアクティブ490億と520億の両方が出てくるのはなぜですか？
モデルカードは、トークンごとに490億がアクティブで、埋め込み層と出力層を含めると520億と書く。Hugging Faceの記事は490億の数え方で、リポジトリ名のA52BとMistralの10月6日の発表は520億の数え方であり、二つの数字は数える範囲が違う。
ベンチマークと速度の数字はどう読むべきで、どんな限界がありますか？
コーディングとサイバーセキュリティのベンチマークはMistralの自己報告で、速度の数字はHugging Faceが特定のハードウェアで測った値であり、どちらも一般的な保証ではない。オープンウェイトは自由な商用利用も意味せず、サービス事業には別のライセンスが要り、1兆規模のモデルは大量のメモリが必要だ。