Mistral-Large-4-Gewichte erscheinen auf Hugging Face: MoE mit rund 1 Billion Parametern, Benchmarks vom Anbieter

Am 29. Oktober 2026 hat Hugging Face in einem Beitrag bekanntgegeben, dass die Gewichte von Mistral Large 4, Spitzname Le Chonk, auf dem Hub liegen, mit Unterstützung in Transformers, vLLM und llama.cpp. Es ist ein multimodales, mehrsprachiges Mixture-of-Experts-Modell (MoE), das Text und Bilder aufnimmt und Text erzeugt, laut Beitrag mit etwa 1 Billion Gesamtparametern, 49 Milliarden aktiven Parametern und einem Kontextfenster von 1 Million Token. Mistral hatte das Modell schon am 6. Oktober als öffentliche Vorschau angekündigt und die Gewichte für Monatsende versprochen; der 29. Oktober ist also die Freigabe der Gewichte, nicht der erste Auftritt.

Zwei Parameterangaben in den Quellen sollte man auseinanderhalten. Der Beitrag von Hugging Face nennt 49 Milliarden aktive Parameter, der Repository-Name trägt jedoch A52B. Die Modellkarte erklärt, dass pro Token 49 Milliarden Parameter aktiv sind, bei Einbeziehung von Embedding- und Ausgabeschicht 52 Milliarden, und Mistrals Ankündigung vom 6. Oktober nennt 52 Milliarden. Lizenzseitig erscheint das Modell unter der Mistral Ecosystem Open-Weight License, einer MIT-Ableitung für kommerzielle und nichtkommerzielle Nutzung; wer ein Model-as-a-Service-Geschäft betreibt, braucht jedoch eine gesonderte kommerzielle Lizenz von Mistral. Es gibt zwei offizielle Varianten, FP8 und NVFP4, sowie GGUF-Quantisierungen von Unsloth und dem llama.cpp-Team.

Zur Architektur: Der Textdecoder hat 72 Schichten, eine versteckte Dimension von 6.144 und 64 Aufmerksamkeitsköpfe. Die Aufmerksamkeit kombiniert Multi-head Latent Attention (MLA) mit einem DeepSeek-Sparse-Attention-Indexer (DSA), der pro Anfrage bis zu 2.048 Schlüsselpositionen auswählt. Die Schichten folgen einem 3:1-Muster, bei dem drei RoPE und jede vierte NoPE nutzen, und der KV-Zustand wird über Schichten geteilt. Die erste Schicht hat ein dichtes Feed-Forward-Netz, die übrigen 71 sind MoE-Blöcke, in denen ein Softmax-Router pro Token vier von 128 Experten wählt, dazu ein immer laufender gemeinsamer Experte, also fünf aktive Experten. Auf der Bildseite arbeitet ein Pixtral-Encoder mit 1,6 Milliarden Parametern, 30 Schichten und 14×14-Patches.

Die Benchmark-Zahlen berichtet Mistral, und der Beitrag kennzeichnet sie so. Beim Coding: 61,7 Prozent auf DeepSWE v1.1, 59,4 Prozent auf SWE-Atlas-QnA und 28,3 Prozent auf Terminal-Bench 4, mit einem kombinierten Coding Agent Index von 49,8 Prozent vor DeepSeek V4 Pro 0813 und Qwen3.8 Max. In der Cybersicherheit: ein Platz unter den ersten fünf im Artificial Analysis Cyber Index, darunter 82 Prozent im Test „eine echte Schwachstelle nachstellen und dann beheben“, den der Beitrag als höchsten Wert im Index bezeichnet; 93 Prozent der 40 Wettbewerbsaufgaben von Cybench; und 93,3 Prozent Angriffsresistenz im B3 von Lakera. Mistral sagt, mehrere geschlossene Spitzenmodelle erreichten in diesem Test fast null, weil sie die Aufgabe verweigern. Das Modell lehnt schädliche Anfragen dennoch ab: Bei Cyber-Prompts aus JailbreakBench, StrongREJECT und AgentHarm liegt seine durchschnittliche Ablehnungsrate über der jedes anderen Open-Weight-Modells. Stand 29. Oktober steht es im Artificial Analysis Intelligence Index auf Platz fünf unter den Open-Weight-Modellen.

Zum Einsatz: Der Denkaufwand kann low, medium oder high sein. Standard ist high, und er lässt sich nicht abschalten; none läuft ebenfalls als high. vLLM unterstützt den NVFP4-Checkpoint, der NVIDIA-Blackwell-GPUs braucht und einen DSpark-Entwurfsmodell zur Beschleunigung mitbringt. llama.cpp bietet IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 und BF16, und die 2-Bit-Quantisierungen laufen auf einem einzelnen Apple-Silicon-Ultra-Rechner mit 512 GB einheitlichem Speicher. Die Autoren maßen Q2_K auf einem M3 Ultra mit rund 90 Token pro Sekunde beim Prefill und 15 bei der Erzeugung, NVFP4 mit 32K Kontext auf vier RTX 6000 Pro mit 130 bis 590 beim Prefill und etwa 10 bei der Erzeugung. Beim Inference-Endpoints-Rezept mit acht H200-GPUs liefert ein einzelner 1K-Token-Prompt das erste Token nach etwa 0,6 Sekunden und erzeugt rund 65 Token pro Sekunde, bei Chat-Prompts mit akzeptierten Entwurfstoken 120 bis 138. Unter 1.000 ShareGPT-Gesprächen sind es insgesamt etwa 480 Token pro Sekunde. Das sind Messungen von Hugging Face in bestimmten Aufbauten, keine allgemeinen Leistungsversprechen.

Der Beitrag enthält außerdem ein TRL-Beispiel zum Feintuning der FP8-Variante auf acht B300-GPUs und einen Deploy-Befehl für den Dell Enterprise Hub. Drei Grenzen sollte man im Blick behalten: Die Benchmarks stammen vom Anbieter, offene Gewichte bedeuten keine uneingeschränkte kommerzielle Nutzung, und ein Modell mit 1 Billion Parametern braucht auch quantisiert viel Speicher oder mehrere Karten. Vor dem Verlassen auf die Werte sollte man mit eigenen Aufgaben nachtesten.