Les poids de Mistral Large 4 arrivent sur Hugging Face : un MoE d’environ 1 000 milliards de paramètres, benchmarks déclarés par le fournisseur

Le 29 octobre 2026, Hugging Face a publié un article annonçant que les poids de Mistral Large 4, surnommé Le Chonk, sont disponibles sur le Hub avec une prise en charge dans Transformers, vLLM et llama.cpp. C’est un modèle multimodal et multilingue à mélange d’experts (MoE) qui prend du texte et des images et produit du texte, avec environ 1 000 milliards de paramètres au total, 49 milliards actifs et une fenêtre de contexte de 1 million de jetons, selon l’article. Mistral avait déjà annoncé le modèle en préversion publique le 6 octobre et promis les poids pour la fin du mois : le 29 octobre est la sortie des poids, pas la première apparition.

Deux décomptes de paramètres dans les sources doivent rester distincts. L’article de Hugging Face parle de 49 milliards de paramètres actifs, alors que le nom du dépôt porte A52B. La fiche du modèle précise que 49 milliards sont actifs par jeton, ou 52 milliards en comptant les couches d’embedding et de sortie, et l’annonce de Mistral du 6 octobre indique 52 milliards. Côté licence, le modèle est publié sous la Mistral Ecosystem Open-Weight License, un dérivé de la licence MIT ouvert aux usages commerciaux et non commerciaux, sauf que l’exploitation d’un service de modèle à la demande exige une licence commerciale distincte de Mistral. Il existe deux variantes officielles, FP8 et NVFP4, ainsi que des quantifications GGUF d’Unsloth et de l’équipe llama.cpp.

Côté architecture, le décodeur de texte compte 72 couches, une dimension cachée de 6 144 et 64 têtes d’attention. L’attention associe l’attention latente multi-têtes (MLA) à un indexeur DeepSeek Sparse Attention (DSA) qui choisit jusqu’à 2 048 positions de clés par requête. Les couches suivent un motif 3:1 où trois utilisent RoPE et une sur quatre NoPE, et l’état KV est partagé entre couches. La première couche a un réseau feed-forward dense, et les 71 autres sont des blocs MoE où un routeur softmax choisit quatre experts sur 128 par jeton, plus un expert partagé toujours actif, soit cinq experts actifs. Le côté vision est un encodeur Pixtral de 1,6 milliard de paramètres, 30 couches et des patchs de 14 sur 14.

Les chiffres de benchmark sont ceux que rapporte Mistral, et l’article les présente ainsi. En code : 61,7 % sur DeepSWE v1.1, 59,4 % sur SWE-Atlas-QnA et 28,3 % sur Terminal-Bench 4, avec un Coding Agent Index combiné de 49,8 %, devant DeepSeek V4 Pro 0813 et Qwen3.8 Max. En cybersécurité : une place dans les cinq premiers de l’Artificial Analysis Cyber Index, dont 82 % au test « reproduire une vraie vulnérabilité puis la corriger », que l’article présente comme le meilleur score de l’indice ; 93 % des 40 défis de compétition de Cybench ; et 93,3 % de résistance aux attaques sur le B3 de Lakera. Mistral affirme que plusieurs modèles fermés de pointe obtiennent presque zéro à ce test parce qu’ils refusent la tâche. Le modèle refuse tout de même les demandes nuisibles : sur les invites de cybersécurité de JailbreakBench, StrongREJECT et AgentHarm, son taux de refus moyen dépasse celui de tout autre modèle à poids ouverts. Au 29 octobre, il se classe cinquième parmi les modèles à poids ouverts de l’Artificial Analysis Intelligence Index.

Pour le déploiement, l’effort de raisonnement peut être low, medium ou high. Le défaut est high et on ne peut pas le désactiver : régler none revient à high. vLLM prend en charge le point de contrôle NVFP4, qui exige des GPU NVIDIA Blackwell et vient avec un modèle brouillon DSpark pour accélérer. llama.cpp propose IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 et BF16, et les quantifications 2 bits tournent sur une seule machine Apple Silicon Ultra avec 512 Go de mémoire unifiée. Les auteurs ont mesuré Q2_K sur un M3 Ultra à environ 90 jetons par seconde en préremplissage et 15 en génération, et NVFP4 avec 32K de contexte sur quatre RTX 6000 Pro à 130 à 590 en préremplissage et environ 10 en génération. Avec la recette Inference Endpoints sur huit GPU H200, une seule invite de 1K jetons obtient son premier jeton en environ 0,6 seconde et génère environ 65 jetons par seconde, jusqu’à 120 à 138 sur des invites de conversation où les brouillons sont acceptés. Sous 1 000 conversations ShareGPT, le total est d’environ 480 jetons par seconde. Ce sont des mesures de Hugging Face sur des configurations précises, pas des promesses de performance générale.

L’article donne aussi un exemple de fine-tuning du modèle FP8 avec TRL sur huit GPU B300 et une commande de déploiement pour le Dell Enterprise Hub. Trois limites à garder en tête : les benchmarks sont déclarés par le fournisseur, des poids ouverts ne signifient pas un usage commercial sans restriction, et un modèle de 1 000 milliards de paramètres demande beaucoup de mémoire ou plusieurs cartes même quantifié. Il faut retester sur ses propres tâches avant de se fier aux scores.