Mistral Large 4 가중치가 Hugging Face에 공개: 약 1조 파라미터 MoE, 벤치마크는 제공자 보고치

Hugging Face는 2026년 10월 29일 글에서 애칭 ‘Le Chonk’인 Mistral Large 4의 가중치가 Hub에 올라왔고 Transformers, vLLM, llama.cpp에서 지원된다고 알렸다. 텍스트와 이미지를 받아 텍스트를 내는 다국어 멀티모달 전문가 혼합(MoE) 모델이며, 글에 따르면 총 약 1조 개 파라미터, 활성 490억 개, 컨텍스트 창 100만 토큰이다. Mistral은 이미 10월 6일에 공개 프리뷰로 이 모델을 발표하고 월말에 가중치를 내겠다고 약속했으므로, 10월 29일은 가중치 공개일이지 첫 등장이 아니다.

출처에 나오는 두 가지 파라미터 표기는 구분해서 읽어야 한다. Hugging Face 글은 활성 490억이라고 쓰지만 저장소 이름에는 A52B가 붙는다. 모델 카드는 토큰당 490억이 활성이며 임베딩과 출력 층을 포함하면 520억이라고 설명하고, Mistral의 10월 6일 발표는 520억으로 적었다. 라이선스는 Mistral Ecosystem Open-Weight License로, MIT 파생판이며 상업·비상업 사용에 열려 있지만 서비스형 모델 사업을 운영하려면 Mistral의 별도 상업 라이선스가 필요하다. 공식 변형은 FP8과 NVFP4 두 가지이고, Unsloth와 llama.cpp 팀이 만든 GGUF 양자화판도 있다.

구조를 보면 텍스트 디코더는 72층, 은닉 차원 6,144, 어텐션 헤드 64개다. 어텐션은 다중 헤드 잠재 어텐션(MLA)과 DeepSeek Sparse Attention(DSA) 인덱서를 결합해 쿼리마다 최대 2,048개의 키 위치를 고른다. 층은 3개가 RoPE, 네 번째마다 NoPE를 쓰는 3:1 배치이며 층 사이에 KV 상태를 공유한다. 첫 층은 밀집 피드포워드이고 나머지 71층은 MoE 블록으로, 소프트맥스 라우터가 토큰마다 128개 전문가 중 4개를 고르고 항상 실행되는 공유 전문가 1개가 더해져 활성 전문가는 5개다. 비전 쪽은 16억 파라미터의 Pixtral 인코더로 30층, 14×14 패치를 쓴다.

벤치마크 수치는 Mistral이 보고한 것이며 글도 그렇게 표시한다. 코딩에서는 DeepSWE v1.1 61.7%, SWE-Atlas-QnA 59.4%, Terminal-Bench 4 28.3%이고, 종합 Coding Agent Index 49.8%는 DeepSeek V4 Pro 0813과 Qwen3.8 Max보다 높다. 사이버보안에서는 Artificial Analysis Cyber Index 세계 상위 5위에 들었고 ‘실제 취약점을 재현한 뒤 패치’하는 시험에서 82%를 기록했는데, 글은 이를 지수 내 최고 점수라고 한다. Cybench의 대회형 과제 40개 중 93%를 풀었고 Lakera B3의 공격 저항률은 93.3%다. Mistral은 일부 폐쇄형 최전선 모델이 작업을 거부하기 때문에 이 시험에서 거의 0점이라고 말한다. 이 모델도 해로운 요청은 거절하며, JailbreakBench, StrongREJECT, AgentHarm의 사이버 프롬프트에서 평균 거절률이 다른 어떤 오픈 웨이트 모델보다 높다. 10월 29일 기준 Artificial Analysis Intelligence Index의 오픈 웨이트 모델 중 5위다.

배포 면에서 추론 강도는 low, medium, high 중 고를 수 있다. 기본값은 high이고 끌 수 없어서 none으로 설정해도 high로 동작한다. vLLM은 NVFP4 체크포인트를 지원하며 NVIDIA Blackwell GPU가 필요하고 속도를 높이는 DSpark 초안 모델이 함께 제공된다. llama.cpp는 IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, BF16을 제공하며 2비트 양자화판은 통합 메모리 512GB의 Apple Silicon Ultra 한 대에서 돌아간다. 저자들이 측정한 값은 M3 Ultra 한 대의 Q2_K가 프리필 약 90토큰/초, 생성 15토큰/초이고, RTX 6000 Pro 4장의 NVFP4(32K 컨텍스트)는 프리필 130~590, 생성 약 10토큰/초다. H200 8장의 Inference Endpoints 구성에서는 1K 토큰 프롬프트 한 건의 첫 토큰이 약 0.6초에 나오고 생성은 약 65토큰/초이며, 초안이 받아들여지는 채팅 프롬프트에서는 120~138까지 오른다. ShareGPT 대화 1,000건 부하에서 총 생성량은 약 480토큰/초였다. 이것은 특정 구성에서 Hugging Face가 잰 값이지 일반적인 성능 약속이 아니다.

글은 사용 세부 사항도 알려 준다. Transformers에서는 AutoModelForMultimodalLM으로 불러오며 예시는 torchrun으로 프로세스 8개를 돌린다. TRL 미세조정 예시는 B300 8장 노드에서 FP8판을 학습시켜 시스템 프롬프트가 요구하는 언어로 사고하게 만들며 데이터셋은 HuggingFaceH4/Multilingual-Thinking이다. llama.cpp의 IQ2_XXS 양자화는 RTX 6000 Pro 4장에서 80만 토큰 컨텍스트까지 쓸 수 있고 짧은 컨텍스트에서는 프리필 약 500, 생성 30토큰/초이지만 긴 컨텍스트에서는 129와 3으로 떨어진다. Inference Endpoints 구성은 최대 13만 1천 토큰 컨텍스트를 제공하고 요청 16개를 동시에 처리하며, 16K 토큰 프롬프트 네 개를 동시에 넣으면 총 프리필이 약 4,300토큰/초, 첫 토큰까지 8~9초다. Mistral은 10월 6일 글에서 모델을 유럽 데이터센터의 NVIDIA Grace Blackwell GPU 3,800장으로 처음부터 학습했고 학습 데이터의 상당 부분이 160개가 넘는 언어의 다국어 데이터라고 밝혔는데, 이는 제공자의 설명이다. Mistral이 보고한 지식 업무 성적은 AutomationBench 59.9%, AA-Briefcase 1,393 Elo다. Hugging Face는 이 모델이 사이버보안, 코딩 에이전트, 멀티모달에 특히 강하다고 설명한다. 비전 인코더 뒤에는 공간 병합 크기 2의 패치 병합 투영기가 있어 14×14 패치를 줄여 언어 모델에 넘긴다. 위치 인코딩으로 Mistral은 주파수마다 학습 가능한 배수를 두는 YaRN 스케일 RoPE인 LeRope를 쓴다. Dell Enterprise Hub 배포 명령은 H200, B200, GB200 또는 GB300을 갖춘 Dell AI 서버를 대상으로 하며 예시는 B300 노드의 NVFP4판이다. 또한 Mistral은 이 모델을 주로 방어적 보안 작업에 맞춰 내놓았고, 개방 가중치는 사용 정책과 배포를 사용자 손에 둔다는 이유를 든다.

글에는 B300 8장에서 FP8판을 TRL로 미세조정하는 예와 Dell Enterprise Hub 배포 명령도 있다. 기억할 한계는 세 가지다. 벤치마크는 제공자가 보고한 것이고, 오픈 웨이트가 제한 없는 상업 이용을 뜻하지 않으며, 1조 파라미터 모델은 양자화해도 큰 메모리나 여러 장의 카드가 필요하다. 점수에 기대기 전에 자기 과제로 다시 시험해 봐야 한다.