Mistral Large 4 (más néven Le Chonk) egy multimodális, többnyelvű Mixture‑of‑Experts (MoE) nyelvi modell a Mistraltól. A modell szöveget és képeket fogad bemenetként, és szöveget generál kimenetként. Teljes mérete körülbelül 1T paraméter, ebből 49B aktív paraméter, és a kontextusablaka 1 000 000 (1M) token.
A modell két hivatalos változatban érhető el: FP8 és NVFP4. Emellett vannak GGUF kvantizációk, amelyeket Unsloth és a llama.cpp csapata készített. A terjesztés a Mistral Ecosystem Open‑Weight License alatt történik (egy MIT‑szerű licenc, amely korlátozásokat állít fel a model‑as‑a‑service szolgáltatásokra vonatkozóan).
Miért fontos ez
A modell nyílt súlyú kiadása lehetővé teszi, hogy csapatok és kutatók a saját telepítésük és használati szabályzatuk szerint dolgozzanak — különösen védelmi célú biztonsági feladatoknál fontos ez, amikor a modelleknek sebezhetőségek reprodukálásában és javításában kell segíteniük. Ugyanakkor a modell továbbra is visszautasít káros kéréseket: bizonyos cyber jellegű promptokon a visszautasítási aránya magasabb, mint bármely más open‑weight modellnél.
Képességek és mérési eredmények
- Cybersecurity: az Artificial Analysis Cyber Index reprodukálás‑és‑patch feladatán a Mistral Large 4 82%-ot ért el; a Mistral szerint több zárt forrású nagy modell ezen a teszten közel nulla pontot kapott, mert elutasították a próbálkozást. A modell továbbá belső teszteken hasznosnak bizonyult rosszindulatú kód elemzésében, sebezhetőség‑prioritizálásban és detekciós szabályok írásában.
- Általános benchmarking (állapot 2026. október 29.): a modell az Artificial Analysis Intelligence indexen az ötödik legjobb open‑weights modell.
- Kódolás és agent munkafolyamatok: DeepSWE v1.1-en 61.7%, SWE‑Atlas‑QnA‑n 59.4%, Terminal‑Bench 4‑en 28.3%. A Coding Agent Index értéke 49.8%, ami megelőz többek között a DeepSeek V4 Pro 0813 és a Qwen3.8 Max modelljeit.
- Tudás‑ és munkafolyamat mérés: AutomationBench 59.9%, AA‑Briefcase 1,393 Elo.
- Cybench: a modell a 40 versenyfeladatból 93%-ot megoldott.
- Lakera B3: 93.3% attack resistance, ami prompt‑injection típusú támadásokkal szembeni ellenállást jelez.
Architektúra - szövegdekóder
- A dekóder 72 rétegből áll, rejtett dimenzió 6,144, 64 attention head.
- Az attention blokk két sparsity mechanizmust kombinál: Multi‑head Latent Attention (MLA), amely egy tömörített KV reprezentációt tart fenn, és DeepSeek Sparse Attention (DSA) indexer, amely lekérdezésenként legfeljebb 2,048 kulcspozíciót választ ki.
- A dekóder rétegeknél 3:1 arányban váltakozik a RoPE és NoPE (három réteg használ RoPE‑t, minden negyedik NoPE‑t). A modell megosztja a KV állapotot a rétegek között.
- Az első dekóder réteg sűrű feed‑forward hálót használ; a további 71 réteg MoE blokkokból áll. A router softmax‑al tokenenként a 128 szakértő közül négyet választ, és minden tokennél egy megosztott expert is fut, így effektíve 5 aktív expert dolgozik egy tokenen. Összesen megközelítőleg 49B aktív paraméter adódik.
- RoPE: Mistral a LeRope megközelítést használja, amely YaRN‑skálázott RoPE, egy tanult szorzóval frekvenciánként.
Vision encoder
A multimodális részt egy 1.6B paraméteres Pixtral encoder szolgálja ki: 30 réteg, rejtett dimenzió 2,048, 16 attention head. A Pixtral 14×14 patch méreteket és egy 2‑es térbeli merge méretű patch‑merge projectort használ.
Inference és támogatott futtatási környezetek
A kiadás napjától (day‑0) támogatott a következőkben: Transformers, vLLM és llama.cpp. GGUF kvantok elérhetők Unsloth és a llama.cpp csapat konverzióiban.
- Transformers: AutoModelForMultimodalLM és AutoProcessor használható a szöveg‑ és kép‑bemenetek előkészítésére; a modellnél a reasoning_effort mező low/medium/high lehet, alapértelmezett high.
- vLLM: támogatja az NVFP4 checkpointot (kisebb memóriaigény, NVIDIA Blackwell GPU‑kat igényel). A csomag DSpark drafterrel is szállít gyorsító opciókat és javasolt paraméterekkel lehet indítani vllm szervert a hivatalos konfiguráció szerint.
- llama.cpp / Llama App: a projekt többféle kvantizációt szállít (IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, BF16). Egyes 2‑bites kvantok egyetlen Apple Silicon Ultra gépen futtathatók 512 GB unifikált RAM‑mal; a többi kvant elosztott inferenciát igényel több NVIDIA vagy AMD kártyán.
Teljesítménypéldák (forrás által mért, hardware‑függő):
- Q2_K egyetlen M3 Ultra‑n: előtöltés (prefill) ~90 tok/s, generálás ~15 tok/s.
- 4×RTX6000 Pro mérések: NVFP4 esetén 32K context, prefill 130–590 tok/s, gen ~10 tok/s. IQ2_XXS esetén 800K context, rövid contextnél prefill ~500 tok/s és gen ~30 tok/s; hosszú contextnél teljesítmény csökkenése jelentős.
Finomhangolás (TRL)
Day‑0 támogatás van TRL‑lel történő finomhangoláshoz; szükséges csomagok: transformers, trl, peft. A példa szerint FP8 változaton 8×B300 csomóponton futtatható a többnyelvű gondolkodásra való SFT finomhangolás, Lora‑beállításokkal és packing/4096 max length konfigurációval.
Inference Endpoints és teljesítmény a cloudon
A modell elérhető Inference Endpoints‑on, egy 8×NVIDIA H200 recepttel (vLLM + FP8 weights, tensor és expert parallelism). Kiemelt jellemzők:
- 131K token kontextust képes szolgálni és egyszerre max 16 kérést kezel.
- Egyetlen kérés: time to first token ~0.6 s 1K tokenes promptnál, generálási sebesség ~65 tok/s, DSpark draft elfogadásnál 120–138 tok/s‑ig.
- Hosszú promptok (16K token, négy párhuzamosan): összesen ~4,300 tok/s prefill, time to first token 8–9 s.
- Terhelés alatt: körülbelül 480 tok/s teljes generálás 1,000 ShareGPT beszélgetés alatt. A telepítés a hf CLI‑vel egyszerűsíthető: hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4
Dell Enterprise Hub
A Dell Enterprise Hub receptjeivel egyszerű telepítést ígér Dell AI szerverekre (NVIDIA H200, B200, GB200, GB300). A dell‑ai CLI telepíthető pip‑pel és használható optimalizált recept futtatására például B300 node‑on.
Hol találhatók a modellek és kvantok
A checkpointok és kvantizációk a Mistral Large 4 collection alatt érhetők el; a közösség várhatóan megosztja a finomhangolásokat, kvantokat és egyéb artefaktumokat a Hubon.
Összegzés
A Mistral Large 4 egy nagy kontextusú, multimodális MoE modell, amely nyílt súlyú kiadásként erősítést ad a közösségi és védelmi célú fejlesztéseknek. Kiemelkedően teljesít cybersecurity, kódolás és multimodális megértés területeken, és nap‑1 támogatást kap a főbb futtatási és finomhangolási ökoszisztémákban (Transformers, vLLM, llama.cpp, TRL). Az open‑weight jelleg, a nagy kontextusablak és a többféle kvantizációs opció lehetővé teszi a széles körű, helyi vagy felhőbeli telepítést.
