Meta nyilvánosságra hozta a Muse Spark Open nevű, nyílt súlyú (open-weight) multimodális nyelvi modellt, amely a Muse modellcsalád teljes méretű változata. A rendszer kevert-szakértő (Mixture-of-Experts, MoE) architektúrát használ, a teljes modell körülbelül 816 milliárd paraméterből áll; egy token számításakor ennek hozzávetőleg 42 milliárd paramétere aktív.
Mire képes és miért számít
A Muse Spark Open képes szöveg generálására és kérdések megválaszolására különböző típusú bemenetek (szöveg, kép, audio, videó) alapján. Meta hangsúlyozza, hogy a modellt kifejezetten agentikus kódolási munkafolyamatokra optimalizálták: többfájlos refaktorálás, hosszú hibakeresési munkamenetek, eszközhívások kezelése. A modell tud tervezni, cselekedni, megfigyelni és önkorrekciót végezni hosszabb feladatok során, beleértve webes böngészést képekkel.
Főbb technikai adatok
- Teljes modellméret: ~816B paraméter
- Aktív paraméter tokenenként: ~42B
- MoE szakértők per réteg: 256, kiválasztott szakértők tokenenként: 8
- Bemenetek: szöveg, képek, audio és videó
- Kimenet: szöveg
- Kontextusablak: legfeljebb 1 048 576 pozíció (1M token)
- Checkpoint formátumok: BF16 és NVFP4
- Checkpoint tárolónevek: Muse-Spark-Open-816B-A42B és Muse-Spark-Open-816B-A42B-NVFP4
Mi az MoE-megoldás előnye itt?
A modell 62 rétegből áll, rejtett dimenziója 8192. A rétegekben a korábbi Muse Glimmer sűrű (dense) feed-forward hálózatait MoE-blokkok váltják fel: minden MoE-blokk 256 szakértőt tartalmaz, és a router tokenenként 8 szakértőt választ ki. Mivel egyszerre csak 8 szakértő fut minden token feldolgozásakor, a végrehajtási sebesség és a számítási terhelés a ~42B-szintűre hasonlít, miközben a memóriakövetelmény az egész 816B modellre vonatkozik. A BF16 checkpoint körülbelül 1,5 TB-ot foglal safetensors formátumban. Az NVFP4 változat 4-bites kvantálást használ (célozva NVIDIA Blackwell architektúrákat) és jelentősen csökkenti a helyigényt.
Percepció- és jelfeldolgozó tornyok
-
Perception encoder (kép/videó): 1,8B paraméter, 50 réteg, rejtett dimenzió 1536, 16 attention fej. A képet 14×14 foltokra bontja, majd 4096 dimenziós jellemzőket állít elő; pozíció információk tanult abszolút beágyazásból és 2D RoPE-ből jönnek. Egyes rétegek sűrű (full) attentiont, mások ritkított attentiont használnak.
-
Audio encoder: a rendszer nyers hullámformát fogad, egy audio-token 80 ms-nyi jelet reprezentál (12,5 token/s). A konvolúciós piramis-szerkezet több patch-embedder és 1D konvolúciós blokkokból áll; végül RMSNorm → lineáris projekció → RMSNorm lépések követik.
-
A videó ugyanazon enkóderen megy át, mint a képek; a pipeline alapértelmezetten 2 FPS-re mintavételez, alapértelmezett korlátozással 96 képkockáig, de a beállítás változtatható.
Hosszú kontextus és gyorsítótár (KV cache)
A modell max_position_embeddings értéke 1 048 576, így a szöveg, kép, videó és audio tokenek ugyanabban az 1M tokenes ablakban osztozhatnak. A grouped-query attention a KV cache méretének mérséklésére szolgál; egy token hozzávetőleg 126 976 értéket ad a cache-hez, ami BF16 esetén ~250 KB tokenenként, tehát egy teljes 1M-tokenes kontextus körülbelül 266 GB-ot igényel a KV tároláshoz.
Inference és integrációk
Meta referencia-implementációk és integrációk érhetők el többek között a következőkben:
- Transformers (Hugging Face): AutoModelForMultimodalLM/MuseSparkForConditionalGeneration és MuseSparkProcessor, DistributedConfig konfigurációs lehetőséggel (tp_size, ep_size).
- llama.cpp: előreépített binárisok és különböző kvantizált verziók (például Q2_K, Q4_K_S). A csapat Mac M3 Ultra (512 GB) teszteket is közölt: egy 2-bites, imatrix-kalibrált kvant 18 token/s-en futott, a modell memóriája mellett a KV cache-nek ~304 GB maradt.
- SGLang: NVFP4 referencia-konfiguráció négy GB300 GPU-n, a checkpoint tartalmazza a chat template-et, flashinfer backendet és egyéb beállításokat.
- vLLM: NVFP4 plugin Blackwell sorozatú GPU-kra, referencia beállítással 128K tokenes szerválási kontextust kínál.
- MLX / oMLX: oQ3e és oQ4 kvantok 3/4 bites verzióban; egy oQ3e teszt M3 Ultra-n ~344 GB helyet vett igénybe és mérési adatokat adtak (prefill 225 tok/s, generálás 21 tok/s egy adott prompt/target mellett).
Az Inference Endpoints-szal történő telepítés támogatott: például NVFP4 variáns 8×NVIDIA RTX Pro 6000 (98 GB) vagy 8×NVIDIA H200 (141 GB) konfigurációkra ad példákat különböző kontextushosszokkal.
Használat: szöveg, kép, videó, audio és eszközhívások
A Muse Spark Open processor előkészíti a chat promptot, képeket patch-tokenekre bontva, az audio‑ és videóbevitelekhez időbélyegzéseket és maszkokat állít elő. A modellhez elérhető a reasoning_effort (low/medium/high/xhigh) beállítás, amely előredefiniált számszintre térképeződik (16/64/256/512). Fontos: a reasoning teljes kikapcsolása nincs lehetőség, ezért egyszerűbb feladatokra érdemes "low" állást választani a takarékos tokenfelhasználásért.
A rendszer képes multimodális eszközhívásokra (tool calling): a processor képes eszközdefiníciókat fogadni és a modellhez kapcsolódó csatornák (például self, commentary, user, vagy eszköznevek) segítségével útmutatni a belső gondolkodást és a végső választ.
Finomhangolás (TRL) és eredmények
A Meta bemutatott egy TRL-alapú fine-tune receptet, amely LoRA adaptereket tanít az attention rétegekre, miközben a MoE szakértők fagyasztva maradnak. A példában a teljes 816B checkpointot 8 node-on, node-enként 8 H100 GPU-val (összesen 64 H100) finomhangolták: 500 lépés alatt körülbelül 2 óra futási idővel, átlagosan 8 000 token/s throughput mellett. A referenciafutás során a token pontosság 72%-ról 84%-ra emelkedett, a veszteség (loss) 1,26-ról 0,57-re csökkent.
Demók és alkalmazások
Meta és a közösség több demót is közöltek, amelyek a modell agentikus és multimodális képességeit illusztrálják:
- 3D asset generálás Three.js-sel: kvantizált Muse Spark és egy kódoló agent iteratív loopja képek visszacsatolásával.
- Böngésző-interakciók OpenEnv és Hugging Face Sandbox-szal: multimodális böngészőügynök, amely képernyőképek, URL és rendszerüzenetek alapján cselekszik.
- Hangalapú vásárlási ügynök és több multimodális pipeline példák.
Mindezek a demók elérhetők a példakódok és a kapcsolódó tárolókban, Meta részletes útmutatót és példákat tett közzé a használatra.
Záró megjegyzés
A Muse Spark Open a Muse család teljes méretű, nyílt súlyú tagja: a BF16 és az NVFP4 checkpointok, valamint a több előre elkészített kvant és integráció (llama.cpp, vLLM, SGLang, MLX) révén a modell különböző futtatási környezetekben elérhető. Meta arra bátorítja a fejlesztőket és a kutatókat, hogy kipróbálják a modellt, és osszák meg munkáikat a repository beszélgetéseiben.
(Figyelem: a modell chat template-je tartalmaz egy „Knowledge cutoff: 2026-01-04” sort a példákban.)
