Meta közzétette a Muse Spark Open nevű modelljét, egy kifejezetten kódolási munkafolyamatokra optimalizált 816 milliárd paraméteres mixture-of-experts (MoE) modellt. A rendszer sparsity révén tokenenként 42 milliárd aktív paramétert használ, és natív NVFP4 formátumú checkpointokkal érkezik, amelyeket a Meta generált és az NVIDIA Blackwell Ultra architektúrára optimalizáltak.
Mire tervezték és miért fontos?
A Muse Spark Open célja nem a rövid, egyszeri kódgenerálási feladatok kiszolgálása, hanem a többlépéses, „ügynök-orientált” (agentic) kódolási munkafolyamatok támogatása: például több fájlos refaktorálások megtervezése, nagyszámú fájl áttekintése, hibajavítások visszaállítása és teszthibákból való helyreállítás. A modell tervez, cselekszik, megfigyel és önjavít, támogat eszközhasználatot, a kimenet értékelését és iteratív finomítást.
Kiemelten fontos képesség a 1 millió token hosszú kontextusablak: ezzel a modell képes egy egész projektet — komplex függőségekkel, régi (legacy) kóddal és több ezer fájllal — egyben tartani anélkül, hogy a feladatot kisebb darabokra kellene bontani.
Multimodális észlelés és egységes feldolgozás
A Muse Spark Open egy 1,8 milliárd paraméteres percepciós enkódert használ, amely natívan, egyetlen feldolgozási csővezetéssel képes kevert szöveg-, kép-, videó- és hangadatok kezelésére. Ez lehetővé teszi, hogy a modell egyszerre gondolkodjon azon, amit lát, hall és olvas — például képernyőmentések, diagramok, hibalogok és videós bemutatók egyazon munkamenetben történő feldolgozásakor.
A sparsely routed MoE architektúra top-8 routingot alkalmaz 256 expert között, így tokenenként csak 42 milliárd paraméter aktiválódik az összes 816 milliárdból. Ez jelentősen csökkenti a kiszolgálási költséget a hasonló méretű, de sűrű (dense) modellekhez képest.
Teljesítmény és optimalizáció NVIDIA GB300 NVL72-n
A Muse Spark Open-et kifejezetten az NVIDIA GB300 NVL72 rendszerre hangolták. A GB300 NVL72 rack-skalás architektúra 72 NVIDIA Blackwell Ultra GPU-t integrál egyetlen platformba, és 130 TB/s-os NVLink kommunikációs sávszélt biztosít a teljes domainen belül. A sparsely routed MoE modellek esetén, ahol egy token nyolc experthez kerül irányításra a 256-ból, ez a sávszélesség közvetlenül befolyásolja a gyakorlati áteresztőképességet.
Meta és NVIDIA közlése szerint agentic munkaterheléseken a Muse Spark Open a GB300 NVL72-n kiemelkedő átviteli teljesítményt kínál: akár 50 000 token/s GPU-nként és akár 600 token/s felhasználónként, ami lehetővé teszi nagyméretű paraméterű modellek gyártásba vitt, alacsony késleltetésű és magas átviteli sebességű futtatását.
Memória- és hatékonysági optimalizáció: NVFP4
A Meta által előállított, NVIDIA Blackwell Ultra-ra optimalizált NVFP4 checkpointok csökkentik az 816 milliárd paraméter memóriaterhelését, és az FP4 Tensor Core gyorsítást kihasználva kevesebb bájtot mozgatnak tokenenként. Ennek következménye többek között nagyobb KV-cache elérhetőség a párhuzamos, hosszú kontextusú munkameneteknél, magasabb áteresztőképesség és alacsonyabb tokenenkénti költség.
Eszközök, böngészés és alügynökök
A modell képes webkeresésre multimodális böngészéssel, képes alügynökök generálására és koordinálására nagyobb, felbontható feladatok esetén, valamint egységes számítógép-használati képességeket kínál asztali, mobil és böngésző környezetekre. Minden művelet előtt külön megjegyzést generál a tevékenységről, hogy a fejlesztők lássák, mit és miért tesz az ügynök.
Telepítési és finomhangolási lehetőségek NVIDIA ökoszisztémában
NVIDIA több inferencia-stacket támogat: SGLang, vLLM és TensorRT LLM, amelyek fejlesztőknek közvetlen kontrollt adnak a szerverbeállítások, párhuzamosítás és batching felett az NVIDIA gyorsított platformon. A TensorRT LLM összeállított motorokat biztosít, amelyek a NVIDIA GPU-kra vannak hangolva.
Az NVIDIA Dynamo telepítési recepteket publikál mindhárom stackhez, és szétválasztja a prefill-t a decode-tól dedikált GPU poolok között; a KV-cache érzékeny routing pedig azt a munkavégzőt választja, amely már tartalmazza a releváns prefixet, elkerülve a felesleges előszámítást a hosszú agentic munkamenetek során.
A fejlesztők a Muse Spark Open finomhangolását az NVIDIA NeMo AutoModel keretrendszerrel végezhetik, amely PyTorch natív és Hugging Face checkpoint támogatással működik, lehetővé téve SFT és LoRA alapú gyors kísérletezést. Amint a munkaterhelés kinövi az egyes csomópontot, az NVIDIA Megatron Bridge használatával ugyanazokat a Hugging Face checkpointokat kibővítik tensor-, pipeline- és expert-paralelizmusra a skálázáshoz.
Hozzáférés és indulás
A Muse Spark Open NVFP4 súlyai letölthetők a Hugging Face-ről. Gyártásra szánt telepítésekhez az NVIDIA NIM (NVIDIA Inference Module) letölthető, amely egy parancsra csökkenti a beállítási időt: a konténer automatikusan kiválasztja a legjobb kiszolgáló backend-et és a precizitást az észlelt hardverhez.
Összefoglalás
A Muse Spark Open egy nagyméretű, sparsely routed MoE modell, amelyet multimodális, ügynök-orientált kódolási munkafolyamatokra és hosszú kontextusú feladatokra terveztek. NVFP4 checkpointokkal és NVIDIA GB300 NVL72 optimalizációval a cél a nagy átviteli teljesítmény és alacsony tokenenkénti költség elérése a produkciós környezetekben.
