Alibaba közzétette a Qwen3.8-Flash-Next modell súlyait, hogy a fejlesztők kísérletezzenek és értékelhessék a közelgő Qwen4 architektúra előfutárát. A modell multimodális, mixture-of-experts (MoE) felépítésű, összesen 176 milliárd paraméterrel, melyből 51 milliárd N-gram beágyazás. Tokenenként jellemzően 6 milliárd paraméter aktiválódik. A modell natív kontextusablaka 262 144 token hosszú, és YaRN használatával 1 millió tokenig kiterjeszthető.
Tervezési célok és alkalmazási területek
A Qwen3.8-Flash-Next elsősorban nagy volumenű, kontextus-intenzív feladatokra készült, például agentic coding (eszközvezérelt kódgenerálás és -végrehajtás), dokumentumfeldolgozás és összetett, többlépcsős munkafolyamatok. A hosszú kontextusoknál tipikusan a figyelem (attention) számítás és a KV cache memória növekedése jelenti a korlátot; erre a kihívásra hoz új architektúrális megoldásokat.
Hibrid architektúra: GDN és QSA
A modell hibrid megközelítést alkalmaz, amely Gated DeltaNet (GDN) és Qwen Sparse Attention (QSA) rétegek váltakozására épül. A rétegek háromnegyedében GDN fut, amely folyamatosan összenyomja a történeti kontextust egy rögzített méretű, rekurrens állapotba, így megszüntetve a KV cache folyamatos növekedését a sorozatok hosszának növekedésével. A fennmaradó réteg QSA-t használ, amely pontos lekérést tesz lehetővé az egész kontextusban.
A QSA eltér a korábbi sparse-attention megoldásoktól, amelyek token-szintű indexelésre támaszkodnak és költségesebbé válnak a hosszabb kontextusoknál. A QSA a sorozatot mikro-blokkokra aggregálja, a blokk-szintű fontosságbecslés alapján kiválasztja a releváns régiókat, és csak ezeken számol figyelmet. Ez csökkenti a rétegenkénti attention, számítási és indexelési terhelést, és jól illeszkedik a GDN/QSA váltakozására épülő architektúrához.
Teljesítmény és benchmarkok hosszú kontextuson
Alibaba által közölt benchmarkok szerint a QSA javíthatja az 1 millió tokenes munkaterhelések hatékonyságát. A QSA attention kernel a teljes attentionhöz képest akár 7,6× gyorsulást ért el prefill fázis alatt és 4,9× gyorsulást dekódolás közben. Egy cache-nehéz online kiszolgálási tesztben, 1 millió tokenes kontextushossznál és 90%-os prefix-cache hit rátánál a Qwen3.8-Flash-Next a prefill áteresztőképességben 8,6×-os növekedést ért el a Qwen3.7-Plus-hoz képest.
NVIDIA szerepe és HW-támogatás
Az NVIDIA Day 0 jellegű, best-effort funkcionális támogatást nyújtott a következő stackeken keresztül: SGLang, vLLM és NVIDIA TensorRT LLM; továbbá validációt hajtott végre NVIDIA GB300 NVL72 platformon inference célra, és poszttréning receptúrákat biztosít NVIDIA NeMo AutoModel és NVIDIA NeMo RL eszközökhöz.
A GB300 NVL72 egy rack-skálájú platform, amely 72 darab NVIDIA Blackwell Ultra GPU-t integrál egy nagy NVLink doménbe. Az all-to-all kommunikációs sávszélesség 130 TB/s, ami csökkenti azokat a torlódásokat, amelyek akkor merülnének fel, ha az MoE expert-forgalom hagyományos hálózatokon keresztül haladna. A Qwen3.8-Flash-Next a GB300 NVL72-n több mint 16 000 token/másodperc per GPU csúcs-throughputot ért el, és felhasználónként több mint 200 token/másodpercet biztosít, lehetővé téve nagy áteresztőképességű, alacsony késleltetésű agentic coding kísérletezést.
Lokális prototípuskörnyezetek
A modellt nem csak rack-skálán, hanem helyi NVIDIA hardveren is futtatni lehet: NVIDIA DGX Station, NVIDIA DGX Spark klaszterek és munkaállomások, amelyek négy NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU-val rendelkeznek. Így a fejlesztők helyben prototípusként dolgozhatnak agentic coding munkafolyamatokon, majd ugyanazt a modellt skálázhatják GB300 NVL72-re termelési kiszolgáláshoz.
Finomhangolás és inference ökoszisztéma
A fejlesztők domain-specifikus feladatokra finomhangolhatják a modellt NVIDIA NeMo AutoModel segítségével; ez egy PyTorch-native finomhangoló könyvtár, amely Day-0 Hugging Face checkpoint támogatást biztosít, és lehetővé teszi a teljes SFT vagy memóriahatékony LoRA finomhangolást anélkül, hogy modellkonverzióra lenne szükség. További lépésként NVIDIA NeMo RL receptúrákkal megerősítéses tanulás is végezhető.
Az NVIDIA többféle inference stacket támogat a fejlesztők különböző igényeihez: SGLang, vLLM és TokenSpeed nyílt forrású recepteket kínálnak azoknak, akik finomhangolnák a teljesítményt az NVIDIA gyorsított platformon.
Hogyan kezdjen hozzá a fejlesztő
A Qwen3.8-Flash-Next kipróbálható QwenCloud-on. A modell súlyai letölthetők Hugging Face-ről vagy ModelScope-ról, így a fejlesztők helyben is kipróbálhatják és finomhangolhatják a modellt a saját munkaterheléseikre.
A Qwen3.8-Flash-Next a hosszú kontextusú alkalmazásokra fókuszáló architektúrával és a rack-szintű NVIDIA támogatással célzott lépés a nagy léptékű, agentic és dokumentum-intenzív AI-feladatok kiszolgálása felé.
