NVIDIA nyolccsomós DGX Spark klaszterrel egységesíti az 1 TB memóriát frontier‑osztályú modellek helyi futtatásához

A GTC Berlin konferencián az NVIDIA bejelentette a hivatalos támogatást nyolc csomópontos DGX Spark klaszterekhez. A lépés azt jelenti, hogy az egyesített memória kapacitása 128 GB-os egyesített egységenként négyről nyolc csomópontra bővítve eléri az 1 TB-ot, ami lehetővé teszi frontier‑osztályú modellek helyi futtatását, többügynökös munkaterhelések kiszolgálását és közel lineáris skálázódást bizonyos pre‑training feladatoknál.

Mit ad a nyolc csomópont?

• Memória: egy DGX Spark csomópont 128 GB egyesített memóriát biztosít. Négy csomóponttal ez 512 GB, nyolccal pedig 1 TB egyesített memória, amely elegendő ahhoz, hogy korábban négy csomóponthoz túl nagy modelleket telepítsünk és futtassunk. Az NVIDIA példaként említi a Z.ai által publikált GLM 5.3 (753B) teljes checkpointjának futtatását nyolc csomópontra elosztva.

• Interaktív szolgáltatás: a nyolccsomópontos klaszter nem csak be tudja tölteni a nagy modell­checkpointokat, hanem interaktív lekérések kiszolgálására is alkalmas: a GLM 5.3 Flash egy ilyen klaszteren körülbelül 80 token/s generálási sebességet (TPS) produkált a mérés szerint, ami fejlesztési és helyi interaktív tesztelési célokra használható.

Táblázat: Full GLM 5.3 (nvidia/GLM-5.3-NVFP4) teljesítmény nyolc csomóponttal (NVFP4). A méréseket MTP3-mal végezték, 8K input sequence length (ISL) mellett. A modell NVFP4 formátumban körülbelül 470 GB.

• Együtthasználat és TPS adatok (példák):
  • Egy felhasználó mellett prefill: 1600 TPS, decode: 31 TPS
  • Négy felhasználó mellett prefill: 1600 TPS (össz), per user 750 TPS, decode összesen 51 TPS
  • Nyolc felhasználó mellett prefill: 1600 TPS (össz), per user 473 TPS, decode összesen 67 TPS

Gyorsabb kollektív műveletek: RoCEnante

Tensor-paralell inferencia során a kollektív kommunikációk (például all-reduce) látványosan befolyásolják a késleltetést. Az NVIDIA egy Spark-optimalizált kollektív backendet, RoCEnante-ot mutatott be, amely rövidebb késleltetést céloz kis üzenetméretek, alacsony párhuzamosság és mérsékelt rangszám esetén — tipikus mintázat tensor-paralell dekódnál helyi hardveren.

A RoCEnante egy all-to-all cserét valósít meg, amit lokális redukció követ; minden rang megosztja inputját minden más ranggal, majd helyben összeadja a beérkezőket. Egyetlen GPU kernel koordinálja a cserét és a redukciót. Ez kevesebb kommunikációs lépést igényel a hagyományos ring all-reduce-hoz képest, ami kis üzeneteknél és néhány rangnál késleltetéscsökkenést eredményezhet, viszont nagyobb forgalmat generál, mert minden rang minden peernek elküldi a teljes bemenetét.

Mérési eredmények:

• Négy csomópont esetén körülbelül 5% jobb prefill és 21% jobb decode átvitelt láttak NVFP4 esetén.
• Nyolc csomóponton a nem quantizált modell decode teljesítménye körülbelül 18%-kal nőtt.
• A RoCEnante opció integrálva lett a FlashInferbe, és átlátszó módon visszaesik NCCL-re, ha az indulási teszt meghiúsul.

Fontos: a backend csak switch-kapcsolt topológiáknál alkalmazható, mivel pont‑pont kapcsolatokat feltételez minden csomópont között. NCCL továbbra is az alapértelmezett és jobb választás nagyobb klasztereknél vagy magas párhuzamosságnál.

Skálázás: 1–8 csomópont teljesítménye

NVIDIA ConnectX-7 NIC-ek és RoCE (RDMA over Converged Ethernet) használatával a DGX Spark csomópontok hatékonyan cserélnek tenzorokat. Egy Qwen3.8-27B (NVFP4) sűrű modelllel végzett mérésben (no speculative decoding, 8192 tokens ISL, 256 tokens OSL, concurrency 1) a következő jellegű skálázódás látható:

• Prefill TPS egy csomóponton: 2635 (alap 1.00x)
• Decode TPS egy csomóponton: 11.86 (alap 1.00x)
• Két csomópont, direct connect: decode 21.71 TPS (1.84x)
• Négy csomópont, fizikai ring: decode 32.82 TPS (2.77x)
• Négy csomópont, switch + ROCEnante: decode 36.34 TPS (3.06x)
• Nyolc csomópont, fizikai ring: decode 40.11 TPS (3.38x)
• Nyolc csomópont, switch + ROCEnante: decode 52.58 TPS (4.43x)

Két megállapítás emelkedik ki: a dekódolási átbocsátás erősen növekszik a csomópontok számával (kb. 12 TPS-ről 52 TPS-re), és a legjobb hálózati topológia a munkaterheléstől függ: fizikai ring kiváló, ha egyetlen modell oszlik meg az összes csomóponton; switch szükséges, ha a klasztert csoportokra osztjuk, vagy bármely‑bármely kapcsolatot igénylő feladatot futtatunk.

Switch nélküli ring és egyszerű telepítés

A DGX Spark csomópontok közvetlen, ringbe kötése költséghatékony és egyszerű beállítást tesz lehetővé, különösen kis (például négy csomópontos) telepítéseknél. NCCL alapból ring-algoritmusokat használ ilyen konfigurációkban, amelyek jó teljesítményt nyújtanak tensor-paralell kommunikációnál. Ugyanakkor ha a klasztert nyolc csomópontra bővítjük, vagy részleges allokációkat akarunk (például két 4 csomópontos csoport), illetve MPI‑szerű pont‑pont mintázatot követelünk meg, akkor switch szükséges.

Több modell egyidejű kezelése: NeMo Switchyard

Nem minden kérés igényli a legnagyobb modellt. Az NVIDIA NeMo Switchyard segítségével könnyen beállítható egy levelező rendszer, amely egy könnyű osztályozó alapján irányítja a bejövő kéréseket megfelelő modellcsoportokhoz, és egy terheléselosztó osztja szét a forgalmat a replikák között. Mivel a megoldás a klaszter logikai felosztását használja, Switchyard switch‑kapcsolt klaszteren fut, hogy meglegyen az any-to-any csomópont‑kapcsolat.

Prototípus példákból:

• MiniCPM5 2B (OpenBMB) mint osztályozó/egyszerű végrehajtó, Qwen3.8 Flash Next a komplexebb feladatokra.
• Egy 92‑es esetsorozatot tartalmazó tool‑use benchmarkon a routolt konfiguráció 91/100 pontot ért el, megegyezve a Qwen‑only konfigurációval.
• Mivel MiniCPM replikánként megközelítőleg nagyságrenddel több kérést szolgál ki, a forgalom egy része kis modellre irányításával megnő az aggregált átbocsátás.

Elosztási példa nyolc csomópontra:

• Három Qwen replika (csaknem két Spark csomópont replikánként) és két MiniCPM replika (egy Spark csomópontonként) elhelyezése ~1.5x aggregált átbocsátást eredményez, ha a kérések fele Qwen‑hez kerül.
• Ha a kérések negyede megy Qwen‑hez, a többi MiniCPM‑hez, az aggregált átbocsátás ~3.0x lehet a Qwen‑only alaphoz képest.

A routing politika egyszerű YAML fájl, és az NVIDIA mintapolitikát ad ki a fejlesztőknek.

Pre‑training: közel lineáris skálázás nanochat‑pal

A tanítás eltérően viselkedik: ha minden csomópont a modell teljes példányát tárolja, a csomópontok közötti kommunikáció csupán a gradiensszinkronizáció lépéseire korlátozódik, így a skálázás közel lineáris. Az NVIDIA nanochat pre‑training kísérletében (~896.5M paraméter, 20 transformer réteg, 1,280/2,048 token szekvencia hossz) a mért eredmények:

• 1 csomópont: 8,741 TPS (alap, 1.00x, 100% hatékonyság)
• 2 csomópont: 17,202 TPS (1.97x, 98.4% hatékonyság)
• 4 csomópont: 33,640 TPS (3.85x, 96.2% hatékonyság)
• 8 csomópont: 68,079 TPS (7.79x, 97.4% hatékonyság)

A nyolc csomópont 7.79x gyorsulást és ~97.4% skálázási hatékonyságot ad, ami azt jelzi, hogy egy nyolc csomópontos Spark klaszter jó platform lehet kisebb modellek helyi pre‑trainelésére és prototípusok gyors iterálására.

Eszközök és kiépítés

Az NVIDIA azt is támogatja, hogy a fejlesztők kapcsoljanak össze több DGX Spark gépet elosztott munkaterhelésekhez, használják vLLM-et LLM‑kiszolgáláshoz DGX Sparkon, és kövessék a modell‑kompatibilitási útmutatókat és Switchyard erőforrásokat. NVIDIA Sync Cluster Assistant egyszerűsíti a beállítást és az eszközkezelést; a nyolc csomópontos támogatás az NVIDIA Sync‑ben még az év végéig érkezik.

Összefoglalva: a nyolc csomópontos DGX Spark klaszter 1 TB egyesített memóriát, gyorsabb tensor‑paralell kommunikációs opciókat (RoCEnante switch esetén), többmodell‑orchestration lehetőségeket NeMo Switchyarddal, valamint közel lineárisan skálázódó pre‑traininget kínál, mindezt helyi, asztali vagy szekrényben elhelyezhető hardveren.