A nagyméretű nyelvi modellek (LLM) képzése különleges infrastruktúra‑kihívásokat támaszt: a feladatok több ezer GPU‑t is átfoghatnak és hosszú ideig futnak. Minél tovább tart egy tréningmunka, annál nagyobb az esélye nem ütemezett megszakításoknak vagy erőforrás‑fluktuációknak; még ritka eszköz‑elérhetetlenség is aránytalan mértékben lassíthat egy szorosan összekapcsolt klasztert. A nagyra skálázott feladatoknál az egyik hatékony megoldás az, ha a munka rugalmasan alkalmazkodik a rendelkezésre álló GPU‑k számához — ez javítja a Goodputot, azaz a tényleges, a konvergenciát előre vivő hasznos munkavégzést, nem csupán a nyers hardver‑átvitelt.
A jelenleg használt rugalmas megközelítések közé tartozik adatreplika eldobása, gyors checkpoint‑újraindítások, illetve "hot spare" berendezésekre váltás. Ezekkel a módszerekkel a tréningmunka reagálni tud a GPU‑elérhetőség változásaira, miközben a rendszer egyensúlyát megőrzik — ugyanakkor a csökkentett állapot időszaka alatt mindig van bizonyos átviteli veszteség és megnövekedett költség.
Egy friss tanulmány a Nonuniform Tensor Parallelism (NTP) néven kísérleti keretrendszert mutat be, amely a meglévő módszereket úgy egészíti ki, hogy minimalizálja az átviteli többletterhelést. A javaslat szerint a dinamikus TP‑fokozat‑átállítás kombinálva a teljesítményveszteséget ellensúlyozó dinamizált energiaellátással lehetővé teszi, hogy az átviteli sebesség nagyjából állandó maradjon, és a megszakítások kezelhető, visszafordítható eseményekké váljanak.
Mire képes az NTP?
Az NTP központi hozzájárulása az, hogy megakadályozza, hogy átmeneti eszközproblémák megbénítsák a nagy, szorosan összekapcsolt tréningfeladatokat, ezáltal fenntartva a magas Goodputot. A megközelítés dinamikusan módosítja a tensor‑párhuzamosság mértékét és intelligensen átfedésbe hozza a szükséges tensor‑újraelosztást (resharding) a számítási fázisokkal, így csökkentve az elveszett időt és az elpazarolt számítási erőforrást.
Ennek eredményeképp a klaszter a működési ideje legnagyobb részében hasznos munkát végez, megőrizve a képzés hatékonyságát és integritását még változó hardveres körülmények között is.
Nagy léptékű tréning kihívásai
A modellképzés párhuzamos feladat, gyakran több ezer GPU bevonásával. A párhuzamosítás egyik tipikus technikája a tensor‑párhuzamosság (TP), ahol a neurális háló rétegeit egy szorosan összekapcsolt GPU‑csoport között osztják meg. Ennek a csoportnak a mérete az úgynevezett scale‑up domain‑nel esik egybe — ezeket nagysebességű, például NVIDIA NVLink‑szerű összeköttetések kötik össze. NVIDIA Blackwell és NVIDIA Blackwell Ultra rendszereken az NVLink képes akár 72 GPU‑t összekapcsolni 1 800 GB/s átviteli sávszélességgel, lehetővé téve az all‑to‑all kommunikációt egyetlen ugrással.
Egy tipikus topológia szerint egy élvonalbeli LLM több rack‑ből álló klaszteren képződik; egy rack alkot egy scale‑up domain‑et és egy TP‑csoportot. A data parallelism (DP) a modellt több ilyen scale‑up domainre replikálja, minden replika más adatcsomagot dolgoz fel. Ha egy GPU státusza megváltozik egy scale‑up domainen belül, az befolyásolhatja az adott TP‑csoport hatékonyságát: mivel a csoport GPU‑i szorosan együtt dolgoznak, egy eszköz problémája lassulást vagy ideiglenes újraelosztást okozhat.
Ahogy az adatközpontok támogatható scale‑up domainjei nőnek (például 8‑ról 72 GPU‑ra), minden egészséges eszköz termelékeny üzemidejének maximalizálása válik a magas Goodput elérésének kulcsává.
Hogyan tartja fenn a NTP a tréninget?
Az NTP alapötlete, hogy egy DP replika hasznos maradjon még átmeneti hardver‑zavarok esetén is. A legfrissebb checkpointból való folytatáskor a modell automatikusan a rendelkezésre álló hardverhez igazítja konfigurációját, így részleges funkcionalitás mellett is folytatódik a csővezeték munka, és nem vesznek el teljesen egy replika hozzájárulásai.
A megvalósítás fő elemei a következők.
Dinamikus TP‑fokozat‑adaptáció
Ha egy GPU kiesik egy scale‑up domainen, a rendszer detektálja az érintett TP‑csoportot és automatikusan átkonfigurálja a tensor‑párhuzamosságot úgy, hogy csak a működő GPU‑kat használja. Például egy nyolc GPU‑ból álló TP‑csoport egy kiesés esetén dinamikusan átállhat TP‑fokozat 7‑re. A modellezett shard tovább folytatja a számításokat, így nem vész el teljesen a hozzájárulása; a megmaradt GPU‑k megnövelt egyéni munkaterhelést vállalnak fel, ami segít fenntartani a magas Goodputot és rendelkezésre állást.
Teljesítménykompenzálás energiafokozással
A TP‑fokozat csökkentése önmagában nem elegendő a globális átviteli sebesség fenntartásához: egy kevesebb GPU‑val futó DP replika lassabb lesz, és ez visszafoghatja a rendszer többi részét. Ennek ellensúlyozására a tanulmány egy olyan rack‑tervezeti megoldást javasol, amely jobb elektromos és hőtechnikai tartalékokkal rendelkezik. Ez lehetővé teszi az érintett scale‑up domainre irányuló dinamikus "power‑boostingot": a működő GPU‑k rövid ideig nagyobb teljesítményen futhatnak, magasabb órajel‑frekvenciát és növelt számítási átvitelt érve el.
Így az adott, csökkentett TP‑fokozatú DP replika fel tud zárkózni a teljesen működő replikákhoz, elkerülve a globális szinkronizációs torlódásokat és megőrizve a klaszter Goodputját lokális hardverfluktuációk mellett.
Hatékony resharding
A TP‑fokozat dinamikus módosítása megköveteli a modell tensor‑shardjainak gyors újraelosztását a megmaradt GPU‑k között. Az NTP olyan resharding technikát alkalmaz, amelyet átfedésbe hoznak más számítási fázisokkal: a resharde‑elést a visszaterjesztés (backward) számítás és a paraméter‑szinkronizáció időszakába illesztik. Ez minimalizálja az egészséges replikákra jutó többletterhelést, gyakran kevesebb mint 1% többletköltséget eredményezve. Ezzel a gondos ütemezéssel a számítási hatékonyság megmarad, és az átállás maga nem válik teljesítmény‑szűk keresztmetszetté.
Hardver‑szoftver együtttervezés és továbblépés
A munka aláhúzza, mennyire fontos a hardver és a szoftver együtttervezése a nagy léptékű AI‑tréninghez szükséges ellenálló képesség eléréséhez. Az NTP és az olyan fejlett rack‑tervek integrációja, amelyek megadják a szükséges elektromos és hűtéstechnikai tartalékot a dinamikus energiabővítéshez, példát mutat arra, hogyan egészíthetik ki egymást a hardveres innovációk és kifinomult szoftvermegoldások.
Ez a kölcsönös kapcsolat elengedhetetlen a magasabb teljesítmény, hatékonyság, stabil Goodput és nagyobb ellenálló képesség eléréséhez a következő generációs AI rendszerekben. Az NTP, mint kísérleti, előremutató funkció, megmutatja, hogy a rugalmasság és a hibatűrés hogyan építhető be magába a párhuzamossági stratégiába.
A kutatás továbbmegy: már folynak munkák a Nonuniform Expert Parallelism (NEP) irányába is, hogy a Mixture‑of‑Experts (MoE) modellek számára optimalizálják az ellenálló képességet, ahol a hagyományos tensor‑párhuzamosság kevésbé alkalmas.
Hol találhatók további információk?
A cikk megemlíti a gyártásra kész hibajavító és ellenálló képességi funkciókat kínáló NVIDIA Resiliency Extension (NVRx) szolgáltatást, valamint a Nonuniform Tensor Parallelism Readme dokumentumot. Az NTP mostantól elérhető a NVIDIA Megatron Core fejlesztői ágában, ahol a fejlesztők és kutatók tovább vizsgálhatják és kipróbálhatják a megközelítést.
A megoldás nem tünteti el a hardverhibákat, de lehetővé teszi, hogy a klaszterek jóval nagyobb arányban folytassák a hasznos munkát átmeneti problémák közepette, ezzel növelve a nagy modellek tréningjének hatékonyságát és megbízhatóságát.
