Az AI rendszerek növekvő modellméretei és összetettebb következtetési feladatai miatt az iparág egyre nagyobb számítási kapacitást igényel. A nagy hyperscaler cégek és az AI-központú vállalatok ezért egyre gyakrabban fejlesztenek saját, speciális gyorsítókat, az ún. XPUs-t. Az ilyen gyorsítók széles körű bevezetéséhez elengedhetetlen a nagy-sávszélességű memória (HBM), elegendő csomag- és szilíciumterület a nagyobb számítási kapacitás számára, hatékony tápellátás, valamint megbízható ellátási lánc. Emellett rack-szintű architektúrára is szükség van, hogy az XPUs-ok adatinfrastruktúrába integrálhatók legyenek.
Az NVIDIA NVLink Fusion az a kapcsolati technológia és IP, amely lehetővé teszi, hogy hyperscalerek és AI-native vállalatok beépítsék saját XPUs- és CPU-megoldásaikat az NVIDIA AI infrastruktúra platformjába. Ezáltal használhatják az NVIDIA skálázódó (scale-up és scale-out) technológiai veremét, ökoszisztémáját és az MGX rack-szintű architektúrát, csökkentve a fejlesztési és üzembe helyezési komplexitást, javítva a teljesítményt és lerövidítve a piacra jutás idejét fél-saját (semi-custom) AI gyárak esetén.
A csomagszinten az NVHBM egészíti ki ezt az egységes architektúrát. Az NVHBM egy egyedi HBM base-die technológia, amelyet vezető memóriafeltáró partnerekkel terveztek és validáltak. Célja a memória-sávszélesség növelése, a helyigény csökkentése és az energiafogyasztás mérséklése, ami segíthet abban, hogy a testreszabott XPUs nagyobb modelleket kezeljenek, gyorsabban olvassák a KV cache adatokat, és javuljon a képzés és a nagyléptékű inferencia hatékonysága.
Miért számít a sávszélesség, a die-terület és az energia
A képzés, az inferencia és az ügynök jellegű (agentic) AI munkaterhelések egyre inkább nagy áteresztőképességű hozzáférést igényelnek a modell súlyokhoz, a KV cache-hez és az aktivációs adatokhoz. Amint az AI rendszerek az egyedi gyorsítóktól a rack-szintű számítási doménekig skálázódnak, a gyorsítócsomagnak egyensúlyba kell hoznia a számítási logikát, tápellátást, hűtést és a nagy-sávszélességű memóriát.
Az HBM létfontosságú memória-sávszélességet helyez közelebb a számoláshoz, ugyanakkor a vezető memória-technológiák kvalifikálása, a csomagintegráció és a validáció időigényes lehet egyedi gyorsítóprojektek esetén. Az NVLink Fusion révén az ügyfelek hozzáférést kapnak NVHBM base-diekhez, amelyek már validáltak vezető memória-gyártókkal, ezáltal csökkenthető az integrációs és kvalifikációs szűk keresztmetszet.
Főbb előnyök az NVHBM-mel kapcsolatban:
- Sávszélesség: akár 30% több memória-sávszélesség egy stacket tekintve a standard HBM4e-hez képest.
- Terület: hatékonyabb interfész-kapcsolatok révén akár 25% több fő-die terület szabadítható fel további XPU-képességek számára.
- Energia: a HBM energiafelhasználása akár 15%-kal alacsonyabb lehet a standard HBM4e-hez viszonyítva.
A memória-sávszélesség szűk keresztmetszetének hatása
Egy AI gyorsító teljesítménye azon múlik, hogy a számítási egységek mennyire következetesen kapnak adatot. A HBM sebességének növelése adott csomag-költségkereten belül több hasznosítható memória-sávszélességet biztosít, javítva a sávszélesség-igényes képzési és inferencia fázisok kiszolgálását. Az NVHBM stackenként akár 30%-kal nagyobb memória-sávszélességet kínál a standard HBM4e-hez képest; memória- vagy részben memória-korlátozott munkaterheléseknél ez jobb gyorsítókihasználtságot és nagyobb áteresztőképességet eredményez.
Ez különösen fontos nagy modellek inferenciájánál, ahol a tokenek kiszolgálása közben gyors adatmozgatásra van szükség HBM és a számítómagok között. Míg az NVHBM növeli a lokális gyorsítók memória-sávszélességét, az NVLink Fusion összeköti a gyorsítókat nagyobb doméneken belül, lehetővé téve az elosztott számítás és memória hatékonyabb kihasználását.
A skálázás fontossága különösen érvényes olyan fejlett routing technikák esetén, mint az expert parallelism (EP) vagy WideEP, amikor különböző „expert” egységek különböző GPU-kon helyezkednek el, és zökkenőmentes, nagysebességű szinkronizáció kell a teljes racken át. Az NVIDIA NVLink, amely az AI gyárakhoz tervezett scale-up hálózati réteg, az aktivációk és rejtett állapotok átvitelével támogatja a szakértők közötti szinkronizációt és az elosztott cache-ek összehangolását. Az NVHBM pedig csökkenti az adat-éhezést azáltal, hogy a lokális számítóegységeket folyamatosan ellátja adatárammal.
Több csomag- és szilíciumterület, nagyobb rugalmasság
A testreszabott AI szilíciumtervezésnél minden négyzetmilliméter számít. A gyorsítótervezőknek eldöntendő prioritások sorát kell kezeltetniük: mátrixmotorok, vektoregységek, on-chip SRAM, cache-hierarchia, vezérlőlogika, memóriasáv, hálózati-on-chip és scale-up kapcsolódás. Egy egyedi memória-implementáció csökkentheti a HBM-hoz való hozzáféréshez kapcsolódó tervezési és csomagköltségeket, felszabadítva így területet munka-specifikus képességek számára.
A NVHBM területmegtakarítása elsősorban a fizikai memória-interfész (PHY) újratervezésének köszönhető. A szabványos HBM szélesebb interfészeket használ, ami növeli a teljes csomag-lábnyomot. Az NVHBM egy hatékonyra optimalizált base-die-t alkalmaz, csökkentett I/O területtel, amelyet részben azzal érnek el, hogy a memória-vezérlőt a 3D HBM stackbe helyezik és integrálnak egy egyedi PHY-t. A JEDEC HBM4e szabványhoz képest ez a megközelítés a PHY és a támogató területet akár 67%-kal csökkentheti, miközben az interposer-routing egyszerűsödése a teljes elrendezésen akár 80%-kal több használható szilíciumterületet eredményezhet.
Ennek eredményeként a központi AI compute die kibővíthető a felszabadított helyre: ez akár 30%-kal nagyobb rendelkezésre álló fő-die szilíciumterületet jelenthet számítási vagy egyéb funkciók számára, így az XPU-tervezők több képességet adhatnak hozzá egy adott csomag-lábnyomon belül.
Energiahatékonyság skálázáskor
A teljesítmény mellett az energia az egyik legszigorúbb korlát az AI infrastruktúrákban. A HBM energiafelhasználása hozzájárul az gyorsító teljes energia-költségvetéhez, a csomag hőtervezéséhez, a rack energia-szabályozásához és az adatközpont hűtési tervéhez. Az NVHBM akár 15%-kal alacsonyabb HBM energiafogyasztást tesz lehetővé a standard HBM4e-hez képest, ami további energia- és hőmérsékleti tartalékot teremt a számításhoz.
Az energia-megtakarítás több szinten számít. XPU szinten a csökkent HBM-fogyasztás jobb teljesítményt per watt értéket és nagyobb fenntartható kihasználtságot eredményezhet, rack szinten enyhítheti a tápellátás és hűtés terhelését. AI gyár-skálán a memória-alrendszer energiafelhasználásának mérsékelt csökkentése is nagy megtakarítást jelenthet több ezer gyorsító összességében. A forrás szerint egy 1-gigawattos adatközpontban, amely 2 000 W-os XPUs-okat használ, az energia-megtakarítás akár 15 000 további XPU számítási tartalékot eredményezhet.
Ez különösen fontos a nagyméretű modellek inferenciájánál, ahol az XPUs-oknak többször kell olvasniuk modell-súlyokat és KV-cache adatokat alacsony késleltetés mellett. Az adatmozgatás energiaigényének csökkentése hozzájárulhat a gyorsabb inferenciához, nagyobb batch-méretek támogatásához és hatékonyabb energiafelhasználáshoz.
NVLink Fusion és NVHBM összehangolása rack-szinten
Az NVHBM növeli az XPU-k chip-szintű teljesítményét és hatékonyságát, míg az NVLink Fusion lehetővé teszi a hyperscalerek és AI-native vállalatok számára, hogy XPUs-aikat az NVIDIA AI platform többi eleméhez kapcsolják. Az NVHBM által biztosított akár 30% sávszélességnövekedés, 25% több die-terület és 15% HBM energia-megtakarítás együttesen egy jelentős, forrás szerint akár 30%-os végponttól-végpontig terjedő teljesítménynövekedést eredményezhet egy XPU-nként.
Ez a kapcsolódás az NVLink Fusion chipleten keresztül valósul meg, amely a testreszabott XPUs-okat kapcsolja össze az NVLink hálózattal, egyetlen scale-up doménbe foglalva az egy rackbe szerelt XPUs-okat. Az NVLink jelenleg hatodik generációjához érkezett, és a cég szerint ez az egyetlen bizonyított, kifejezetten AI gyárakhoz készült scale-up hálózati réteg, amely vezető teljesítményt és intelligens redundanciát nyújt. Feljebb kapcsolódva az XPUs-ok NVLink-C2C-n keresztül a CPU-khoz is csatlakoztathatók.
Az NVLink Fusion-t alkalmazó partnerek kombinálhatják saját XPUs- és CPU-megoldásaikat az NVIDIA skálázódó technológiai veremével és ökoszisztémájával, csökkentve a fejlesztési és bevezetési komplexitást, növelve a teljesítményt és felgyorsítva a piacra jutást részben testreszabott AI gyárak esetén. Az egységes architektúra szabványosítása egyszerűsítheti az adatközponti üzemeltetést, rugalmasságot biztosíthat a kapacitás újraallokálásához, és lehetővé teheti a testreszabott XPUs-ok GPU-kkal való heterogén együttes használatát.
Következtetés: a következő lépcső a testreszabott AI szilícium felé
Az NVLink Fusion közös scale-up alapot biztosít GPU-k, testreszabott XPUs-ok, CPU-k, hálózat és rack-szintű szoftver számára. Az NVHBM ezzel párhuzamosan jobb memória-teljesítményt, nagyobb számítási sűrűséget, HBM energiahatékonyságot és ellátási lánc-ellenálló képességet nyújt a következő generációs gyorsítókhoz. Ezek a technológiák rövidebb, közvetlenebb utat adhatnak a partnereknek a testreszabott AI gyorsítók tervezésétől a rack-szintű bevezetésig és a gyártási volumenig.
További információk találhatók az NVIDIA NVLink Fusion-ról és az NVHBM iparági elfogadásáról.
