Az NVIDIA DSX MaxLPS egy rendszerszintű megközelítés, amely chip-, hőtechnikai, rendszer- és szoftvereszközökkel próbálja maximalizálni az AI-feldolgozásból kinyerhető teljesítményt egy rögzített létesítményi teljesítménykereten belül. A MaxLPS (Maximum Land Power Shell) a helyszín szintű korlátokra utal: a telek, a közműáram és az épület, amely a tápellátást, hűtést, hálózatot és számítástechnikát befogadja.
Miért fontos a teljesítmény per watt az AI-feldolgozásnál
Nagy AI-farmoknál a kérdés már nem annyi GPU elhelyezése egy adatközpontban, hanem hogy hány AI-kimenetet lehet előállítani az elérhető megawattokból. A gyakorlatban a helyszínen rendelkezésre álló áram jelentős része nem közvetlenül a számítástechnikára megy: a tápellátás elosztása, hűtés, hálózat, háttértároló, backup és egyéb létesítményi költségek levonnak a bejövő teljesítményből. Egy NVIDIA példa szerint a bejövő helyszíni teljesítmény nagyjából 60%-a jut ténylegesen a számítási erőforrásokra, amelyek AI-kimenetet termelnek.
A statikus rack-tervezés problémája
A hagyományos tervfeltevés úgy méretezi a pólcokat (rackeket), mintha mindegyik egyszerre tudná kihasználni maximális csúcsfogyasztását. Ez véd a csúcsigény ellen, de „szigetként” kezeli a rackeket: a tartalékként lefoglalt áram nem kölcsönözhető egy másik, átmenetileg nagyobb igényű rack számára. Emellett létesítményi overhead, rack-veszteségek és üzemeltetési hatékonysági veszteségek (hibák, újraindítások, checkpointok) tovább csökkentik a számításra fordítható teljesítményt.
Például egy illusztratív 100 MW-os AI-farmnál a bejövő 100 MW-ból 20 MW megy létesítményi overheadre, 10 MW rack-veszteségre, és további 10 MW lesz elérhetetlen üzemeltetési hatékonysági okokból; így 60 MW marad AI-terhelésre.
Hogyan működik a MaxLPS dinamikus teljesítményelosztása?
A NVIDIA DSX MaxLPS a statikus tervezést dinamikus teljesítményelosztással váltja fel a Dynamic Power Software (DPS) segítségével (jelenleg Developer Preview állapotban). A DPS adatközpont-topológiát modellezi a szolgáltatói szinttől a rackekig, node-okig és GPU-kig, és a kezelési csoportokhoz, teljesítménykeretekhez és szabályokhoz igazítva folyamatosan figyeli a fogyasztást.
Ha egy GPU vagy rack a lefoglalt szint alatt működik, a DPS a szabadon maradt kapacitást átadja a csoporton belül más erőforrásoknak, miközben a site szintű teljesítménykeret változatlan marad. A DPS egy folyamatos vezérlőhurokban gyűjt telemetriát, azonosít kihasználatlan kapacitást, újraoszt, ellenőrzi a policy-k betartását és reagál teljesítményeseményekre és vészhelyzetekre.
A koordináció értéke abban áll, hogy sok rakker döntést központilag hangol össze: ha a site költségvetése vagy a hálózati rendelkezésre állás megváltozik, a DPS képes anélkül módosítani az üzemelő korlátokat, hogy kézzel kellene újratervezni minden racket.
Nyílt eseménybusz és integráció
A DSX Exchange egy nyílt forrású eseménybusz az AI-farm műveleteihez (szintén Developer Preview). IT/OT jeleket köti össze: DPS-t és más DSX-szolgáltatásokat épületfelügyelettel, elektromos monitorozással, hűtési infrastruktúrával, hálózati-griddel és ütemezőkkel. A DSX Exchange nem kötelező MaxLPS-hez, de több külső jel (például szezonális hűtési tartalékok vagy létesítményi események) hozzáférhetővé tételével további optimalizálást tesz lehetővé.
Szoftveres technikák a jobb teljesítmény/wattért
A MaxLPS nemcsak rack-szintű áramirányítást tartalmaz, hanem GPU-szintű és alkalmazásszintű energiamenedzsmentet is. A csomag részét képezik a workload profile power solutions (WPPS), amelyek előre validált profilokat adnak tipikus üzemmódokra (inference, training, memory-bound, compute-bound). Az Application Performance and Power Manager (APPM) alkalmazza ezeket a beállításokat a résztvevő GPU-okon, és az olyan szoftverek, mint az NVIDIA Dynamo, tovább finomíthatják a teljesítményt és a fogyasztást inter-rack viszonylatban.
Az inference felhasználási eset jól mutatja a hatást: a token/s másodperc per watt maximalizálása közvetlenül mérhető throughput-növekedést eredményez. NVIDIA mérések szerint MaxLPS-szel GB200 NVL72 rendszereken a teljesítmény/watt nagyjából 1,5×-ra javult, míg Vera Rubin NVL72 rendszereken körülbelül 1,3–1,4× közötti javulást mértek.
Mért eredmények és hatás a rack-kiosztáson
NVIDIA validációk szerint a MaxLPS csökkentette a szükséges lefoglalt rack-teljesítményt: GB200 NVL72 esetén 125 kW-ról 90 kW-ra, Vera Rubin NVL72-nél 136 kW-ról 101 kW-ra. Ez 39% illetve 35% több rack telepítését tette lehetővé ugyanazon 540 kW-os site teljesítménykereten belül, miközben a munkaterhelés átbocsátóképességét megőrizték. Általános ajánlásként NVIDIA azt jelzi, hogy Vera Rubin NVL72 telepítéseknél MaxLPS és megfelelő adatközpont-tervezés kombinációja akár 40% erejéig növelheti a Rubin GPU kapacitást ugyanazon teljesítménykeret mellett.
Méretezés és lifecycle-tervezés MaxLPS-szel
A MaxLPS alapja, hogy a helyszín bruttó létesítményi teljesítménykeretéből kiindulva határozza meg a maximálisan telepíthető GPU rack-pozíciók számát a MaxLPS üzemi ponton. A Day 1 telepítés kisebb lehet ennél, különösen ha a kezdeti mix inkább training- és post-training nehéz, ami magasabb átlagos rack-fogyasztást jelent. Ahogy az idő előrehaladtával az inference arányok nőnek, az átlagos rack-fogyasztás csökkenhet és lehetőség nyílik további rackek telepítésére anélkül, hogy a létesítményi teljesítménykeretet növelni kellene.
A helyszínméretezés során a döntések közé tartozik a GPU-család kiválasztása, a PUE cél meghatározása 45 °C DLC (warm-water) bemeneti hőmérsékletre, az east-west hálózat méretezése a MaxLPS GPU-számhoz és az összes telepíthető rack-pozíció kiszámítása.
Miért fontos a 45 °C-os folyadékhűtés?
A MaxLPS harmadik pillére a magasabb hűtőközeg-hőmérsékletre tervezett hűtés: Vera Rubin NVL72 rackek 45 °C hűtőbemeneti hőmérsékletre vannak tervezve. Bár a melegebb hűtőközeg elsőre ellentmondásosnak tűnik, a cél az, hogy a hőt hatékonyan távolítsák el, miközben teljesítmény, megbízhatóság és élettartam követelményeket tartanak.
A magasabb hűtőközeg-hőmérséklet növeli a „free cooling” arányát (külső levegő vagy víz használata mechanikus hűtés minimális igénybevételével), csökkentve a chiller- vagy párologtató rendszer állandó terhelését és így az éves átlagos PUE-t. Az ilyen megtakarított hűtési villamosenergia közvetlenül visszakerülhet a számítástechnikához, ha a berendezések és vezérlések ehhez megfelelően vannak méretezve.
A technológiai hűtőkör (TCS loop) a rackek GPU cold plate-jeit köti össze a coolant distribution unittal (CDU), amely átadja a hőt a létesítményi hűtőkörnek. Hatékony üzemeltetéskor a TCS három fő követelményt egyensúlyoz: a hűtőáram igazítása a GPU hőigényhez, a megengedett bemeneti hőmérséklet és megbízhatósági határok betartása, valamint a terhelés-alapú hőeseményekre adott stabil válasz.
Sok létesítmény PID szabályozást használ a CDU-k vezérlésére, ami reaktív; nagy, gyorsan szinkronizált terhelésváltozások esetén az üzemeltetők gyakran túlhidegen tartják a rendszert biztonsági tartalék miatt — ez azonban pazarló. Előrejelző és tanulóvezérlési megoldások (például a Phaidra munkái) képesek anticipálni termikus viselkedést és csökkenteni a puffer-szükségletet, de maga a 45 °C-os hardver- és létesítménytervezés is önmagában jelentős megtakarítást eredményezhet.
Hogyan kezdjenek hozzá az üzemeltetők?
A fizikai infrastruktúra később nehezen módosítható, ezért az NVIDIA javaslata az, hogy a MaxLPS-t már a helyszín tervezésekor vegyék figyelembe, még akkor is, ha nem kívánják Day 1-en minden racket telepíteni. Validálni kell a teljesítménytopológiát, redundanciát, hűtési viselkedést, telemetriai elérhetőséget, policy-követelményeket, hálózati kapacitást és rack-pozíció opcionálitását, mielőtt rögzítik az infrastruktúra döntéseit.
Szoftveres értékeléshez a Dynamic Power Software dokumentációja és az NVL72 inference power pilot ad kiindulópontot. Egy scoped validáció összehasonlítja a statikus alapvonalat MaxLPS-kezeléssel mérő futtatással, követve throughput-ot, latenciát, hibaarányt, teljesítményfelvételt, kihasználtságot és policy-megfelelést.
Összegzés
A statikus rack-provisioning sok hasznos teljesítményt „leköt” a valós munkaterhelések elől. NVIDIA DSX MaxLPS ezt három irányból célozza meg: dinamikus teljesítményallokációs szoftverrel, alkalmazott teljesítmény-per-watt technikákkal és 45 °C-os folyadékhűtési, létesítményi tervezéssel. Ezek együtt lehetővé teszik, hogy ugyanazon rögzített teljesítménykeretből jelentősen több AI-számítási kapacitás legyen elérhető — az NVIDIA szerint Vera Rubin NVL72 telepítéseknél akár ~40% több Rubin GPU kapacitás is elérhető lehet a megfelelő tervezés és üzemeltetés mellett.
Aki Vera Rubin NVL72 site-okat tervez vagy meglévő helyszínt frissít, érdemes korán bevonni az NVIDIA-t a 45 °C-os tervezés, rack-pozíciók és a MaxLPS-alkalmasság validálására, miközben a szoftveres DPS-t és pilotokat a telepítés előkészítéseként tesztelik.
