NVIDIA szerint az AI‑farmok működtetési költségeiben (OpEx) az energia aránya elérheti a 40%-ot, ezért a teljes rendszer — chipek, hűtés, rack‑infrastruktúra és szoftver — együtttervezése kritikus. A vállalat azt mutatja be, hogyan növelhető a teljesítmény watt‑arányosan, ezzel csökkentve az egy tokenre jutó költséget mind inference, mind nagy modelltréning esetén.
Miért fontos az inference optimalizálása?
Az inference (lekérdezés) közvetlenül hoz bevételt, ezért ennek throughput‑ja per watt az elsődleges optimalizálandó metrika. Különösen nagy, száz megawattos vagy gigawattos léptékben már néhány százaléknyi javulás megütköző hasznot hozhat. NVIDIA rámutat, hogy az egyes modellek architektúrája — például a mixture‑of‑experts (MoE) megközelítés — jobb energiahatékonyságot adhat: csak a szakértők egy része aktív tokenenként, így több intelligenciát lehet előállítani azonos vagy alacsonyabb per‑token energiaárán. Példaként említik a DeepSeek‑R1 modellt, amely nagy paraméterszáma ellenére részleges aktiválással hatékonyabb feladat‑teljesítményt ér el.
Rendszerszintű energia‑ és teljesítményoptimalizálás
NVIDIA állítása szerint az architektúrák és platformok generációnként javítják a watt‑arányos intelligencia‑kibocsátást: hat architektúra generáció alatt az inference throughput per megawatt 1,000,000× javulást mutatott. A vállalat termékek és megoldások, amelyek szerepelnek az optimalizálásban:
- NVIDIA GB200 NVL72 rack‑skálájú rendszer: sűrű, közvetlen chipre vezetett folyadékhűtéssel növeli az energiahatékonyságot; in‑rack feszültségkiegyenlítéssel (power smoothing) kisimítja a csúcsáramokat, lehetővé téve több GPU biztonságos telepítését ugyanazon teljesítmény‑kereten belül.
- NVIDIA DSX: nyílt, AI‑farm méretű platform, amely dinamikus teljesítményelosztást, valós idejű telemetriát és rack‑szintű vezérléseket biztosít az elszigetelt (stranded) teljesítmény felszabadítására, növelve a token/watt arányt.
- Numerikus pontosságok: magasabb pontosság (pl. FP8 fölött) lassabb és nagyobb energiafelhasználású lehet; szűkebb formátumok, mint az NVFP4, energiahatékonyabbak és azonos pontosság mellett nagyobb throughputot érhetnek el.
- Szoftveres optimalizálók: NVIDIA Dynamo és NVIDIA TensorRT‑LLM segítik ezen hardver‑szintű előnyök valós inference teljesítményre váltását.
A rendszerszintű energiahasználatot a számítás mennyisége, a hardver hatékonysága, a GPU‑kihasználtság és a sebesség/energia tradeoff határozza meg. Ennek megfelelően a komplett rendszertervezés, a nem‑GPU szűk keresztmetszetek megszüntetése és a feladathoz igazított batch‑méret hangolása fontos fogók.
Energiahatékonyság optimalizálása LLM‑tréningnél
Nagy modellek trenningje több GPU‑ra osztja a munkát különböző párhuzamosítási módszerekkel. Maximális iterációsebességre törekedni jelentős többletenergiát eredményezhet, ráadásul a GPU‑munkaterhelés elosztása nem mindig tökéletes: egyes GPU‑k üresjáratba kerülnek, miközben mások végzik a kritikus munkát.
A University of Michigan ML.ENERGY Initiative kutatói azt mutatták meg, hogy az egyes GPU‑k feldolgozási sebességének hangolása csökkentheti a nagy modelltréningek energia‑pazarlását. A megközelítés lényege: akik a kritikus út részei (több munkával) maximális sebességen futnak, míg a kevésbé terhelt GPU‑kat szándékosan lelassítják. Ennek hatásai:
- csökken az idő előtti befejezésből adódó GPU‑idle idők száma
- a lelassított GPU‑k kevesebb energiát fogyasztanak
- az end‑to‑end tréningidő gyakorlatilag nem változik
NVIDIA együttműködik az ML.ENERGY csapatával a Megatron‑LM (NVIDIA nyílt forrású referencia a nagy skálájú LLM‑tréningre) energiahatékonyságának fejlesztésében: kernel‑ és fázis‑szintű energiaprofilozással, párhuzamosítási és ütemezési mérésekkel az energia‑tudatos optimalizációk irányítása érdekében. Céljuk az energiahatékonyság javítása úgy, hogy ugyanazon villamosenergia‑keretben gyorsabban lehessen tréningelni, vagy azonos sebességet alacsonyabb energiafelhasználással elérni. Az eredményként felszabaduló teljesítmény további tréningekre vagy inference‑re fordítható.
A bemutatott eredmények szerint energia‑tudatos ütemezéssel és runtime‑hangolással hozzávetőlegesen 25%-os energia megtakarítás érhető el hasonló iterációs lépések idő mellett.
DSX: hogyan hangolja össze az AI‑farmot és a hálózatot
Az ML.ENERGY Initiative benchmarkokat és egy megfigyeléseket értelmező keretrendszert fejlesztett ki, amelyeket DSX‑szel integrálva valós telemetria‑vezérelt energiagazdálkodásra lehet használni, figyelembe véve a költséget, karbonintenzitást, hőmérsékleti és hűtési kapacitásokat, valamint a hálózati korlátokat.
NVIDIA DSX célja, hogy koordinált rálátást adjon számítási, rack, hűtés, létesítmény‑áram és munkaterhelés‑ütemezés szintjén. A platform összekapcsolja a tervezési szimulációkat a futásidejű telemetriával, feltárva, hol használják fel, illetve hol rekedt a teljesítmény, és mennyi további hasznos számítás illeszthető be a rögzített site‑keretbe.
DSX komponensek és funkciók:
- DSX MaxLPS: az AI‑farmon belüli teljesítmény maximalizáló technológiák gyűjteménye. Tartalmaz 45°C‑os folyadékhűtést (magasabb beömlő hőmérsékletet használva javítja a PUE‑t), dinamikus teljesítményelosztást (valós idejű monitorozás és újraallokáció), valamint beépített fejlett technikákat (power steering, optimalizált munkaterhelés‑profilok és az inter‑rack optimalizációt támogató NVIDIA Dynamo).
- DSX Flex: a hálózati jelekre és külső energiaforrásokra reagáló réteg, amely összeköti az AI‑farmot az elektromos hálózattal.
A DSX célja, hogy minden réteget egy közös architektúrába illesszen: chipektől és rendszerektől az infrastruktúra‑szoftvereken, digitális ikreken és partnertechnológiákon át. Ez javítja a token/watt arányt, felgyorsítja az üzembe helyezést és növeli az üzemeltetési megbízhatóságot.
Munkafolyamatok és modellezés: hol lehet további nyereséget találni?
A végső nyereség az infrastruktúra‑optimalizáción túl a munkaterhelések szintjén nyerhető ki: benchmarkok segítenek modellek, batch‑méretek és pontossági választások meghatározásában. Egy optimalizált AI‑farmon belül a munkaterhelés‑elosztás, ütemezés és teljesítmény‑allokáció igazítható a leghatékonyabb számítási és hűtési zónákhoz. Ez magában foglalja munkaterhelések átrendezését egy rögzített teljesítmény‑kereten belül, az energiaigény csökkentését hatékonyabb konfigurációkkal vagy modellekkel, és a magasabb teljesítményt indokoló, bevétel‑orientált prioritások meghatározását.
NVIDIA szerint a jövőben az "AI tokenomics" metrikákat elsődleges tervezési célként kell kezelni: a digitális‑iker alapú infrastruktúra‑optimalizációt érdemes ötvözni a benchmark‑vezérelt munkaterhelés‑hangolással, hogy a korlátozott teljesítmény versenyelőnnyé váljon mind token‑kapacitás, mind bevétel szempontjából.
Konkrét számok és hatások
- Az energia az OpEx akár 40%-át kiteheti egy AI‑farmnál.
- Hat NVIDIA architektúra generáció alatt az inference throughput per megawatt növekedése 1,000,000× volt.
- DSX MaxLPS jellemzői között szerepel a 45°C‑os folyadékhűtés és dinamikus teljesítményelosztás.
- Energia‑tudatos ütemezés és runtime‑hangolás körülbelül 25% energiamegtakarítást érhet el hasonló iterációs idők mellett.
- Egy teljesítmény‑per‑megawattra optimalizált AI‑farm akár 2.6× több token/s/MW‑t képes produkálni egy nem optimalizált farmhoz képest a célzott interaktivitási szinten.
Záró megjegyzés és esemény
NVIDIA hangsúlyozza, hogy az energia‑korlátok miatt a performance per watt meghatározza a tokenköltséget és a profitabilitást; a teljes verem összehangolása (hardver, szoftver, modellezés és üzemeltetés) elengedhetetlen. A cég további részleteket és demonstrációkat ígér az ISC 2026 rendezvényén, ahol a DSX és kapcsolódó technológiák bemutatásra kerülnek.
Elismerések
NVIDIA köszönetét fejezte ki Mosharaf Chowdhury, Jae‑Won Chung és Ruofan Wu (ML.ENERGY Initiative, University of Michigan) hozzájárulásaiért.
