AI Factories (nagyméretű AI-felhő- és adatközpontok) egyesítik a világ jelenleg legösszetettebb technikai részrendszereit: százezres nagyságrendű GPU-kat, NVIDIA Spectrum‑X Ethernet és NVLink hálózati szövedékeket, elosztott ütemezőket és többhetes, többcsomópontos tanítási futamokat. Ezek a rétegek együttesen egyetlen termelési rendszerként működnek, amit akkor is érint egy-egy hiba, ha a télémetria különböző csapatoknál keletkezik. Szinron elosztott tanításnál a munka előrehaladása a leglassabb rang sebességét követi: egyetlen lelassult GPU vagy hálózati útvonal rontja a teljes klaszter hatékonyságát.
A problémát gyakran nem nyilvánvaló hibák okozzák: valamelyik GPU néhány fokkal forróbb a testvéreinél, egy NVMe csak tartós terhelésnél veszít teljesítményt, vagy egy switch pause-frame viharokat generál — ezek egyenként nem feltétlenül lépik át a fix riasztási küszöböket, de együtt straggler‑helyzetet, hosszabb lépési időt és eltolódó checkpointokat eredményeznek.
Hogyan javítja a Minerva az üzemeltetést
NVIDIA Minerva egy AI‑natív AIOps platform, amely a teljes veremből gyűjt télémetriát, dinamikus tudásgráfban leképezi az infrastruktúrát és az aktív munkákat, majd célzott gépi tanulást alkalmazva korrelálja a függő tüneteket magas konfidenciájú incidensekké. Egy beépített AI‑ügynök, Sherlock, és egy MCP szerver külső agentic eszközökhöz csatlakoztatva lehetővé teszi, hogy az üzemeltetők beszélgető jellegű lekérdezésekkel járják végig ugyanazt az élő bizonyítékot. A cél pragmatikus: megőrizni a tényleges GPU‑órákat és fenntartani a modell‑képzések haladását.
Miért buknak el a hagyományos monitorozó rendszerek nagy skálán
A szabályalapú monitorozás egy ismert metrika ismert határát feltételezi hibajelzésként, ami jól működik nyilvánvaló meghibásodásoknál, de kevésbé alkalmas az úgynevezett „szürke hibákra”, ahol komponensek elérhetőek maradnak, és a probléma csak terhelés alatt vagy a peer‑összehasonlításban látszik. A skálázódás riasztás‑erősítéshez vezet: egy fizikai hiba több eszközön is számos tünetet kelt, amelyek külön panelekről érkeznek, így az on‑call mérnöknek manuálisan kell korrelálnia őket.
Működés szempontjából a munka (workload) a lényeges egység: meg kell határozni, hogy melyik feladat érintett, mely erőforrásokat használja, azok hol vannak a logikai és fizikai topológiában, és hogyan tér el a viselkedés a normál állapottól. Ez a kontextus folyamatosan változik, ahogy a jobok indulnak és leállnak; hiányában a dashboardok egészségesnek tűnhetnek, miközben a job‑átvitel gyenge.
Építve egy élő infrastruktúra‑és‑munka modelt
NVIDIA Minerva mérőszámokat, logokat és topológiát fogad be GPU‑któl, Spectrum‑X és NVLink switchektől, SuperNIC‑ektől, DPU‑któl, tárolótól, NVIDIA NCCL‑től, ütemezőktől és AI munkáktól. Az automatikus felfedezés előállítja azokat a kapcsolatokat, amelyek a nyers télémetriből hiányoznak. Az így kialakuló tudásgráf leképezi az infrastruktúra‑, ütemező‑ és munkafeladat‑elemeket, és frissíti ezeket a kapcsolatokat, ahogy a környezet változik; több adatközpontot is képes lefedni és lehetővé teszi a gyárszintű nézettől egyetlen interfészig való navigációt.
A topológia‑graf kulcsfontosságú: egy anomáliás interfésztől kiindulva az üzemeltető megtalálhatja az adott node‑ot, annak szolgáltatási útvonalát, a rajta futó aktuális jobokat és a hasonló hibadoménban lévő közeli komponenseket. Fordítva, egy job ID‑ből kiindulva egy ML mérnök visszavezetheti a munkát a GPU‑kon, hostokon, NIC‑eken, switcheken és a kapcsolódó log‑bizonyítékokon keresztül. Így minden csapat ugyanarról az aktuális oksági térképről dolgozik.
Szürke hibák kiszűrése célzott gépi tanulással
Minerva óránként több milliárd metrika‑ és log‑pontot dolgoz fel felügyelt és felügyeletlen modellekkel, melyeket kifejezetten AI‑factory infrastruktúrára és workloadokra fejlesztettek. A felügyelt detekció ismert kritikus hibamintákat azonosít és javasolt javítási lépéseket társít, míg a felügyeletlen modellek a nem előre definiált viselkedéseket tanulják meg és peer‑összehasonlítás alapján jelzik az anomáliákat.
A peer‑összehasonlítás fontos: egy metrika önmagában elfogadhatónak tűnhet, de a hasonló interfészekhez képest kiugró lehet. Multivariáns modellek egyidejűleg vizsgálják a hőmérsékletet, fogyasztást, órajeleket, kihasználtságot és a munka állapotát, így képesek degradációt jelezni még a teljes meghibásodás előtt.
A logoknál NLP‑alapú anomália‑detektálás tár fel korábban nem látott mintákat, míg a felügyelt egyezés ismert hibákat azonosít. Egy detektálás beavatkozhat az ütemező munkafolyamataiba, hogy érintett node‑ot lekapcsolják a következő checkpointok közti biztonságos ponton.
Esemény‑viharok összeomlasztása műveletképes incidensekké
A topológia‑tudatos korreláció a tudásgráfot használja annak meghatározására, hogy mely események osztoznak függőségi úton. A downstream tüneteket egyetlen incidensbe csoportosítja a különálló, versengő riasztások helyett. Ennek eredményeként csökken az alert‑zaj és nő a kontextus: redundáns események és kapcsolódó metrika‑sorozatok egyetlen jelzéssé állnak össze, a hozzájuk tartozó topológiával és érintett munkákkal.
NVIDIA belső tesztek szerint bizonyos támogatott forgatókönyvekben jelentős csökkenés mutatható ki a bejelentett események és jegyek számában. Ha a platform magas bizalmi szintű incidenst állít elő, a csapatok azt a Minerva felületén vagy meglévő munkafolyamataikon keresztül fogyaszthatják.
Agentikus hibakeresés: Sherlock és MCP
A korrelált bizonyítékok értelmezést igényelnek. NVIDIA Minerva beépített AI‑ügynöke, Sherlock, élő télémetriára és a tudásgráfra alapozva emberi nyelvű kérdésekre válaszol: miért lassult le egy konkrét job egy adott intervallumban, mely komponensek változtak meg, vagy osztoznak‑e más node‑ok ugyanazon hibadoménen. Sherlock bemutatja a támogató bizonyítékot és javaslatot tesz javításra anélkül, hogy minden operátornak ismernie kellene az egyes metrikákat vagy lekérdezéseket.
Az MCP szerver lehetővé teszi, hogy külső agentic eszközök ugyanazt az üzemeltetési kontextust lekérdezzék; a mitigáció emberi jóváhagyással maradhat, vagy automatizálható a helyi szabályzat és kockázat alapján.
Konkrét használati esetek az NVIDIA AI‑gyáraiból
- Egy 400 000 interfészt tartalmazó környezetben egy SRE észrevette, hogy egy training job lépési ideje folyamatosan romlik, de nem volt sem riasztás, sem nyilvánvaló hiba. Minerva anomália‑detektálása megtalálta az egyetlen NVLink kapcsolatot, amely csökkenő sávszélességet okozott; a rendszer összekapcsolta a switch‑et a ráterhelt jobokkal, így a csapat percek alatt izolálta és ütemezte újra a node‑okat. A probléma kézzel történő feltárása órákat vett volna igénybe.
- SuperNIC‑proaktív karbantartás: egy node firmware‑je egy ritka PCIe‑szintű (APEI, error source 5) hardverhibát jelzett. A hiba olyan ritka volt, hogy statikus szabály nem fogta volna, de Minerva log‑anomália‑detektálása figyelmeztetést posztolt, lépésről lépésre javítási útmutatót mellékelt, és az ügyeletes mérnök kivette a node‑ot a poolból még mielőtt munkák érintették volna — ez több száz GPU‑órát mentett meg.
- NVMe áramellátási hiba: több training job lassulását egy host‑on futó NVMe eszköz ébresztési problémája okozta; a tárolóhoz való ideiglenes veszteség I/O hibákat indított el, amelyek lelassították a jobokat. A gyökérok azonosítása után a node‑ot lekapcsolták és a hibás hardvert visszaküldték RMA‑ra. A javítás becslés szerint 5 530 órányi job futási időt takarított meg.
- Pause‑frame vihar: egy switch oldaláról származó oldalhiba miatt RX pause frame‑ek, link‑down események és GPU hő‑és‑kihasználtság anomáliák jelentkeztek; ez 81 különálló zajos eseményt generált. Minerva topológia‑tudatos korrelációja ezeket egyetlen incidenssé sűrítette, amivel az elhárítási időt és a klaszter kieséséből adódó összesen mintegy 54 órát takarítottak meg.
Üzemeltetési előnyök és integráció DSX OS‑szel
NVIDIA belső mérései szerint Minerva növeli a megszakítások közötti átlagos időt (MTBI) proaktív karbantartással, csökkenti az átlagos javítási időt (MTTR) az automatizált gyökérok‑elemzéssel, és mérsékelten csökkenti a riasztási zajt — ezek együtt több hasznos GPU‑órát eredményeznek.
A Minerva fejlesztése összehangolódik az NVIDIA DSX OS‑szal: a Minerva adatgyűjtő komponensei nyílt forrásúvá válnak és újrahasznosítják a DSX OS egyes egészség‑és‑ellenállóképesség elemeit, például az NVIDIA Attributiont. Ez moduláris télémetriai alapot biztosít az NVIDIA referencia‑architektúrák mellett, miközben megőrzi az észlelés, analitika és automatizáció összetevőinek összetételezhetőségét.
Összegzés
Ahogy az AI‑gyárak nőnek és bonyolultabbá válnak, a hagyományos monitorozás és a valós üzemeltetési követelmények közti rés tágul. NVIDIA Minerva áthidalja ezt a szakadékot a verem teljes télémetriájának egyesítésével, topológia‑tudatos tudásgráffal, célzott ML‑detekcióval és agentikus hibakereséssel. Ennek eredményeként a triázs és root‑cause vizsgálat órákat rövidít percekre, növelve a hatékony GPU‑óra termelést és csökkentve a figyelmi zajt.
