Kutatás

Mesterséges intelligenciával generált szöveg

Az NVIDIA új rendszere gyorsabb tanítást ért el az MLPerf tesztjein

Az NVIDIA Vera Rubin NVL72 platformja az MLPerf Training v6.1 mérési fordulójában mutatkozott be.

Az NVIDIA új rendszere gyorsabb tanítást ért el az MLPerf tesztjein

Az NVIDIA új Vera Rubin NVL72 platformja a hét feladatból hatban érte el a legrövidebb tanítási időt az MLPerf Training v6.1 tesztsorozatban. A hetedikben, a DeepSeek-V3 671B modellen egy nagyobb, 10 240 GPU-ból álló NVIDIA GB300 NVL72 rendszer adta a forduló leggyorsabb eredményét. Az NVIDIA így mind a hét feladatban a legjobb időt jegyezte.

Azonos GPU-szám mellett a Vera Rubin GPU-nként 1,4–2-szeres teljesítményt ért el az optimalizált GB300 NVL72 összehasonlítási alaphoz képest. Az NVIDIA szerint csak az ő platformjairól érkezett eredmény mind a hét tesztre, és az új rendszer már első szereplésekor teljesítette a teljes sorozatot. A vállalat által idézett MLPerf-adatokat 2026. november 16-án kérdezték le.

Teljesítmény különböző modelleken

A zárt kategóriában végzett összehasonlítás nyelvi modelleket, képgenerálást, ajánlórendszert és megerősítéses tanulást is lefedett. Azonos GPU-szám mellett a Vera Rubin előnye a következő volt:

  • DeepSeek-V3 671B: 2-szeres teljesítmény 1024 GPU-val.
  • Qwen3.5 397B GRPO megerősítéses tanulás: 1,4-szeres teljesítmény 64 GPU-val.
  • gpt-oss 20B: 1,6-szeres teljesítmény 64 GPU-val.
  • Llama 2 70B LoRA: 1,5-szeres teljesítmény 72 GPU-val.
  • Llama 3.1 8B: 1,6-szeres teljesítmény 72 GPU-val.
  • FLUX.1: 1,5-szeres teljesítmény 72 GPU-val.
  • DLRMv4: 1,4-szeres teljesítmény 128 GPU-val.

A legnagyobb különbség a 671 milliárd paraméteres, szakértői keveréket használó DeepSeek-V3 esetében jelentkezett. Ennél a modellnél a szakértők közötti párhuzamosítás jelentős kommunikációs terhelést ró a rendszerre.

A Vera Rubin NVL72 1024 GPU-val, 16 rackben 4,14 perc alatt teljesítette a DeepSeek-V3 tesztet; az ugyanennyi GPU-t használó GB300 eredménye 8,03 perc volt. A forduló abszolút legjobb idejét ugyanakkor a GB300 érte el: 10 240 GPU-val, 160 rackre elosztva 1,38 perc alatt futtatta le a feladatot.

Új teszt az ágensek utólagos tanítására

Az MLPerf Training v6.1 először tartalmaz nagy nyelvi modellek ágensfeladatokra irányuló, megerősítéses tanulással végzett utólagos tanítását mérő tesztet. A Qwen3.5 397B GRPO feladatban a rendszernek ismételten válaszokat kell generálnia és értékelnie, majd frissítenie kell a modell súlyait. Ez jelentős adatmozgást igényel az inferenciát és a tanítást végző komponensek között.

A Vera Rubin 1024 GPU-val 10,44 perc alatt végzett, szemben a GB300 azonos méretű konfigurációjának 13,78 percével. Az NVIDIA két inferenciás háttérrendszerrel is bemutatta az NVIDIA NeMo RL használatát: TensorRT-LLM-mel 10,44, vLLM-mel 10,94 percet ért el.

Az ágensfeladatok szimulációi processzorigényesek is. Az NVIDIA közlése szerint egyetlen Vera CPU-rack 256 processzora több mint 22 500 párhuzamos megerősítéses tanulási környezetet képes kiszolgálni, miközben a GPU-k a generálást és a súlyfrissítéseket végzik.

Hálózat és skálázás

A Vera Rubin NVL72 egy racken belül 72 GPU-t és 36 CPU-t köt össze rézalapú NVLink 6 kapcsolattal. Az NVIDIA szerint a kapcsolat GPU-nként 3,6 TB/s, rackenként 260 TB/s sávszélességet biztosít. A rackek között ConnectX-9 SuperNIC hálózati vezérlők, valamint Quantum-X800 InfiniBand vagy Spectrum-X Ethernet biztosítja az összeköttetést; a forgalom kezelésére adaptív útvonalválasztást és torlódásszabályozást használnak.

A vállalat szerint a DeepSeek-V3 tesztben a Vera Rubin 97 százalék feletti skálázási hatékonyságot tartott fenn, amikor a konfigurációt 256-ról 1024 GPU-ra, azaz négyről 16 rackre bővítették. A GB300 nagyobb klaszteren mutatta meg skálázhatóságát a 10 240 GPU-s eredménnyel.

Szoftveres optimalizálás és ellenőrizetlen újramérések

A hivatalos futtatásokban az NVIDIA NeMo Framework 26.09 szolgált az előtanítási tesztekhez, az NVIDIA NeMo RL a megerősítéses tanuláshoz, az NVIDIA PyTorch kiadásai pedig a FLUX.1 és a DLRMv4 feladatokhoz. A vállalat a v6.1-es nevezések lezárása után újabb szoftverrel, változatlan hardveren és konfigurációban is megismételt három tesztet.

Ezeket az újraméréseket az MLCommons Association nem ellenőrizte, és nem estek át az MLPerf felülvizsgálatán; mérési módszereik vagy megvalósításaik eltérhetnek a hitelesített eredmények előírásaitól. A hivatalos és az újramért idők a következők:

  • Llama 3.1 8B, 72 GPU: a GB300 hivatalos 11,541 perces ideje 9,211 percre, a Vera Rubin 7,162 perces ideje 6,140 percre csökkent.
  • gpt-oss 20B, 64 GPU: a GB300 eredménye 18,24-ről 13,151 percre, a Vera Rubiné 11,213-ról 8,080 percre változott.
  • DLRMv4, 128 GPU: a GB300 ideje 3,871-ről 2,940 percre, a Vera Rubiné 2,829-ről 1,628 percre csökkent.

Az NVIDIA egy külső optimalizálási példát is ismertetett. A Thinking Machines Lab az Inkling 2 Small modellhez saját kerneleket és NVFP4-alapú tanítási módszert készített GB300 NVL72 rendszerre. A teljes MXFP8-tanításhoz képest az előtanítás és a finomhangolás 8 százalékkal, a megerősítéses tanulás 20 százalékkal gyorsult, a pontosságot csak minimálisan érintve.

Partnerek eredményei

Az NVIDIA szerint a zárt kategória összes nevezésének 80 százaléka NVIDIA-platformon futott, 20 partnerszervezet részvételével. A vállalat közlése alapján rendszerek több felhőinfrastruktúra-partnernél is általánosan elérhetők.

Az Azure 2560 csomópontos, 10 240 GPU-s GB200 NVL72 nevezése az NVIDIA ugyanekkora GB300-klaszterével holtversenyben a forduló legnagyobb klasztere volt. A Firmus mesterséges intelligenciával támogatott kernelgenerálást, automatizált teljesítménytesztelést és matematikai ellenőrzést alkalmazva érte el a forduló leggyorsabb, nyolc GB300 GPU-s eredményét: a GPT-OSS 20B teszt 52,90, a Llama 3.1 8B teszt 52,40 percig tartott.