Kutatás

Mesterséges intelligenciával generált szöveg

Az NVIDIA új rendszere előzetes mérésekben javította az AI-inferencia energiahatékonyságát

Az NVIDIA közlése szerint a Vera Rubin NVL72 rendszer előzetes eredményei jelentős előrelépést mutatnak a mesterségesintelligencia-ügynökök kiszolgálásában.

Az NVIDIA új rendszere előzetes mérésekben javította az AI-inferencia energiahatékonyságát

Az NVIDIA előzetes MLPerf Endpoints v1.0 mérési eredményei szerint a Vera Rubin NVL72 rendszer három AI-modellen is nagyobb inferencia-átbocsátást ért el kilowattonként, mint az NVIDIA GB300 NVL72. A Kimi K3 esetében a különbség több mint tízszeres volt olyan mérési pontokon, amelyek egyaránt teljesítették a felhasználónként legalább 50 token/másodperces végpontok közötti átlagos interaktivitási küszöböt.

A GB300 eredményeit az MLCommons Association ellenőrizte, a Vera Rubin számai azonban előzetesek: még ellenőrzésre és szakmai felülvizsgálatra várnak, ezért változhatnak. A GB300-méréseket 2026. november 4-én, a Vera Rubin Kimi K3- és Qwen-eredményeit november 9-én, a DeepSeek-eredményeket november 10-én publikálták.

Mit mér a teszt?

Az ügynökalapú AI-rendszerek több fordulón át bővülő beszélgetési előzményekkel dolgoznak, miközben következtetéseket, eszközhívásokat és válaszokat generálnak. A kiszolgáló rendszereknek ezért egyszerre kell sok felhasználót kezelniük és gyorsan reagálniuk.

Az MLPerf Endpoints v1.0 API-végpontokon keresztül vizsgál programozási és vállalati munkafolyamatokat. A teljesítménymérések során a generált eszközhívásokat és a munkafolyamatok szándékát referenciaértékekkel vetik össze. A SWE-bench Verified külön értékelései a teljes feladatmegoldási képességet vizsgálják. Ezek az ellenőrzések arra szolgálnak, hogy a gyorsabb kiszolgálás mellett a modell minőségét is felmérjék.

A tesztadatokban a programozási feladatok előzményei több fordulón át gyűlnek, míg a vállalati munkafolyamatok gyakran ugyanazokat az utasításokat, eszközdefiníciókat és üzleti szabályokat használják újra.

Az energiahatékonysági eredmények

A Kimi K3 összehasonlításában a 32 gyorsítót használó Vera Rubin mérési pontja 100,89 kilowattos üzemi teljesítmény mellett másodpercenként 41 414,2 tokent dolgozott fel, 1024 egyidejű lekérdezéssel. Az átlagos interaktivitás felhasználónként 50,4 token/másodperc volt. A 48 gyorsítós GB300 mérési pontja 60 kilowatton 2210,4 token/másodperces rendszerszintű átbocsátást és felhasználónként 56,2 token/másodperces interaktivitást ért el, 48 egyidejű lekérdezés mellett.

A két mérési pont tehát teljesítette a közös, legalább 50 token/másodperces interaktivitási követelményt, de eltérő egyidejű terheléssel és gyorsítószámmal futott. Az energiahatékonysági arány a rendszerszintű tokenátbocsátást a megadott üzemi teljesítményre vetíti.

A három modellre közölt, kerekített összehasonlítások szerint:

  • Kimi K3: tízszeres kilowattonkénti átbocsátás; azonos egyidejű lekérdezésszámnál háromszoros interaktivitás.
  • DeepSeek-V4.1-Flash: kilencszeres kilowattonkénti átbocsátás; azonos terhelésnél ötszörös interaktivitás.
  • Qwen3.6-35B-A3B: ötszörös kilowattonkénti átbocsátás; azonos terhelésnél háromszoros interaktivitás.

Az energiahatékonysági összehasonlításhoz a DeepSeek esetében felhasználónként legalább 280, a Qwennél legalább 410 token/másodperces átlagos interaktivitást írtak elő. Az interaktivitási arányokat külön mérési pontokból számították: a Kimi és a DeepSeek esetében 1024, a Qwennél 256 egyidejű lekérdezés mellett. A mérésenként használt konfigurációk nem feltétlenül azonos méretűek.

A nagyobb kilowattonkénti átbocsátás ugyanakkora energiaigény mellett több ügynök párhuzamos kiszolgálását teheti lehetővé egy adott válaszadási követelmény teljesítése mellett. Alacsony egyidejű terhelésnél a gyorsabb válaszok a késleltetésre érzékeny feladatok várakozási idejét csökkenthetik.

Hardveres és szoftveres optimalizálás

Az NVIDIA szerint a Rubin GPU-k HBM4 memóriát, NVIDIA Tensor Cores egységeket és hatodik generációs NVIDIA NVLink kapcsolatot kombinálnak. A memória a modellsúlyok és a beszélgetési állapot gyors elérését támogatja, a Tensor Cores a mátrixműveleteket gyorsítja, az NVLink pedig a GPU-k közötti kommunikációt segíti.

A kiszolgálási szoftver az ismétlődő számítások csökkentésére a korábban feldolgozott kontextust is újrahasznosítja. A prefix-gyorsítótárazás és az állapot újrafelhasználása mellett az NVIDIA Dynamo útválasztása osztja el a kéréseket a munkavégző egységek között. A szétválasztott kiszolgálás lehetővé teszi a bemenet feldolgozásának és a tokenek generálásának egymástól független optimalizálását.

A modellek eltérő felépítése miatt célzott GPU-optimalizálásokat is alkalmaztak. A Qwen finom szemcséjű prefixegyeztetéssel használja újra a beszélgetési előzményeket, míg többtokenes előrejelzése a tokenjavaslatokat Tensor Core-alapú ellenőrzéssel párosítja. A Kimi a szétválasztott kiszolgálást a GPU-k szinkronizációs várakozását csökkentő bemenetfeldolgozási módosításokkal kombinálja. A DeepSeek MegaMoE kernelje pedig a Rubin GPU-k lokalitását és mátrixszorzási utasításait használja ki.

Az előzetes eredmények azt mutatják, hogy a hardver, a rendszerarchitektúra és a kiszolgálószoftver összehangolása jelentősen befolyásolhatja az ügynökalapú inferencia kapacitását. A Vera Rubin-mérések végleges megítéléséhez ugyanakkor még szükséges az MLCommons Association ellenőrzése.