A Nemotron 3.5 Super VL célja az úgynevezett always-on, folyamatosan működő ügynökök komplex, többlépéses vállalati munkafolyamataihoz nyújtott támogatás. Az egyetlen lekérdezés ma már gyakran magában foglal dokumentumolvasást, több forrás ellenőrzését, vállalati szabályzatok követését és több külső eszköz meghívását — erre a feladattípusra fejlesztették ki a modellt.
Modellarchitektúra és teljesítmény
A Nemotron 3.5 Super VL egy 120 milliárd paraméteres mixture-of-experts (MoE) architektúra, amely tokenenként körülbelül 12 milliárd paraméter aktiválásával igyekszik egyensúlyt teremteni a modellezési kapacitás és a hatékony inferencia között. Egyetlen GPU-n az NVIDIA szerint azonos méretkategóriájú nyílt modellekhez képest ügynökszerű (agentic) feladatoknál akár 5× nagyobb throughput érhető el. A Baseten végponton végzett mesterséges ügynökfeladatokon a mérés több mint 600 TPS-t (transactions per second) jelzett.
A modell egyszerre kezeli a nyelvi következtetést, az utasításkövetést és az eszközhasználatot, valamint a szöveg, képek, dokumentumok és videók feldolgozását, így egyetlen modellként válik alkalmassá olyan munkafolyamatokra, amelyek mindkét modalitást igénylik, anélkül, hogy külön szöveg- és látás‑nyelvi modelleket kellene összekapcsolni.
Mire használható a Nemotron 3.5 Super VL?
A modell alkalmazási területei között szerepelnek:
- Kódolás: kód tesztelése, hibaanalízis és javítási javaslatok.
- Webes kutatás: weboldalak átfésülése, információk összekapcsolása és verifikálása.
- Dokumentumintelligencia: táblázatok, diagramok és oldalelrendezések elemzése, összegzések előállítása.
- Kiberbiztonság: sebezhetőségek azonosítása és fenyegetések triázsa.
- Videóértelmezés: kereséshez, tartalmi felülvizsgálathoz és incidenselemzéshez szükséges információkinyerés.
Nagyobb rendszerekben a Nemotron 3.5 Super VL a specializált, többlépéses, eszközhasználatot és vizuális következtetést igénylő munkákat kezeli; a magas volumenű szöveges feladatokat kisebb modellek (például Nemotron 3.5 Lightning), míg a komplex tervezést és orkestrációt frontier modellek (például Nemotron 3 Ultra) szolgálják ki.
Testreszabás, poszttanítás és partnerek
A szervezetek a saját adataikkal, eszközeikkel, szabályzataikkal és munkafolyamataikkal poszttaníthatják a modellt az NVIDIA NeMo könyvtáraival. A NeMo AutoModel használható felügyelt finomhangoláshoz (SFT) és alacsony rangú adaptációhoz (LoRA), továbbá megerősítéses tanulással (RL) a szervezeti környezetet tükröző ügynöki viselkedés javítható.
Néhány példahasználat a partnerek tapasztalatai alapján:
- Scale AI a Skydance Corporation automatikus beszállítói hitelkezelésére poszttanította a modellt; az inference költség várhatóan 40×-kal csökken, a késleltetés pedig 5×-tel.
- Ramp számlaképeket alakít strukturált JSON‑né, és 50%‑kal nagyobb throughputot és 10× alacsonyabb késleltetést vár.
- AI21 Alice fenyegetésfelismerésre és sebezhetőségelemzésre használva 40%‑os pontosságnövekedést mért.
NVIDIA nyílt adatkészleteket is közzétesz a Hugging Face-en: ügynök-eszközhasználati és konverzációs adatok, pénzügyi következtetéshez és eszköhíváshoz kapcsolódó adatsorok, utasításkövető és chat adatok, hosszú kontextusú transzdukció és fordítás, fairness adatok, valamint 45 vision-language készlet. Multimodális adat esetén a NeMo Data Designer erőforrásai kínálnak segédanyagokat chart kérdés‑válasz és többlapos dokumentumértelmezéshez.
Az NVIDIA elérhetővé teszi a modell nyílt súlyait helyi, adatközponti vagy felhő környezetekbe telepítésre, valamint a Nemotron 3.5 Super VL usage cookbook formájában testreszabási recepteket a GitHubon.
Kép- és dokumentumértelmezés, benchmarkok
A vizuális tanítás kiterjed diagramokra, táblázatokra, optikai karakterfelismerésre (OCR), többlapos dokumentumokra és videóértelmezésre. Egy kétszakaszos SFT pipeline külön tanítja a nyelvi és látáskomponenseket, vizuális bizonyítékokat kombinálva következtetéssel, chat‑adatokkal, safety példákkal, hosszú kontextussal és ügynök-trajectóriákkal.
CharXiv chart‑reasoning benchmarkon a Nemotron 3.5 Super VL 80.8%-ot ért el, szemben a Nemotron 3 Nano Omni 63%-ával; Python kódértelmezéssel ez 84%-ra nőtt. A modell az OCRBench v2 ranglistáján is az élmezőnybe tartozik.
Pontosság és hatékonyság ügynökfeladatokban
A modellt különböző keretrendszerek és értékelések alatt tesztelték (Hermes, LangChain, OpenClaw, OpenCode, Pi, Codex, Claude). A Hermes Bench és LangChain viselkedési értékeléseken a Nemotron 3.5 Super VL magasabb pontszámot ért el, mint a Nemotron 3 Ultra:
- Nemotron 3 Ultra: Hermes Bench 56.33%, LangChain 84.3%.
- Nemotron 3.5 Super VL: Hermes Bench 63.44%, LangChain 87.05%.
Hatékonysági szempontból a throughput, tokenfelhasználás, eszköhívások száma és a helyes eredményig szükséges lépések mind befolyásolják a feladatvégrehajtás idejét; az NVIDIA szerint a 3.5 Super VL jobb token‑ és throughput‑hatékonyságot nyújt, ami akár 4× gyorsabb feladatvégrehajtást eredményezhet.
Egy független EXO Labs értékelés alapján a modell a Pareto‑fronton helyezkedik el a pontosság és a feladatvégrehajtási idő tekintetében, különösen NVIDIA DGX Spark hardveren optimalizálva.
A háttér: képzés és inferenciaoptimalizálás
A Nemotron 3.5 Super VL a Nemotron 3 Ultra-ból származó desztillációra épül; az Ultra kódolási képességei és a SkewReverse veszteség hozzájárultak a kódértelmezési pontosság javulásához. A poszttanítás során a multi-teacher on-policy distillation (MOPD) több specializált tanármodell iránymutatását kombinálja szöveg és látás területeken.
A pretraininget kiterjesztették indik nyelvekre: további 10 milliárd indik tokent adtak hozzá egy 12‑nyelvű részhalmazból. Az NVIDIA közzéteszi a teljes indik adatkészletet is, amely mintegy 2.8 billió (2.8T) tokent tartalmaz 22 indiai nyelven, az IIT Madras és AI4Bharat együttműködésében.
További inferenciaoptimalizációs technikák és receptúrák:
- LiLiCorr: nyílt spekulatív dekódolási technika, amely a párhuzamos spekulatív dekódolás javítására törekszik, és a teljes vázlaton belül közösen értékeli a tokenjelölteket. DGX Sparkon a LiLiCorr akár 2.3×-kal gyorsabb tokengenerálást biztosít spekuláció nélkül végzett dekódoláshoz képest.
- NVFP4 és quantization-aware distillation (QAD): 4‑bites súlyokkal és aktivációkkal csökkenti a modell méretét a Blackwell architektúrán, miközben a QAD segít megőrizni a pontosságot. A QAD során a kvantált modell a BF16 eredeti modell kimeneteit tanulja utánozni.
- Multi-token prediction (MTP): belső drafter, amely több tokenjelöltet javasol egy előrehaladott forward pass során, csökkentve a költséges verifikációs lépések számát.
- Kontextus újrafelhasználása (prefix caching): rendszerutasítások, eszközdefiníciók és beszélgetési előzmények számításának újrafelhasználása az ügyesebb inferencia érdekében.
Telepítés és skálázás
NVIDIA NIM csomagokkal a modelleket optimalizált inferencia motorokkal, ellenőrzött konfigurációkkal és szabványos API‑kkal lehet telepíteni felhőben vagy adatközpontban; vállalati támogatás az NVIDIA AI Enterprise keretében érhető el.
NVIDIA Dynamo a disztribuált inferencia optimalizációit támogatja: KV‑cache‑aware routing, KV cache menedzsment és disaggregált serving. Példakísérletben 16 NVIDIA B200 GPU használatával, felhasználónként 50 token/másodperc sebességgel, a KV‑aware routing session affinity‑vel és KV cache offloaddal akár 8×‑kal több felhasználó kiszolgálása volt lehetséges, miközben az első token késleltetése 85%-kal csökkent.
Elérhető anyagok és partnerökoszisztéma
A kiadás tartalmaz alap (base), poszttanított és NVFP4‑kvantált checkpointokat, a képzési recepteket, adatkészleteket és RL környezeteket. A részletes technikai ismertetőt a Nemotron 3.5 technikai jelentés tartalmazza; a modellek telepítéséhez a Hugging Face, ModelScope és OpenRouter kínál útmutatást és hosztolt hozzáférést.
Széles partnerhálózat támogatja a poszttanítást és telepítést (például Scale AI, AI21, Ramp, Prime Intellect és társaik), valamint számos inferencia‑szoftver, agent‑keretrendszer, felhőplatform és hardverpartner áll rendelkezésre integrációhoz és üzemeltetéshez.
Összegzés
A Nemotron 3.5 Super VL egy nyílt, multimodális MoE modell, amelyet kifejezetten a vállalati, always‑on ügynökfeladatokhoz optimalizáltak: kombinálja a szöveges és vizuális megértést, az eszközhasználatot és a következtetést, miközben a poszttanítási eszközök és kvantálási receptek révén a szervezetek saját adataikhoz és infrastrukturájukhoz igazíthatják. NVIDIA szerint a modell jelentős hatékonysági és pontossági előnyöket kínál különböző iparágak speciális munkafolyamataiban.
