NVIDIA bemutatta a Cosmos platformot: világ alapmodelleket, fejlesztőeszközöket és NIM mikroszolgáltatásokat tartalmazó környezetet fizikai AI‑alkalmazásokhoz. A cél az, hogy segítsen a világmodellek átalakításában az érzékelőkhez, feladatokhoz és adatokhoz, valamint a modellek megbízható, gyors GPU‑alapú üzembe helyezésében.
Mire jó a Cosmos Framework?
Cosmos Framework egy nyílt és moduláris keretrendszer világmodellek tanításához, optimalizálásához és inferenciájához. Az eszköztár agent‑skilleket és „recepteket” biztosít multimodális adatok feldolgozásához (szöveg, kép, videó, hang, akciók), modellezéshez és futtatáshoz. A Framework kiterjesztésre alkalmas modellekre, és a Cosmos3 mellett már támogatja többek közt az NVIDIA Alpamayo, GR00T, Qwen, pi0.5 és más, Hugging Face kompatibilis modelleket.
Főbb fejlesztési lehetőségek:
- Gyorsabb tanítás szöveg, kép, videó, hang és akciók együttes feldolgozásával; LoRA használata parameter‑hatékony adaptációhoz vagy teljes felügyelt finomhangolás (SFT) az összes paraméter frissítéséhez.
- Adatbetöltés JSONL, WebDataset, LeRobot vagy egyedi adaptereken keresztül; GPU‑tömbökön történő tanítás és ellenőrzőpontok mentése a futások folytatásához.
- Post‑training skillek a tanítás felgyorsítására és automatizálására.
Megerősítéses tanulás (RL) támogatás
A platform mostantól online és offline RL útvonalakat is lefed. Az újonnan támogatott pipeline‑ok között szerepelnek:
- DPO: offline preferencia optimalizáció
- GRPO: online RL modell- vagy szabályalapú jutalommal és vLLM rolloutokkal
- PPO: actor‑critic RL fagyasztott referenciával és kritikussal, beleértve a beavatkozott (embodied) politikák RL‑jét szimulációban
- OPD: on‑policy desztilláció fagyasztott tanártól
- DiffusionNFT: online RL diffúziós világmodellekhez
A rollout, jutalom és tanítási szerepkörök megosztott vagy külön GPU‑poolokon futtathatók; támogatott szimulátorok csatlakoztathatók tapasztalatgyűjtéshez.
Modellek optimalizálása és inferencia
A Cosmos lehetővé teszi a modellek desztillálását (méret vagy generációs lépésszám csökkentése), kvantálását (memóriaigény csökkentése) és kompatibilis checkpointok futtatását több futtató‑környezettel, például Hugging Face Diffusers, PyTorch, SGLang, vLLM‑Omni, vLLM, TRT‑LLM, TRT‑Edge‑LLM és NVIDIA NIM. Az értékelés kiterjed a minőségre, pontosságra és GPU‑használatra a számítási kihasználtság maximalizálása érdekében.
Agent‑skillek használata
A .agents/skills alatti készletek tartalmazzák a setup, inference, post‑training és hibakeresési skilleket. Tipikus munkafolyamat: adjon az agentnek határolt feladatot — például „Post‑train <checkpoint> on <dataset> using <recipe>”, rögzítse a revíziókat, validálja az adathalmazt, különítse el a tanuló és értékelő epizódokat, futtasson smoke tesztet, mentsen konfigurációt és álljon meg N GPU‑óra után. Exportálja, hasonlítsa össze a bázismodellel három véletlen szeeddel, majd ismételje alacsonyabb pontosságon és jegyezze fel a minőséget, csúcsmemóriát és késleltetést.
Melyik Cosmos szimulációs munkafolyamatot válasszam?
A Framework post‑training és inference recepteket ad robotikai, realisztikus jelenetgenerálási, többkamerás vezetési és sebészeti policy‑értékelési feladatokra. Új Cosmos3 Nano receptek és referencia checkpointok lehetővé teszik a fejlesztők számára, hogy agent‑runnable skillekkel kiértékeljék a példákat és testre szabják a Cosmos3 Nano‑t egyedi szenzorokhoz, akcióterekhez és adatdoménekhez.
A checkpointok PyTorch és vLLM‑Omni kompatibilisek, és NVIDIA Hopper és Blackwell GPU‑kon lettek tesztelve. A receptek segítenek kiválasztani a GPU‑darabszámot, memória‑konfigurációt és inferencia beállításokat.
Autonóm járművek (AV)
Két AV checkpoint promptot és World Scenario Map (WSM) vezérléseket (sávok, objektumok, útjelek, táblák, határok) használ. Az RGB–LiDAR közös generálás HD‑map rangemap vezérléseket is használ, opcionális kezdeti LiDAR‑megfigyelést támogatva. A promptok időjárást, fényviszonyokat és útfeltételeket írnak le, kiegészítve kamerarig és látómező kontextussal; opcionális kezdeti kameraképek iránymutatást adnak a jelenet megjelenéséhez.
-
Cosmos3‑Nano‑Transfer‑Auto: bidirekcionális generálással egyszerre zajmentesít teljes többnézetes klipet offline szintetikus adatelőállításhoz. Támogatja a 30 fps‑es bemenetet és kimenetet, akár 400 képkockát 480p vagy 720p felbontásban; hosszabb sorozatok autoregresszív darabolással előállíthatók. Referenciamenetben hét 720p videót (297 képkocka, 30 FPS) és 99 LiDAR sweepet ad vissza.
-
Cosmos3‑Nano‑Sim‑Auto: kauzális, néhány lépésben desztillált variáns autoregresszív streaming generáláshoz. Megengedi a zártláncú értékelést: a policy vagy emberi vezérlés frissíti a WSM‑et, a modell lépésenként generál kameraképeket és LiDAR‑megfigyeléseket, amelyek visszakerülnek a policy‑hoz.
A referenciapéldák reprodukálhatók a kiadott mintakonfigurációk és checkpointok használatával; a leírt ellenőrzések (sample_outputs.json, lidar.safetensors, WSM‑ellenőrzés) segítenek a sikeres futás igazolásában.
Robotika
- Cosmos3‑Nano‑Sim‑Transfer: mélységvideót és promptot RGB videóvá alakít, megőrizve a geometriai és mozgási tulajdonságokat, de változtatva a megvilágítást, tekstúrákat és hátteret. Használható robotdemók harmadik szemszögből történő vizualizálására.
- Cosmos3‑Nano‑Sim‑Bimanual: kétkaros interaktív szimulációt támogat YAM és AgiBot embodimentekhez; a modell a jelenet és robot‑akciók alapján generálja a következő vizuális megfigyelést.
Sebészeti szimuláció
A sebészeti környezetek komplex többszintű fizikai jelenségeik miatt különösen nehezek a klasszikus modellezés számára. Generatív szimuláció esetén a világmodellek közvetlenül, szinkronizált sebészeti videó és robot kinematika alapján tanulják meg a vizuális dinamikát.
- Cosmos3‑H‑Embodied‑Nano: post‑trained a Open‑H‑Embodiment adatokon; képes sebészeti videót generálni robot‑akciókból, akciókat jósolni videóból vagy mindkettőt együtt.
- Cosmos3‑H‑Dreams: Cosmos3‑H‑Embodied‑Nano‑ból desztillált kauzális, néhánylépéses modell valós idejű, zártláncú szimulációhoz; élő robotkinematikát felhasználva generál képkockákat, lehetővé téve policy‑k értékelését fizikai hardver előtt.
Ezek a modellek szintetikus adatelőállításra és offline policy‑értékelésre használhatók anélkül, hogy explicit fizikai modellen dolgoznánk.
Mikor használjuk a Cosmos NIM‑et az gyorsított inferenciához?
A Cosmos NIM csomag optimalizált konténereket és modelleket biztosít gyorsított inferenciához, leegyszerűsítve a Cosmos modellek üzembe helyezését:
- Gyorsabb inferencia, alacsonyabb memóriaigény: kvantálás, spekulatív dekódolás, cache‑elés, token‑pruning és KV‑cache‑tudatos routing alkalmazásával. A spekulatív dekódolás H200‑on mért átlagos gyorsulást ~2–3× ad.
- Egyedi modellek és élő videófeldolgozás: finomhangolt Cosmos checkpointok kiszolgálása és streaming VLM inferencia élő streamekhez; alacsonyabb késleltetés és gyorsabb eseményértesítések.
- Egyszerűbb üzembe helyezés: automatikus konfigurációválasztás, validált teljesítmény és minőség, licenc támogatás, negyedéves frissítések.
GPU memóriaigény (töredék a táblázatból)
A dokumentáció konkrét GPU VRAM‑igényeket ad modell és feladat szerint (GiB):
- Reasoning: Cosmos3‑Edge 16 GiB BF16, Cosmos3‑Nano 23.1 GiB BF16, Cosmos3‑Super 135 GiB BF16
- Generation: Cosmos3‑Nano 58 GiB BF16 (például), Cosmos3‑Super 150 GiB BF16
(Ez a megadott táblázat sorainak kivonata; a pontos értékek és kombinációk a dokumentációban találhatók.)
Cosmos NIM indítása — rövid telepítési útmutató
Válasszon GPU‑t és modell‑konfigurációt a táblázat alapján, telepítse az NVIDIA drivert, Docker‑t és az NVIDIA Container Toolkit‑et Linuxon, majd hozza létre az NGC API kulcsot és állítsa be környezeti változóként (NGC_API_KEY). A kiadott példa egy Nano Generator konténert indít egyetlen GPU‑val, beállítva cache‑mappát és a szükséges ulimit‑okat. Indítás után a konténer pár perc alatt készen áll; a /v1/health/ready és /v1/metadata végpontokkal ellenőrizhető a státusz.
A NIM_PERF_PROFILE beállításával választható latency (interaktív használatra, 1–8 GPU támogatással) vagy throughput (adatgenerálásra, 2–8 GPU‑replika esetén). Forráskódminták és parancsok a dokumentációban és a telepítési útmutatóban találhatók.
Következő lépések és események
A fejlesztőknek javasolt a Cosmos Framework felfedezése, egy megfelelő referencia checkpoint reprodukálása és annak testreszabása a saját szenzorokhoz, akciókhoz és adatokhoz. NVIDIA technikai jelentés és részletes útmutatók állnak rendelkezésre. A cikk megjelenése szerint egy élő közvetítés is lesz csütörtökön, Nov. 5‑én, ahol bemutatják a Cosmos Framework használatát.
Összegzés
A Cosmos egy átfogó eszközkészlet a fizikai AI‑hoz: fejlesztést, RL‑t, multimodális szimulációt és GPU‑gyorsított inferenciát kombinál. A nyílt Framework, a mintapontok és a NIM‑alapú üzembe helyezés együtt segítik, hogy a világmodellek gyorsabban legyenek adaptálhatók, validálhatók és megbízhatóan üzembe helyezhetők valós alkalmazásokban.
