NVIDIA bemutat egy teljes munkafolyamatot, amely AI‑agenteket, feladat‑ és eszközkészítést, fizikai szimulációt és skálázható megerősítéses tanulást köt össze annak érdekében, hogy a Microduck robotot akadálypályán való közlekedésre tanítsák. A folyamatban Hermes és NVIDIA Nemotron 3.5 Bolt segít a tervezésben, Astra készíti az eszközöket, Newton kezeli a fizikai modellt, Isaac Lab végzi a feladatspecifikus RL‑tréninget, míg az RTX Spark és NVIDIA Isaac Sim az értékelésre szolgál. Az egyik bemutatott adaptációs futtatás 4,096 párhuzamos környezetben zajlott egy NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU‑n.
Miért több kell egy sétáló policynél?
Egy robotnak, amely akadálypályán közlekedik, nem elég „csak járni”: érzékelnie kell a környezetet, fenntartani az egyensúlyt és módosítani a mozgást, amikor akadályok állják útját. Ennek megvalósítása több lépést köt össze: a koncepció és eszközök létrehozását, a fizikai interakciók szimulációját, majd a policyk képzését és értékelését szimulációban.
1. Tervezés: promptból projektté
A munkafolyamat a pálya leírásával és a Microduck feladatával kezdődik. RTX Spark környezetben Hermes és NVIDIA Nemotron 3.5 Bolt a promptot lépésről lépésre végrehajtható projekttervvé fordítja: feladatcélok, erőforrások, várt kimenetek és a követendő szakaszok megadása. A tervezés magába foglalja a Microduck dokumentációjának áttekintését, a képességek és korlátok összegzését, valamint a pálya elrendezésének, az akadályok méreteinek és a járómagasságok meghatározását.
A koncepcióhoz egy helyi képgeneráló modell ad fotorealisztikus ötletképet, amelyet Hermes és Nemotron elemznek, majd tételes eszközjegyzéket készítenek: azonosítók, leírások és kivágott referencia‑képek szerepelnek benne, továbbá feljegyzik, ha valamely részlet be van takarva vagy levágva.
Hermes ezeket az anyagokat csomagolja átadásra: projektterv, Microduck‑kutatás és linkek, koncepciókép, eszközleltár, kivágások és végrehajtási utasítások — majd automatikusan delegálja a munkát Astrának.
2. Eszközök előállítása (Astra)
Astra a projektterv és a referenciaanyagok alapján készíti el a pályához szükséges 3D‑eszközöket. Gyakran a kivágott referencia képek kis felbontásúak; Astra felhőalapú képszerkesztéssel tisztítja és nagyobb felbontásúvá alakítja a referenciákat, majd összeveti azokat az eredeti kivágásokkal, hogy a sziluettek, arányok és jellegzetességek megmaradjanak.
Astra FreeCAD‑ben állítja elő az alapgeometriát és szerkeszthető CAD szerkezetet, majd Blenderrel dolgozza ki a részleteket és anyagokat. Az elkészült modelleket szerkeszthető formátumban és OpenUSD (USD) exportként mentik, preview‑k és ellenőrző lépések kísérik a folyamatot.
Szükség esetén érdemes újrahasznosítani SimReady Central Library több mint 2,000 OpenUSD eszközét, csökkentve az egyedi eszközök készítésének terhét.
3. A szimulációs környezet összeállítása (Isaac Sim + Newton)
Astra összeállítja az akadálypályát NVIDIA Isaac Simben. Az Omniverse könyvtárak RTX renderelést és szenzorszimulációt biztosítanak; a Newton fizikai motor modellezi Microduck mozgását és egyensúlyát. A robot szerkezetét linkek, ízületek és aktuátorok írják le a szimulációban: ezek határozzák meg a policy által leadott akciók és a robot valós mozgása közti kapcsolatot.
A szimulált szenzorok (például fejkamerás mélység) megadják az akadályokról származó megfigyeléseket, a fizikai modell pedig visszajelzést ad arról, hogy a robot megőrzi‑e a testtartását, halad‑e előre, vagy elesik. Az így kapott környezet teljes visszacsatolást biztosít a megerősítéses tanuláshoz.
4. Perceptuálás és lokomóció policy képzése (Isaac Lab)
Az elkészült környezetet NVIDIA Isaac Lab használja a skálázható policy‑képzésre és értékelésre. Isaac Lab futtatási példányai sok párhuzamos Microduck szimulációt indítanak, amelyek tapasztalatait egy RL algoritmus használja a policy javítására. A feladatdefinícióban meg kell határozni a megfigyeléseket, a lehetséges akciókat és a jutalmazási sémát.
A Newton GPU‑gyorsított, nyílt forrású fizikai motorként szimulálja a motorválaszokat, a talajjal való kölcsönhatást és a dinamikát. A tanulás során előfordulhatnak instabil lépések, ütközések és esések; ezek a negatív kimenetek is használhatók a policy javítására. A szimulációs hurok: szimulált megfigyelések → policy akciók → szimulált mozgás → frissített megfigyelések.
A dokumentumban szereplő terep‑ és akadálytréning‑kísérlet az Astra‑val készült eszközöket és az Isaac Lab Microduck példa‑környezetét használta kiindulásként. Egy már előképzett lokomóciós policy további tréninget kapott rámpák és platformok leküzdésére, fejkamera‑mélység és robot‑állapot megfigyelések felhasználásával. Az adaptációs futtatás 4,096 párhuzamos környezettel zajlott egy NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU‑n.
5. Tréning utáni validáció (RTX Spark + Isaac Sim)
A betanított policyt helyi RTX Spark környezeten, Isaac Simben kell validálni. Itt a kiválasztott, rögzített policyt vizsgálják: észreveszi‑e az akadályokat, módosítja‑e mozgását, és képes‑e végigmenni a pályán. A validáció külön lépcső a tréningtől, mert a tréning alatt a policy folyamatosan változik; az értékelés rögzített viselkedésre fókuszál.
Mérésre kerül a pálya teljesítése, esések, ütközések és azok a helyzetek, ahol a haladás megáll. Ezek a metrikák és a rollout videók segítenek eldönteni, hogy milyen iterációkra van szükség a környezetben vagy a tanítási beállításokban.
6. Felkészülés a fizikai telepítésre (sim‑to‑real)
Amint a policy megbízhatóan működik szimulációban, a következő lépés a robot fedélzeti számítógépén való futtatás. A cikk nem részletezi a hardverre történő telepítést, de leírja a szimuláció alapjait, amelyek előkészítik a sim‑to‑real átmenetet.
Isaac Lab támogatja a Better Actuator Models (BAM) használatát a szervóválasz modellezésére (parancs késleltetés, mechanikai játéktér, feszültségesés), amelyek összehangolása a Microduck méréseivel csökkentheti a szimuláció és a valós viselkedés közti eltérést. Továbbá a domain randomization a fizikai paraméterek és a megfigyelési zajok változtatásával segít olyan policyt kialakítani, amely kevésbé érzékeny a valós robot és a szimuláció közti különbségekre. Végül a hardvertesztek feltárják, hol van szükség további szimulációs finomhangolásra.
Mire jó ez a munkafolyamat?
A bemutatott pipeline összehozza az AI‑alapú tervezést, eszközkészítést, felhőalapú RL‑tréninget és helyi értékelést. Általánosítható: a lépések és eszközök adaptálhatók más robotokra és feladatokra, alapot adva a későbbi fizikai telepítéshez.
Hasznos platformok és erőforrások
- SimReady Central Library (több mint 2,000 OpenUSD asset)
- Omniverse könyvtárak az integrált rendereléshez és szenzorszimulációhoz
- RTX Spark a helyi fejlesztéshez és értékeléshez
- Isaac Sim a robot‑ és környezetszimulációhoz
- Newton a fizikai szimulációhoz
- Isaac Lab a megerősítéses és imitációs tanuláshoz
- Isaac Lab Learning Path és Microduck példa‑környezetek, valamint Microduck sim‑to‑real útmutatók
Köszönetnyilvánítás
A munkafolyamat fejlesztésében több NVIDIA‑csapat dolgozott együtt, köztük Aaron Young, Antoine Richard, Chase Telegin, Gavriel State, Hammad Mazhar, Kelly Guo, Milad Rakhsha, Oyindamola Omotuyi, Pierre Fleau, Rishabh Chadha, Rogelio Olguin, Ruben D’Sa és Yenal Kal.
