A navigáció lehetővé teszi, hogy egy robot érzékelésből és mozgásból célzott autonómiát hozzon létre: folyamatosan lokalizálnia kell magát, értelmeznie a környezet változásait, útvonalat kell választania és el kell kerülnie az akadályokat. Új robotra vagy környezetre átvinni ezt a képességet gyakran sok adatot, szimulációs elemet, interfészt, tréninget és értékelést igényel — amely minden robot–jelenet páron ismétlődően költséges és nehezen reprodukálható.
A COMPASS (Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis) egy olyan keretrendszer, amely egyetlen demonstrációs testhez képest skálázható, több megjelenésre kiterjedő mobilitást tesz lehetővé. Újrahasznosítja a már előképzett NVIDIA X-Mobility alapviselkedést, és egy residual specialist (maradék) megerősítéses tanulási (RL) szabályozót tanít, amely a base action-t korrigálja a kiválasztott robot és környezet számára, ahelyett, hogy a navigációt nulláról tanulná újra. Több specialistából később egy közös, cross-embodiment politika dönthető össze.
Ez a cikk bemutatja az ügencialapú (agent-driven) COMPASS fejlesztési munkafolyamatot a referencia-robot Boston Dynamics Spot quadruped használatával, három jelenetforrást érintve: a beépített COMPASS raktárat (combined_multi_rack), egy SAGE-10K generált jelenetet és opcionálisan egy NuRec által rekonstruált célkörnyezetet. Lefedi a telepítési követelményeket, a munkafolyamat beállítását, a smoke teszteket, a residual tréninget, a checkpoint értékelését és a futtatáskori integrációt, beleértve a választható odometriát (cuVSLAM).
Mire való az ügencialapú munkafolyamat?
Az ügencialapú megközelítés csökkenti a fejlesztői terhet: a fejlesztő megadja a robotot, a jelenet forrását és a navigációs célt; a kódolóügynök (coding agent) a repository-skilljeivel ellenőrzi a függőségeket, előkészíti az asseteket, futtat smoke teszteket, indítja a tréninget, diagnosztizál hibákat és összehasonlít checkpointokat. Emberi jóváhagyási kapuk vannak a jelenet elfogadására, az egy-jelenetes smoke tesztre és a checkpoint előléptetésére.
A COMPASS folyamat repository-skillként csomagolt lépésekre épül; a bemutató fejlesztés közben Codex-et (vagy Claude Code esetén /compass parancsot) használ a skill meghívására. A végső, betanított politika és robotvezérlő viszont futtatáskor már az ügynöktől függetlenül dolgozik.
Referencia munkafolyamat és minimális követelmények
Referencia környezet:
- Robot: Boston Dynamics Spot
- Beépített jelenet: combined_multi_rack (COMPASS warehouse)
- Kiterjesztett generált jelenet: SAGE-10K
- Opcionális rekonstruált jelenet: NVIDIA Omniverse NuRec
Ajánlott hardver és szoftver (a dokumentumban tesztelt konfiguráció):
- Ubuntu 22.04 vagy 24.04 rendszer, legalább 32 GB RAM
- RTX-képes NVIDIA GPU, legalább 16 GB VRAM (Isaac Sim 6.0 referencia GPU: GeForce RTX 4080)
- Linux driver 580.95.05 (tesztelt Isaac Sim 6.0 verzióhoz)
- Docker Engine 24+ és NVIDIA Container Toolkit
- Hugging Face fiók és read token a gated nvidia/COMPASS és nvidia/X-Mobility tárolókhoz
- Tesztelt stack: NVIDIA Isaac Lab 3.0 és NVIDIA Isaac Sim 6.0
Előzetes ellenőrzéshez futtassa az Isaac Sim Compatibility Checker-t.
Gyors áttekintés a telepítésről és az assetek letöltéséről
A COMPASS repository klónozása és a Handbook quick start követése szükséges a repository-pinned konténerrel. A gated nvidia/COMPASS és nvidia/X-Mobility hozzáférés elfogadását és a Hugging Face read token létrehozását a fejlesztőnek kell megtennie; a token soha ne kerüljön be agent promptba vagy verziókezelésbe. Például a token egy shell környezeti változóban adható meg:
export HF_TOKEN=hf_xxx ./docker/run.sh assets ./docker/run.sh build source ./docker/activate
Az assets lépés letölti a szimulációs asseteket (./assets/usd/) és a pretrained X-Mobility checkpointot (./assets/x_mobility.ckpt). 401/403 hibák általában jogosultsági problémára utalnak.
Fázisok és ellenőrizhető bizonyítékok
Minden fázis előtt és után áttekinthető bizonyítékok gyűlnek: validate (szoftver- és assetkészlet, környezetjelentés, smoke-test log), prepare scene (regisztrált konfiguráció, occupancy map, vizuális ellenőrzés), train (parancs, konfiguráció, logok, checkpointok), evaluate (COMPASS metrikák, videók, promóciós ajánlás), package (jóváhagyott checkpoint, konfiguráció, manifest).
Az approval-kritériumok projekt-specifikusak, de minden kapunak meg kell válaszolnia: jelen vannak-e a szükséges inputok, megjelentek-e a várt outputok, vannak-e megoldatlan hibák, és elégséges-e a bizonyíték a folytatáshoz?
1. lépés: Ágensek és COMPASS skill beállítása
A repositoryt elő kell készíteni és a fejlesztőnek világos workflow-szerződést kell adnia az ügynöknek. A .agents/skills alá kell kitenni a COMPASS skillt, illetve a komponenseket (például compass-doctor, compass-newembodiment) úgy, hogy az ügynök elérje őket. Codex esetén a $compass prompttal, Claude Code esetén /compass paranccsal hívható a munka.
Példa kezdő prompt (smoke teszttel megállással): $compass Validate the COMPASS environment for Spot. Confirm the pinned repository revision, container, GPU, Isaac Lab and Isaac Sim versions, simulation assets, and pretrained X-Mobility checkpoint. Run a one-environment smoke test, save the validation report, and stop for approval.
Ha problémák merülnek fel, a $compass-doctor olvasható módon hajt végre egészségügyi ellenőrzést és jelenti a valószínű okokat, de nem módosítja és nem titkolja a környezetet.
2. lépés: Jelenet kiválasztása és előkészítése
Három forrás közül lehet választani: beépített warehouse (gyors, reprodukálható baseline), SAGE-10K generált jelenet (választott szoba típus) és NuRec-rekonstrukció (valós célkörnyezet finomhangolására).
Path 1 — built-in warehouse:
- Használja a combined_multi_rack regisztrált raktárat a leggyorsabb, reproducible baseline-hoz. A legtöbb regisztráció és occupancy map már rendelkezésre áll.
Path 2 — SAGE-10K:
- A SAGE-10K 10 000 generált beltéri jelenetet tartalmaz 50 szobatípussal. Válasszon egy alkalmas candidate-et (nem szükséges az egész dataset letöltése). A folyamat két emberi jóváhagyási kaput tartalmaz: a konvertált USD vizuális ellenőrzését regisztráció előtt, és az occupancy map ellenőrzés utáni egy-jelenetes preview jóváhagyását.
Path 3 — Omniverse NuRec:
- NuRec stereo RGB felvételekből készít Isaac Sim-kompatibilis rekonstrukciót, vizuális geometriával, collision mesh-csel és opcionális augmentációval. Ez hasznos, amikor a cél a tényleges telepítési környezet finomhangolása és értékelése. A NuRec útvonal regisztrálja a jelenetet, ellenőrzi az occupancy map-et és az origin konvenciót, vizsgálja a robot clearance-t, és egy smoke teszttel kezd.
A bemutató gyakorlati része a SAGE-10K ösvényen folytatódik úgy, hogy egy jelenetet végigkövet a előkészítéstől az értékelésig.
3. lépés: Robot–jelenet integráció ellenőrzése
Miután a jelenet elérhető, futtasson egy egy-jelenetes preview-t: Isaac Sim elindul-e, betöltődik-e a jelenet, Spot érvényes spawn helyen van-e, kameraképek elérhetők-e, és a robot reagál-e a politika parancsokra anélkül hogy clipelne vagy esne. A coding agent összegezze a preview logokat és vizuális bizonyítékokat, azonosítson blocker-eket és álljon meg emberi jóváhagyásra.
4. lépés: Residual specialist tanítása
A COMPASS a pretrained X-Mobility politikat adaptálja a kiválasztott robotra és jelenetre residual RL segítségével. A fejlesztő elindítja a standard residual RL munkafolyamatot a jóváhagyott smoke teszt után. Például Spot és a beépített warehouse esetén a futtatás parancsszerűen konfigurált tréninget indít (a dokumentumban szereplő run.py példa használható a repository-n belül). A tréning hossza a hardvertől, jelenet komplexitásától és egyéb beállításoktól függ; mentse a periódikus checkpointokat és mindig értékelje őket összehasonlító feltételek mellett.
A tréning menedzsmentje:
- Futtassa a tréninget tartós sessionben vagy scheduler-rel, írja a logokat és checkpointokat a kimeneti könyvtárba.
- Rögzítse a parancsot, repository revisiont, scene key-t, konfigurációt, checkpoint intervallumot és a stop-kritériumokat.
- Ellenőrizze, hogy megszakítás esetén a legutóbbi checkpoint teljes-e és a folytatási opciók támogatottak-e.
Hibadiagnosztika:
- COMPASS diagnosztikai folyamat segít a hibák feltárásában: autentikációs hibákat a Hugging Face hozzáféréshez, scene loading vagy kollízió hibákat a scene előkészítéshez, kamera vagy action-interface hibákat a smoke-testhez, memória hibákat pedig környezet-szám vagy multi-GPU konfigurációhoz kapcsolja.
Minden konfigurációt, logot, checkpointot és bizonyítékot meg kell őrizni, és a függőségek, jutalmak vagy tréning beállítások módosítása előtt fejlesztői jóváhagyást kell kérni.
5. lépés: Értékelés és checkpoint-promóció
A checkpoint promóció előtt mérlegelni kell a feladat teljesítményét és a biztonságot együtt. A standard COMPASS metrikák között szerepel a célba érési arány (goal-reached rate), esési arány (fall-down rate) és az utazási idő (travel time). Kiegészítő bizonyítékok — például goal progress, contact viselkedés, időkorlátok vagy parancs stabilitás — derived analysis-ként kerülhetnek címkézésre.
Általános értékelési prompt példa (egyéni adaptáció szükséges): $compass Compare the pretrained X-Mobility base policy with the available Spot residual checkpoints in the selected scene under matched seeds, goals, initial states, rollout length, and active terminations. Report the standard COMPASS evaluation metrics, save matched videos and the exact evaluation command, clearly label any derived evidence, and stop for human approval before promoting or packaging a checkpoint.
Checkpointot csak akkor promotáljon a csapat, ha az összehasonlítás megbízható, a metrikák megfelelnek a projekt navigációs és biztonsági kapuinak, és egy ember jóváhagyta a csomagolást.
6. lépés: Politika bekötése a robot futtatásába
A tanult politika exportálható és csomagolható futtatásra; a referencia ROS 2 integráció (compass_inference) a front-kamera képeit, a navigációs célt vagy útvonalat és a robot sebességét (odometriából) alakítja át a politika bemeneteivé, majd /cmd_vel-re publikálja az előre-lineáris és szögsebesség parancsokat. A rekurzív belső állapot és az előző akciók a következtető implementáció belső részei, nem külső ROS 2 inputok.
cuVSLAM odometria:
- Amennyiben a telepített robotnak nincs kompatibilis, validált odometriája GPS-mentes vagy GPS-ingadozó környezetben, a NVIDIA cuVSLAM könyvtár adhat kamerán alapuló állapotbecslést. cuVSLAM nem része a COMPASS tréningnek és külön, verzió-egyeztetett ROS 2 komponensként kell futtatni: kimenetét a /chassis/odom-ra kell csatlakoztatni, biztosítani az odom-to-base_link transzformot, és ellenőrizni a kalibrációt, időbélyegeket és frame konvenciót.
- A dokumentáció említi a $cuvslam-onboard és $cuvslam-troubleshoot skilleket, amelyek segítenek a konfigurációban és diagnosztikában.
Új robot integrálása:
- Ha a robot nincs regisztrálva, a $compass-newembodiment végigvezeti a fejlesztőt a robotkonfiguráción, environment regisztráción, action mapping-en és egy egy-jelenetes vizuális smoke teszten. A new-embodiment onboarding külön feladat a specialist tanításától, de ugyanazt az ellenőrzési és jóváhagyási mintát követi.
Export, ROS 2 integráció és telepítés
A tutoriál checkpoint értékelésnél megáll. Az export (ONNX, JIT, TensorRT), ROS 2 integráció és fizikai hardverre telepítés külön validációt igényel a célrobot és runtime szempontjából. A jelenet minősége, tréning hossza és checkpoint teljesítménye változik az embodiment, környezet, jutalmazás és rendelkezésre álló compute függvényében, ezért nincs univerzális sikerküszöb.
Kezdés és ajánlott lépések
- Állítsa be a referencia környezetet: klónozza a COMPASS repository-t, kövesse a Handbook quick start-ot, fogadja el a gated model feltételeket, és töltse le a COMPASS simulation asseteket és az X-Mobility checkpointot.
- Futtassa az ügencialapú munkafolyamatot: hívja meg $compass-t Codex-ben egy támogatott robottal és beépített jelenettel, tartsa meg a jóváhagyást a smoke teszt után, majd trenírozza és értékelje a specialistot összehasonlító feltételek mellett.
- Bővítse és csomagolja megfontoltan: használja $compass-newembodiment-et regisztrálatlan robotokhoz, mentse el a konfigurációt, checkpointokat, logokat és egyező értékelési eredményeket a további mérnöki döntésekhez.
Hasznos források
- SAGE-10K dataset (generált beltéri jelenetek)
- Omniverse NuRec fejlesztői oldala, COMPASS NuRec workflow és Isaac Lab NuRec guide a rekonstruált jelenetekhez
- NVIDIA Isaac Sim és NVIDIA Isaac Lab dokumentáció a szimulációs és robot-learning stackhez
- Isaac ROS Visual SLAM dokumentáció opcionális cuVSLAM telepítési odometriához
Ez a cikk bemutatja az ügencialapú COMPASS munkafolyamatot és annak gyakorlati lépéseit egy referencia Spot robot és többféle jelenetforrás mentén, hangsúlyozva a reprodukálhatóságot, az emberi jóváhagyási kapukat és az értékeléshez szükséges bizonyítékok megőrzését.
