Az autonóm járművek érzékelési rétegét (perception stack) erősen meghatározza az azt hordozó jármű. Ugyanaz a szoftver más karosszéria- vagy variánsbeállításon futtatva eltérő világképet kap: a szenzorok elhelyezése, kalibrációja, látótere, a takarások, a karosszéria geometria, az időzítés és a lefedettség mind változik. Egy lámpa eltérő képmezőben jelenhet meg, egy járdaszegély kevésbé észlelhetővé válhat, vagy egy gyalogos a hatókör szélén ambiguvá válhat. Amikor egy önvezető szoftverportfólió új karosszériákra és variánsokra terjeszkedik, a fejlesztőknek ezekkel a különbségekkel is számolniuk kell még akkor is, ha maga a perception stack változatlan.
Új karosszéria-specifikus, valós adatok gyűjtése és címkézése költséges, és gyakran nem lehetséges a járműfejlesztés korai fázisában: az új flották még nem állnak rendelkezésre, és ritka, ugyanakkor fontos körülményeket nehéz begyűjteni. A valós vezetési adatok továbbra is nélkülözhetetlenek a rendszerek validálásához, de a szintetikus adatokkal a csapatok fel tudják készíteni a modelleket, mielőtt nagyszabású, céljárműre gyűjtött adathalmaz állna rendelkezésre.
A karline-adaptáció kihívása tehát: hogyan készítsük elő az érzékelési szoftvert egy még nem létező vagy ritkán elérhető járműre, és hogyan méretezzük a szoftvert platformvariánsokra anélkül, hogy minden variánsra nagy adatkészletet kellene gyűjteni és címkézni.
NuRec szerepe
NVIDIA Omniverse NuRec egy gyakorlati megoldást kínál: felhasználja rögzített valós vezetési adatsorokat, rekonstruálja a jeleneteket 3D-ben, majd a célszenzorkonfiguráció nézőpontjából új kameranézeteket renderel. Ezzel a fejlesztők újrahasznosíthatják a meglévő valós felvételeket olyan kérdések megválaszolására, mint például:
- hogyan nézne ki egy adott jelenet a célrig nézőpontjából;
- mely meglévő felvételek fedik jól a célszenzorokat;
- hol okoznak a geometriai eltérések gyengeségi pontokat;
- mely hiányokhoz szükséges valódi gyűjtés.
A cikk bemutat egy négylépéses munkafolyamatot, amellyel adaptálható egy perception stack egy új szenzorrighez: 1) egy rekonstruált drive párosítása a célriggel, 2) célnézetek renderelése, 3) képkockák finomhangolása NVIDIA Harmonizerrel, 4) percepciós modell betanítása a keletkezett adatokon. A példákhoz a Physical AI NuRec Dataset rekonstruált jeleneteit használják.
Hogyan működik a NuRec karline-adaptáció
NuRec 3D Gaussian splattinggel (gsplat) rekonstruál valós környezeteket érzékelőadatokból és képes új nézeteket renderelni. Karline-adaptáció esetén egy meglévő járművel rögzített drive-ot rekonstruál, majd a céljármű kamerapozícióiból új camera streameket készít.
Különösen hasznos képességek:
- Novel-view synthesis: a gsplat projekció lehetővé teszi a kamera extrinszikus és intrinszikus paramétereinek, látómezőjének, illetve lencsemodelljének (pinhole, fisheye, f-theta stb.) megváltoztatását.
- Újrahasznosítható jelenetadatok és annotációk: a rekonstruált jelenet megőrzi az eredeti rig-trajectóriákat, kamerakalibrációkat, dinamikus objektuskövetéseket és térképadatokat, amelyeket át lehet vinni vagy igazítani az új nézetek címkéihez (objektumok, sávok, jelzőlámpák, útvonalak stb.).
Gyakorlati munkafolyamat (négy lépés)
1) Tölts le egy rekonstruált jelenetet
A Physical AI NuRec Dataset a Hugging Face-en több mint 1 500 neurálisan rekonstruált vezetési jelenetet tartalmaz. Egy-egy jelenet körülbelül 20 másodperces, és hat kameranézetből rekonstruálták: 120° előszéles, 30° előtelevíziós, 120° bal és jobb kereszt, valamint 70° hátsó-bal és hátsó-jobb nézetekből. A NuRec Dataset regisztrált hozzáférésű (gated): el kell fogadni a licencet, hitelesíteni egy Hugging Face tokennel, és letölteni a kívánt jelenetet.
A NVIDIA/nurec-skills repozitórium példaskilleket is tartalmaz a letöltéshez, rendereléshez és utófeldolgozáshoz.
2) Renderelés a cél carline szenzorrigjén keresztül
A példatutorial egy szintetikus mintariget tartalmaz, amely egy célszenzor-kamerát definiál. A rig JSON bejegyzések tartalmazzák a kamera nevét (colon-delimited), felbontását, lencsemodelljét, intrinszikus paramétereket és a kamera-to-rig pozíciót. A NuRec runtime a névátalakítással logikai kameraazonosítót hoz létre (például camera:front:synthetic:120fov -> camera_front_synthetic_120fov).
A munkafolyamat magában foglalja a target-trajectória exportálását a rekonstruált USDZ jelenetből, egy rövid (sparse) render tesztet egy kiválasztott kamerával, majd teljes sorozatra renderelést frame-step=1 értékkel minden validált kamerához. A dokumentáció hangsúlyozza, hogy a célkamera nem kell egy az egyben megfeleljen a forráskameráknak: eltérő pozíció, orientáció, felbontás és FOV is használható, de gyenge lefedettség esetén a render minősége romolhat.
3) Renderelt képek finomítása NVIDIA Harmonizerrel
A neurális renderelésre jellemzőek lehetnek nézetfüggő hibák, szín- és tónisík inkonzisztenciák, illetve rosszul rekonstruált dinamikus objektumok. NVIDIA Harmonizer egy temporálisan érzékeny utófeldolgozó modell, amely csökkenti ezeket az artefaktumokat és javítja a vizuális konzisztenciát, de nem javítja meg a hibás kalibrációt vagy a rekonstruálatlan lefedettséget.
A nurec-fixer skill lefedi a beállítást, inferenciát, értékelést és opcionális Harmonizer finomhangolást. A Harmonizer letöltése, docker-konténer építése és a szempontrendszernek megfelelő checkpointok betöltése után minden kamera-szekvenciát külön futtatva lehet harmonizálni a képkockákat.
4) Perception modell betanítása és validálása
A NuRec-szintetikus adatkészleteket a cél karline-hoz készítve validálni kell ugyanúgy, mint a járművek által gyűjtött valós kameraképeket. A feldolgozott és harmonizált képek előkészíthetők a meglévő percepciós tréningcsővezetékbe a megszokott lépések szerint.
NVIDIA belső programjának eredményei
NVIDIA belső automatizált vezetési programjában ezt a munkafolyamatot alkalmazták, hogy egy új kamera-konfigurációt támogassanak olyan adatok nélkül, melyek a cél karline-ról készültek volna. Az eredmények relációs javulást mutattak objektumdetekciós pontosságban és visszahívásban (precision és recall) a NuRec-renderelt szintetikus céladatokon történő tréning után a nulláról (zero-shot) viszonyítva; a grafikon VRU (vulnerable road user) kategóriára is külön kitért.
Automatizálás: nurec-skills és agentek
Az NVIDIA/nurec-skills repozitórium az alaplépéseket agent-skillként csomagolja: fizikai adatkészletek keresése és letöltése, NCore használata, NuRec futtatása és Harmonizer alkalmazása. Létezik egy konkrét nurec-carline-adaptation skill is, amely kompatibilitási és provenance réteget ad hozzá, de nem terjeszti újra a NuRec forrásait vagy modelljeit.
A repó használatával a kompatibilis kódügynök képes automatizálni a letöltést, exportot, rövid render tesztet és megállni hibák esetén a teljes render előtt.
Forrásadatok előkészítése a rekonstrukcióhoz
A jelenet rekonstruálásához szinkronizált videók és a megfelelõ metaadatok szükségesek: tipikusan 7 MP4 (front_wide, front_tele, cross_left, cross_right, rear_left, rear_right, rear.mp4) és három Parquet fájl (calibration_estimate.parquet, egomotion_estimate.parquet, object_fused.parquet). A konverziós folyamat az NCore V4 formátumba írja át az adatokat, külön kamara-archívumokat hoz létre, és megőriz minden fontos komponens (poses, intrinsics, masks, cuboids stb.).
A publikusan elérhető konverter-sablon egy specifikus fájlsémát támogat; eltérő forrásformátumokhoz testreszabott konverter szükséges. A dokumentáció részletezi a koordináta- és időbélyeg-konvenciókat (rig: +X előre, +Y bal, +Z felfelé; kamera: +X jobbra, +Y lefelé, +Z előre; időbélyegek mikro másodpercben).
Kiegészítő lépések: segédadatok generálása
A konvertált NCore szekvencia még nem tartalmazza a szükséges inferált szemantikai szegmentációt, metrikus mélységet és ego-maszkot. Az nre-tools-ga konténer és az nre-aux-data parancs használatával lehet előállítani:
- per-frame szemantikai maszkokat (mask2former),
- metrikus mélységet (depthanythingv2),
- per-kamera ego-vehicle kizáró maszkokat.
A kimenetek zarr.itar archívumok és meta JSON fájlok lesznek; a parancssori opciók határozzák meg, mely termékek készülnek el.
Hol kezdjük el
- Töltsd le egy USDZ jelenetet és a mintariget a Physical AI NuRec Dataset-ből.
- Rendereld a jelenetet a mintariggel, majd cseréld ki a rig JSON-t a cél carline beállításaira, és rendereld újra.
- Olvasd át a NuRec dokumentációt a telepítési követelményekről, támogatott hardverről és validációról.
- Rekonstruáláshoz és konverzióhoz kövesd a Reconstruct an AV Scene útmutatót és a NVIDIA/nurec-skills anyagait.
- Használd az NVIDIA Harmonizert a temporálisan konzisztens utófeldolgozáshoz.
A publikusan elérhető szoftverek, konténerek, adatkészletek és modellek használata NGC- vagy Hugging Face-fiókot és a vonatkozó licencek elfogadását feltételezi. A NuRec runtime a nre-ga konténerben érhető el az NGC-n.
