NVIDIA DeepStream 9.1 bemutatja az AutoMagicCalib (AMC) automatikus kalibrációs eszközt és a Multi‑View 3D Tracking (MV3DT) többkamerás 3D‑nyomkövető képességet. A két komponens együtt lehetővé teszi, hogy több, automatikusan kalibrált kamera észleléseit egy közös 3D világkoordináta‑rendszerbe olvassák, és azonos, globálisan konzisztens objektumazonosítókat tartsanak fenn a kameraképek között. A csomag 13 „agentic skillt” tartalmaz a látás‑AI fejlesztés felgyorsítására, valamint referenciaalkalmazásokat és mintadataseteket a GitHubon.
Miért jelent ez előrelépést?
A hagyományos, egykamerás 2D követés rosszul kezeli a mélységi információt, és gyakran elveszít egy objektumot, ha az kilép a képből. A meglévő 3D megoldások rendszerint kézi kalibrációt és bonyolult számításokat igényelnek. DeepStream 9.1 célja ennek egyszerűsítése: az AMC automatikusan becsüli a kamerák intrinzikus és extrinzikus paramétereit, míg az MV3DT több kamera észleléseit fűzi össze, hogy a helyzetet világkoordinátákban számolja és egyetlen, stabil objektum‑ID‑t biztosítson az egész területre.
Fő újdonságok a DeepStream 9.1‑ben
- 13 agentic skill, amelyek előre definiált lépéseket nyújtanak a látás‑AI fejlesztéshez és telepítéshez.
- MV3DT: teljes életciklusú multi‑kamerás 3D követő skill, mely több kamera streamjei között biztosít pontos követést és egyedi ID‑kat.
- AutoMagicCalib (AMC): automatikus kamerakalibrációs skill, amely csökkenti a manuális beavatkozást és a hibalehetőségeket.
- NVIDIA JetPack 7.2 támogatás Jetson Edge platformokhoz (például Orin és Thor).
- Nyílt forráskódú elérhetőség egy egységes GitHub repóban, amely tartalmazza a forráskódot és referenciaalkalmazásokat.
Hogyan működik az MV3DT
- Projekció és fúzió: minden kalibrált kamera 2D detekcióit egy 3×4 projekciós mátrix segítségével visszavetíti 3D világkoordinátákba (a pipeline földszint‑feltételezéssel dolgozik). A rendszer a kamerák egyedi 3D projekcióit fuzionálja, hogy globálisan konzisztens nyomkövetést biztosítson.
- Többnézetes asszociáció: az MQTT (Message Queuing Telemetry Transport) protokollon keresztül a kamerák megosztanak tracklet‑eket; a többnézetes asszociáció a 3D közelség alapján párosítja ezeket és egyedi, globális objektumazonosítókat rendel hozzá.
- Kimenetek: On‑Screen Display (OSD) többkamerás rács 2D/3D jelölésekkel, Bird’s‑Eye View (BEV) top‑down pályatérkép világkoordinátákban, illetve Kafka üzenetsorba küldött per‑frame protobuf metadata (szenzor azonosító, objektum ID, 3D bounding box stb.).
- További részletek a többnézetes asszociációs algoritmusokról és 3D fúziós technikákról a "Fully Distributed Multi‑View 3D Tracking in Real‑Time" kutatási cikkben találhatók (Hernandez et al., 2026).
AutoMagicCalib (AMC): hogyan automatizálja a kalibrációt
MV3DT működéséhez pontos 3×4 projekciós mátrixokra van szükség minden kamerához. AMC ezt a kalibrációs folyamatot automatizálja a meglévő videókban vagy streameken mozgó objektumok nyomvonalaiból kinyert adatok alapján, így nincs szükség fizikai kalibrációs minták (például sakktábla) elhelyezésére a térben.
Az AMC belső lépései:
- Per‑kamera pályaextrakció: DeepStream detektálja és követi az objektumokat, AMC gyűjti a trajectory‑adatokat.
- Egynézeti kalibrálás és korrekció: minden kamerán külön becsli az intrinzikus paramétereket (fókusztávolság, főpont, lencse‑torzítás) és előállít egy korrekciót.
- Többnézeti tracklet‑illesztés: a kamerák közötti pályák illesztése kézi megadott igazítópontokat és a BEV térképet használva.
- Bundle adjustment: az összes kamera paraméterét közösen finomítja a globális reprojekciós hiba minimalizálására.
Opcióként az AMC a Visual Geometry Grounded Transformer (VGGT) modellezett módszert is használhatja, amely jobb pontosságot és robosztusságot nyújthat, ha az objektummozgás korlátozott. A felhasználó csak egy BEV elrendezéskép (layout.png) feltöltésére és néhány igazítópont kijelölésére van utolagosan szükség; az AMC mikroservice REST API‑val és webes felülettel is elérhető.
DeepStream agent skills és telepítési munkafolyamatok
DeepStream 9.1 készségei úgy vannak tervezve, hogy kódoló ügynökökkel (például Claude Code, Codex vagy más agentek) együttműködve a fejlesztőtől természetes nyelvi promptokig vezessék a telepítést, konfigurálást és futtatást. Az MV3DT skill a teljes életciklust lefedi: előfeltételek ellenőrzése, konténer építése/pull, Kafka és Mosquitto szolgáltatások indítása, detektor modellek letöltése, DeepStream pipeline konfiguráció generálása, és automatikus AMC meghívás, ha kalibrációs fájlok hiányoznak.
Az AMC‑hez tartozó skills példái:
- amc‑setup‑calibration‑stack: AMC mikroservice és UI/REST API indítása.
- amc‑run‑sample‑calibration: mintadataseten végigfuttatott kalibráció ellenőrzéshez.
- amc‑run‑video‑calibration: videóállományokból történő kalibráció futtatása a layout képpel és igazítópontokkal.
- amc‑run‑rtsp‑calibration: valós idejű RTSP streamek kalibrálása.
Gyors telepítési útmutató (összefoglaló)
Előfeltételek: Ubuntu 24.04 (x86_64), NVIDIA driver >= 580, Docker + NVIDIA Container Toolkit, Claude Code vagy Codex telepítve és hitelesítve, NGC API kulcs nvcr.io‑ból való konténerhúzáshoz, Hugging Face kulcs VGGT modelletöltéshez, opcionális X11 vagy VNC megjelenítés.
Példa munkafolyamatok:
- Mintadataset futtatása (12 kamerás): a skill használatával a repository‑ból a coding agent felépíti a szükséges környezetet, elindítja a konténert és a pipeline‑t; megjeleníti a 12 kamera rácsot és a BEV pályaképet. Headless módban videókat ment a kimeneti könyvtárba.
- Saját videókkal (kalibráció szükséges): a fejlesztő megadja a szinkronizált videókönyvtárat és a layout képet; az agent automatikusan elindítja az AMC szolgáltatást, a kézi igazítópont‑kijelölés után AMC elkészíti a camInfo/*.yml kalibrációs fájlokat, majd MV3DT futtatja a követést.
Kimenetek és felhasználási lehetőségek
Sikeres telepítés esetén a rendszer:
- élő OSD ablakot ad 2D/3D overlay‑ekkel és konzisztens objektumazonosítókkal;
- élő BEV top‑down pályaképet mutat világkoordinátákban;
- Kafka üzenetsorba küldi a per‑frame protobuf metaadatot (objektum ID, 3D bounding box, konfidencia, szenzor ID) további analitikához vagy riasztórendszerekhez;
- menti a kimeneti videókat (tiled OSD és BEV trajectory video).
Elérhetőség és források
A DeepStream 9.1 teljes forráskódja, a skills, referenciaalkalmazások és mintadatasetek elérhetők az NVIDIA DeepStream GitHub tárházában. A MV3DT referenciaalkalmazás a src/apps/reference_apps/deepstream-tracker-3d-multi-view helyen található; a kapcsolódó skill‑ek a skills/ könyvtárban vannak.
A közösségi kérdések és fejlesztői megbeszélések az NVIDIA DeepStream Developer Forumon folynak.
