Egy rendszerszintű vizsgálat szerint a fizikai robotok AI-inferenciájának kizárólag a robotra szerelt GPU-kon való futtatása korlátozhatja a robot teljesítményét, rövidítheti az üzemidőt, és akadályozhatja a skálázást. Az inferencia felhőbe vagy peremhálózati (edge) GPU-kra történő áthelyezése (offloading) jobb feladatvégrehajtást, hosszabb aksit és lehetőséget nyújt nagyobb modellek futtatására.
Miért fontos ez
A „Physical AI” — azaz a fizikai világban működő mesterséges intelligencia — olyan rendszerekre utal, amelyek nyílt, kiszámíthatatlan környezetben dolgoznak, emberekkel és más robotokkal lépnek kölcsönhatásba, és különböző megjelenésekkel (embodiments) kell megbirkózniuk. Ennek megvalósítása három alapdimenziót igényel: robot hardver, testet öltött AI modellek és az inferencia/tréning rendszerinfrastruktúrája. Míg a hardver és a modellek gyorsan fejlődnek, az inferencia-infrastruktúra vizsgálata kevésbé kapott figyelmet — pedig a nagy mennyiségű elosztott inferencia kezelése kritikus lesz.
A jelenlegi feltételezés és kihívásai
A ma elterjedt megközelítés az, hogy a robotba GPU-t integrálnak, és az inferenciát helyben, a roboton futtatják. Bár a magasabb szintű tervezés néha a felhőben történik, a feladatvégrehajtás jellemzően a roboton marad. A kutatók ezt a feltételezést vitatják: a nagyobb, kifinomultabb fizikai AI modellek esetén a robotba szerelt GPU-k fogyasztása, tömege, költsége és memóriakapacitásának korlátai egyre nagyobb hátrányt jelentenek.
A vizsgálat: mobil manipulációs munkaterhelések
A csapat az első rendszerszintű vizsgálatot végezte robotikai munkaterheléseken, különös tekintettel a mobil manipulációra — például a „keresd meg a szemetet a konyhában és tedd a kuka tetejére” típusú feladatra. Egy ilyen feladat magában foglalja a konyhába vezető út megtervezését, a környezet érzékelését a szemét megtalálásához, a szeméthez navigálást, annak felvételét és a kuka felé történő visszajutást. A tesztek három fő képességkészletet értékeltek: szemantikus feltérképezés és tervezés, navigáció és manipuláció.
Mérések és fő eredmények
Az inferencia offloadolása (azaz az inferencia a roboton kívüli, on-premise vagy felhő GPU-kon való futtatása) javította a válaszidőt és a pontosságot, valamint növelte az üzemidőt és csökkentette a költségeket. A kutatók többféle konfigurációt hasonlítottak össze: helyben futó GPU-k, perem GPU-k és felhő GPU-k kombinációit. (A teszthez használt hardver részletei a technikai jelentésben találhatók.)
Főbb kvantitatív megfigyelések:
-
Teljesítmény: Offloading jelentősen javította a robotok teljesítményét a feltérképezés, tervezés, navigáció és manipuláció területein. Néhány kisebb méretű GPU nem bírta el a mobil manipulációs verem teljesítését. Egyes, elég nagy memóriájú onboard GPU-k esetén a feltérképezés és tervezés sebessége az A100-hoz viszonyítva akár 383%-kal lassabb volt, ami korlátozta a robotok képességeit dinamikus környezetben. A navigációs rendszerek 30%-os csökkenést mutattak az akadályok időben történő észlelésében könnyebb GPU-kon. A VLA (very large) modellek ugyan nem lassultak drámai mértékben a kisebb GPU-kon, de a lassulás így is elegendő volt ahhoz, hogy pontosságuk 50%-kal csökkenjen.
-
Akkumulátor élettartam: A helyben futó GPU-k jelentősen növelték a robot energiafogyasztását. Ha a robotba szerelt nagyobb GPU-t (például Jetson Thor) egy energiatakarékosabb Raspberry Pi 5-re cserélték és az adatokat offloadolták, az üzemidő jelentősen nőtt. Nagyobb onboard GPU-k akár a robot akkumulátor-üzemidejét is 160%-kal rövidíthették meg (vagy több órával csökkentették azt) a tesztelt, nagyobb robotoknál.
Ezek az eredmények azt mutatják, hogy az inferencia eltávolítása a robotból kulcsfontosságú lehet a nagy modellek és hosszabb üzemidők mellett történő megbízható működéshez. Ugyanakkor az offloading összetett kompromisszumokat teremt a teljesítmény, a hálózati késleltetés és sávszélesség, illetve a rendelkezésre álló GPU-erőforrások között.
Eszközök és operacionális megoldás
A csapat egy offloading-eszközkészletet épített, amely megkönnyíti az inferencia konténerizálását és elosztását robot, edge és felhő között. A Kubernetes-t használják uniformizált absztrakcióként az AI konténerek disztribúciójához: deklaratív specifikációk alapján automatikusan konténerizálja és offloadolja a robotikai munkaterheléseket, intelligens policy-kal osztja el a konténereket, és integrál ROS2-vel, a LeRobot szimulátorral a fejlesztés egyszerűsítéséhez. A munkafolyamat bemeneteként megadható, mit kell offloadolni, az eszköz pedig külön GPU-inferencia konténereket hoz létre és kezeli azok telepítését.
Microsoft szerepe és eszközkínálat
Microsoft Research bejelentette, hogy a Physical AI Toolchain részeként iparág-első képességként támogatják az offloadolt fizikai AI inferenciát. A Physical AI Toolchain egy open-source, éles környezetre alkalmas keretrendszer, amely a Microsoft Azure felhőszolgáltatásait összekapcsolja az NVIDIA fizikai AI stackkel, és célja a robotikai fejlesztők munkájának gyorsítása az adatok kurációja, augmentálása és értékelése terén. A kiadás példaprojekteket tartalmaz az SO-101 és UR10e robotok inferenciájának offloadolására.
Példaként említik a Microsoft Rho modellt, amelyet kétkarú robotokra céloztak, és annak egy Jetson Thor GPU-ra történő offloadolását, amellyel a Mobile Aloha robot egy BusyBox eszközzel való interakciókat végez (például gombnyomás, forgatógomb beállítása).
Következtetések
A mérési eredmények alapján a robotok inferenciájának részleges vagy teljes áthelyezése a peremre vagy a felhőbe jelentős előnyökkel járhat: jobb feladatválaszok, magasabb sikerarányok, nagyobb modellek futtatásának lehetősége és hosszabb üzemidő. Az offloading ugyanakkor hálózati és infrastruktúra-tervezési döntéseket követel meg; a kutatás célja, hogy mérési alapot adjon ezekhez a tervezési kompromisszumokhoz és ösztönözze a fizikai AI-infrastruktúra fejlesztését.
A cikket a Microsoft Research publikálta, és a Physical AI Toolchain forráskódja, valamint az offload funkció kipróbálására szolgáló példák elérhetők a fejlesztők számára — a csapat visszajelzéseket vár a valós telepítési tapasztalatokról.
