A University of Pittsburgh Human Engineering Research Laboratories (HERL) vezetésével zajlik a Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities (RAMMP) fejlesztése, amelyhez az Advanced Research Projects Agency for Health (ARPA-H) akár 41,5 millió dollár támogatást biztosít. A projektben a HERL partnere az ATDev, és széles nemzeti konzorcium vesz részt, köztük a Kinova Robotics, LUCI Mobility, valamint akadémiai partnerek a Carnegie Mellon, Cornell, Northeastern és Purdue egyetemekről.
Miért fontos a RAMMP?
Az Egyesült Államokban becslések szerint körülbelül 5,5 millió kerekesszék-használó él; a mozgásképesség megőrzése alapvető a mindennapi részvételhez és munkához. A meglévő segédeszközök gyakran nem tükrözik a valós környezet összetettségét, ami csökkentheti a felhasználók önbizalmát és veszélyeztetheti a testi biztonságot: évente több mint 100 000 kerekesszékkel kapcsolatos sérülést kezelnek amerikai sürgősségi osztályokon, gyakran botlások és esések miatt. Ezek a számok sürgetővé teszik az okosabb, biztonságosabb és alkalmazkodóképesebb technológiák fejlesztését.
Mesterséges látás a valós környezethez igazítva
A RAMMP célja, hogy a robotikai mobilitási platformok tervezési hiányosságait csökkentse: egyesíti a fejlett robotikát, új operációs rendszereket és a digitális iker (digital twin) technológiát — egy virtuális szimulációs környezetet teremtve a biztonságos és skálázható teszteléshez. A projekt fontos eleme a mesterséges intelligencia alkalmazása, beleértve több, Meta által közzétett nyílt forráskódú látásmodellt, így a DINO (és annak változatait) és a Segment Anything Model (SAM) használatát.
DINO (self-supervised vision transformer) erőssége, hogy címkézetlen adatokból tanul vizuális reprezentációkat, ami hasznos ott, ahol ritkák a megcímkézett adathalmazok. Az SAM célja, hogy „bármilyen dolgot” szegmentáljon egy képen vagy videón minimális prompttal, így hatékonyan használható annotálásra és pontos tárgyfelismerésre.
DINOv3 és SAM futtatása élő eszközökön (edge)
Az asszisztív eszközökre támaszkodó felhasználók számára minden másodperc számít: a mindennapi környezet kiszámíthatatlan — gyerek fut át a járdán, váratlanul megjelenik egy járdaszegély, vagy leesnek a kulcsok. Az eszközön történő képfeldolgozás (edge computing) lehetővé teszi, hogy a robotok gyorsan és megbízhatóan reagáljanak anélkül, hogy állandó hálózati kapcsolatra támaszkodnának. Ugyanakkor olyan nagy teljesítményű modellek, mint a DINOv3 vagy a SAM korlátozott, akkumulátoros hardveren való futtatása mérnöki kihívás: figyelembe kell venni az energiafogyasztást, hűtést, hálózati megbízhatóságot és a méret- és súlykorlátokat.
A RAMMP csapata e kihívásokra optimalizált modelleket fejleszt: csökkentik a memóriaigényt, alacsonyabb precizitást alkalmaznak ott, ahol megengedhető, és olyan telepítési formátumokat választanak, amelyek a valós körülményekhez illeszkednek. Gyakorlati felbontáson és hatékony feldolgozási batchelést alkalmazva a modellek gyorsak és stabilak maradnak a kompakt, akkumulátoros robotikai platformokon és karokon — néha áldozatot hoznak a határpontok finomságából a sebesség és megbízhatóság érdekében. Ez a kompromisszum a pontosság és a gyakorlati használhatóság között a projekt filozófiájának központi eleme.
„Az asszisztív robotikában a teljesítményt nem pusztán a benchmark pontossága határozza meg, hanem az, hogy a rendszer megbízhatóan működik-e a mindennapok kiszámíthatatlanságában” — mondta Sivashankar Sivakanthan, a RAMMP projekt Chief of Staff pozíciójában. „Az olyan modellek eszközön való futtatása, mint a DINOv3 és a SAM, lehetővé teszi a valós idejű és megbízható észlelést, hálózati függés vagy a biztonság kompromittálása nélkül.”
Automatikus címkézés és 360 fokos környezeti tudatosság
A RAMMP észlelésének alapját RF-DETR képezi, egy könnyűsúlyú detektormodell, amelyet DINOv2 beágyazásokkal finomhangoltak. A tréningadatokat SAM-mel automatikusan címkézik, így a csapat gyorsan képes magas minőségű annotációkat generálni a különböző szögekről, magasságokról, hátterekről és megvilágítási viszonyokról. Az adatok augmentálása és a többnézetes stratégiák további következetességet biztosítanak a perspektívák között. Ennek eredményeként a rendszer 360 fokos, valós idejű környezeti tudatosságot és adaptív tárgyfelismerést nyújt.
A RAMMP ilyen módon kombinálja az SAM címkézési teljesítményét és a DINOv2 gazdag vizuális reprezentációit egy finomhangolt RF-DETR modellen, ami gyors és alkalmazkodó észlelést tesz lehetővé.
Felhasználóközpontú tervezés és partnerségek
A HERL és az ATDev egymásra épülő szerepet játszanak: a HERL biomedikai mérnöki és felhasználóközpontú kutatási szakértelmével vezeti a kezdeményezést, míg az ATDev a gyakorlati mérnöki megvalósításokat hozza el a valós eszközökbe. A fejlesztés során a HERL széles körben bevonja a kerekesszék-használókat, klinikusokat és érdekérvényesítő csoportokat, hogy a technológia a valódi igényeket elégítse ki.
ARPA-H célja, hogy a RAMMP révén olyan jövőt teremtsen, ahol a mozgáskorlátozott amerikaiak könnyebben élhetnek önállóan, dolgozhatnak és tölthetnek el szabadidőt fejlett robotika segítségével — mondta Mansoor Khan, ARPA-H programmenedzsere. Alicia Jackson, Ph.D., az ARPA-H igazgatója pedig így fogalmazott: „A RAMMP révén azt mutatjuk meg, milyen az amerikai egészségügyi innováció, ha nem fogadjuk el a status quót. A mozgáskorlátozott emberek milliói megérdemlik, hogy a technológia őket kövesse, ne pedig fordítva.”
Gazdasági és társadalmi célok
A RAMMP nemcsak a személyes mobilitást kívánja javítani: a projekt regionális munkahely- és gyártási lehetőségek ösztönzésével Pittsburghban és Pennsylvaniában is új gazdasági impulzust szeretne adni. A tervek szerint a fejlett mobilitási megoldások hazai gyártása és a kapcsolódó munkaerő-fejlesztés a technológiai és társadalmi előrelépés összefonódását célozza.
Továbblépés és jövőkép
A RAMMP a jövőben tovább integrálja a következő generációs észlelési modelleket, köztük a SAM 3.1-et és a DINOv3-at, hogy javítsa a valós idejű környezeti megértést és interakciót. A további fejlesztések a temporális következetesség megerősítésére, a sokféle valós körülmény közötti robosztusság javítására és az észlelés szorosabb összekapcsolására a döntéshozatali és vezérlési rendszerekkel fókuszálnak. A cél olyan asszisztív rendszerek létrehozása, amelyek nemcsak észlelik a környezetet, hanem idővel alkalmazkodnak a felhasználó egyedi igényeihez és viselkedéséhez, így közelebb hozva a társadalmat egy mindenki számára teljesen részvételre képes világához.
