A Grabette egy nyílt forráskódú, alacsony költségű kézi gripperes eszköz és feldolgozó ökoszisztéma, amely lehetővé teszi, hogy bárki percek alatt rögzítsen valós manipulációs demonstrációkat, majd azokat automatikusan robotok számára tanításra alkalmas adathalmazzá alakítsa.
Miért van szükség rá?
A robottanulás ma nem elsősorban a modelleken, hanem az adatkinyerésen bukik meg: rendelkezésre állnak erős irányítási architektúrák (például transformeres VLA-k, diffúziós és flow-matching policy-k, valamint világmodellek) és a szükséges GPU-k, de hiányoznak a nagy, sokszínű, valós manipulációs adathalmazok. A robot teleoperálása adatgyűjtéshez gyakran költséges, nehézkes és nem skálázható — különösen ha labor- vagy hardverfeltételekhez kötött.
A Grabette alapgondolata: nincs szükség robotra a demonstráció rögzítéséhez. Elég az emberi kéz, egy gripper, egy kamera és egy módszer a kéz 6-DoF pályájának visszaállítására. Ha a demonstrációt felveszed, az adat egy robot számára tanítható formává alakítható.
Ösztönző előzmények: UMI
A projekt közvetlen inspirációja a Stanford által fejlesztett Universal Manipulation Interface (UMI): egy kézi gripper, fisheye kamerával, amely „a valósban” rögzíti a demonstrációkat, SLAM-mel visszaállítja a kamera pályát, és ezekből vizuomotoros policy-kat tanít. UMI bebizonyította, hogy a koncepció működik; léteznek zárt forrású eszközök is hasonló célra (például Agibot MEgo, Genrobot DAS, Sunday Robotics glove).
A Grabette célja az egyszerűség: csökkenteni a „van egy feladatom” és a „kész a betanított modell” közti akadályt.
Miből áll a rendszer?
A Grabette modern, nyílt ökoszisztémába épül: LeRobot a dataset formátumhoz, a Hugging Face Hub megosztáshoz, és egy feldolgozó pipeline, amelyet a böngésződből futtathatsz telepítés nélkül. Az eszköz bárki műhelyében összerakható és terepen használható.
Hardver és komponensek
- Grabette: kézi demonstrációs eszköz (kamera + IMU + gripper). A BOM költsége körülbelül 490 €.
- Gripette: motoros gripper, a Grabette robotikus megfelelője (kamera + két servomotor). BOM költsége körülbelül 120 €.
A Grabette két kamerát hordoz: egy olcsó, széles látószögű fisheye-t a kontextus- és csukló-kamera jellegű nézethez, valamint egy RGBD (például OAK‑D) szenzort, amely a robusztus 6‑DoF követésért felel. További standard alkatrészek: Raspberry Pi, IMU, mágneses enkóderek — mind olyan komponensek, amelyeket bárki megrendelhet.
Nyílt forráskód minden szinten
A projekt teljesen nyílt: elérhetők a CAD és gyártási fájlok Grabette-hez és Gripette-hez, a Raspberry Pi-n futó capture szoftver, a feldolgozó pipeline (helyben vagy a Hugging Face Space-en keresztül), illetve példa downstream stack (LeRobot tanítás + OpenArm kiértékelés referenciaként).
Robot-agnosztikus megközelítés
A rögzítés és az adatformátum nem feltételez egy konkrét robotkart: a demonstrációk kamera-lokális 6‑DoF pozícióként és a gripper állapotaként tárolódnak, kimenetként standard LeRobot dataset kerül a Hugging Face Hub-ra. Ez lehetővé teszi ugyanazon adatok használatát különböző robotokon és tanulási módszerekkel; a végrehajtáshoz azonban a robot karjára illesztett Gripette gripperre lesz szükség.
Hogyan működik a munkafolyamat?
A rendszer célja, hogy bárki gyorsan, előképzettség nélkül menjen el a „felmutatok egy feladatot” állapottól a „kész a betanításhoz alkalmas adathalmaz” állapotig.
- Rögzítés
- Egy gombnyomásra a megfigyelő kamera, a tracking kamera (szín, mélység és IMU) és a gripper enkóder értékei egyszerre, egy közös órára szinkronizálva kerülnek felvételre a Raspberry Pi‑n. Újabb gombnyomásra az epizód leáll és a felvétel lokálisan elmentődik.
- Feldolgozás böngészőből
- A Grabette dashboardban kiválasztod az epizódokat, és egy kattintással elindítod az utófeldolgozást.
- Az epizódok feltöltődnek a Hugging Face Hubra.
- A grabette-slam Space RTAB-MAP könyvtárat használva SLAM-et futtat és ellenőrzi, hogy a pálya folytonos, nincs ugrás vagy tracking-vesztés.
- Az epizódok LeRobot formátumba konvertálódnak.
- Egy új dataset kerül feltöltésre a felhasználó helyére, ahol a LeRobot vizualizálóval meg lehet nézni az egyes epizódokat.
Ezzel az adathalmaz készen áll a betanításra.
Példa: teljes végponti demonstráció
Egy dataset csak akkor ér valamit, ha le is lehet belőle tanítani valamit. A Grabette csomaghoz egy példa teljes folyamatot is mellékelnek: körülbelül 200 felvett demonstrációt használva (a demonstráció elérhető egy HF Datasetként), a LeRobot stack segítségével betanítanak egy Diffusion Policy-t (ResNet18 + SpatialSoftmax encoder, DDIM scheduler, 6-D forgatás akciók), ami egy fogyasztói GPU-n is futtatható. A policy-t egy OpenArm 7‑DoF karon és Gripette gripperrel értékelik, a végrehajtás gRPC API-n keresztül történik. A példa policy és a dataset is elérhető a Hugging Face-en.
Hogyan tudsz hozzájárulni?
A szervezetek egyedül nem fogják megoldani az adatínséget: közösségre van szükség, hogy mindenütt rögzítsenek demonstrációkat. A Grabette célja, hogy bárki építsen egyet, vegye fel az általa fontos feladatokat, és ossza meg azokat a Hubon. Minden új epizód növeli az open dataset sokszínűségét, és közelebb visz bennünket ahhoz, hogy a robottanulás ne legyen drága hardver mögé zárva.
Mi következik?
Ez a kiadás csak a kezdet: a Grabette tovább fog fejlődni. A csapat már dolgozik további kiegészítőkön, például a Casquette nevű, fejre helyezhető POV eszközön, amely egocentrikus rögzítést egészítene ki (ez még munkában van). A legfontosabb következő lépés azonban a közösségre vár: kezdjetek el felvételeket készíteni, és építsük együtt a nagy, nyílt manipulációs adathalmazt.
Közreműködők és források
A projektet a Pollen Robotics készítette. A repositoryk és a Hugging Face Spaces linkjei a GitHubon és a Hubon érhetők el (a közlemény mellé tették őket). A rendszer komponensei, feldolgozó pipeline és példák nyíltan hozzáférhetők, hogy bárki belevághasson.
Építsd meg a saját Grabette-ed, dolgozd fel a felvételeidet a Hugging Face Space-en, és járulj hozzá az együttműködő adathalmazhoz.
