Egy San Leandrói (Kalifornia) raktárban álló Jenga-torony a fizikai mesterséges intelligencia egyik kísérleti terepe. A raktárban működik az Encord, az a cég, amely adatfeldolgozó eszközöket és annotációs megoldásokat épít gépi tanulási modellek kiképzéséhez. Andrew Ceja — az Encord „pilot” munkavállalóinak elnevezése a robotika-kiképzőkre — fejkamerás headsetet visel, miközben óvatosan kihúz egy-egy fadarabot a megbillegő toronyból. A headset kamerája rögzíti, amit lát, de ezen túl az eszköz úgynevezett agyhullám‑szenzorokat is tartalmaz: a viselőjének agyi aktivitását méri a feladat végzése közben.
A headsetet a Zander Labs, egy németországi neurotechnológiai startup fejlesztette. A Zander célja, hogy az agyi aktivitás méréséből — például hibára, szándékra vagy meglepetésre utaló mentális állapotok kikövetkeztetésével — hasznosabb, címkézett adatkészletet állítsanak elő a robotikai modellekhez. Az Encord és a Zander közös munkája jelenleg próbaüzem: az Encord célja, hogy egy kezdeti, agyhullám‑címkézéssel ellátott adatkészletet állítson elő, a vevői robotikai modelleken lefuttassa, és kiértékelje, javul‑e a teljesítmény, mielőtt bővítené a megközelítést.
Lucas Gehrke, a Zander Labs kutatója, aki a munkát felügyeli, szerint az egyes feladatok alatt mért agyi aktivitás intenzitása támpontot adhat a modellek fejlesztőinek arról, mikor érdemes magasabb számítási ráfordítással, „legjobb erőfeszítésű” modelleket alkalmazni.
Miért fontos ez az irány?
Encord azon startupok közé tartozik, amelyek azt feltételezik: a humanoid és raktári robotika következő valódi korlátja nem elsősorban a hálózati architektúrákban, hanem a valós, fizikális tanítóadatok hiányában rejlik. Az Encord eredetileg gépi látás alapú alkalmazásokat fejlesztő cégek számára nyújtott annotációs és modellezési eszközöket; ahogy ügyfeleik egyre gyakrabban alkalmaztak end‑to‑end tanulást manipulációs feladatokra, a vezetők rájöttek, hogy nem elég csupán a meglévő adatok kezelése — a megfelelőt elő is kell állítani. „Az adatok egyszerűen nem léteznek” — fogalmazott Vineeth Velmurugan, az Encord robotikai tanulásért felelős vezetője.
A generatív MI‑hez hasonló áttörést a fizikai világban nehezíti, hogy míg a nyelvi modelleket az internet szövegére lehetett építeni, az objektumok manipulációjához szükséges nyersanyagok gyűjtése jóval nehezebb. Önrendelkező adathalmazokat (például önvezető autók esetén) nehéz skálázni; a videós tanulás részben segít, de nem adja meg a valós világbeli adatok pontosságát. Velmurugan szerint egy áttöréshez nagyjából olyan nagyságrendű adathalmaz kellene, mint YouTube videóinak többszöröse, ami részben magyarázza, miért vált az adatok előállítása üzletté, nem csupán kutatási problémává.
Két fő adatszerzési irány: egocentrikus videó és távoli robotvezérlés
A robotagyakat fejlesztő cégek ma két fő forrásból gyűjtenek adatot: egocentrikus felvételekből, amelyeket munkavállalók viselhető kamerái rögzítenek (ezeket gyakran kiegészítik további kameraszögekkel és más mérésekkel), valamint robotokról gyűjtött, távolról irányított adatsorokból. Encord mindkettőt használja: világszerte több gyárból szerzik az egocentrikus adatokat, míg a San Leandrói telephelyen kísérleti jelleggel új modalitásokat — például agyhullámokat — próbálnak ki, illetve specifikus készségekhez gyűjtenek adatkészleteket finomhangoláshoz.
A látogatáskor a „pilotok” vezető‑követő (leader‑follower) összeállításokat használtak: két párhuzamos robotkar, ahol az egyiket ember vezérli, a másik leköveti a mozdulatokat. Ezekkel olyan feladatokról gyűjtenek adatot, mint kávé csurgatása csészékbe (nehezen modellezhető, mert folyadékdinamika miatt „loccsanós”) vagy kártyapakli‑pókerzsetonok tornyozása. Velmurugan szerint „minden humanoid cég” kért tőlük hasonló adatokat.
A raktárpolcokon különféle próbatárgyak sorakoztak: művirágok vázákban, könyvek, műanyag zöldségek, macskaalom tálcák és lapátok, kötelek, huzalok — az a készlet, amelyből háztartási feladatokra tanítható manipulátorokat modelleznek.
Egy munkaponton Sofia Infante, egy másik pilot, robotkarokat irányított, hogy szerver hátlapjából csatlakozó Ethernet‑kábeleket dugjon be és húzzon ki — olyan feladat, amelyet az adatközpontok üzemeltetői szívesen automatizálnának, ha a robotok elég precízek lennének. A szerkesztői tapasztalatok alapján a csipeszek kevésbé fürgék, és kevesebb szabadságfokkal rendelkeznek, mint az emberi kéz és kar, ami jól illusztrálja, miért nehéz még automata megoldásokat létrehozni.
Elektromiográfia és sűrű annotációk
Egy másik kísérleti modalitás, amelyen Encord dolgozik, a felkarra rögzített szenzorokból származó elektromos izomjelek (EMG) rögzítése. A kézzel végzett videófelvételek gyakran nem mutatják az egész kéz minden részletét; Velmurugan reménye az, hogy az alkar‑szenzorok segítségével 3D‑s helyzetrekonstrukciót tudnak létrehozni, és így pontosabb kép alakulhat ki arról, hol tartózkodik a kéz egy adott pillanatban.
Az Encord adatkészleteit fizikális leírásokkal is ellátják — például „jobb kéz meghúzza a csavart” —, hogy a nagy nyelvi modellekre épülő értelmezések jobban megértsék a történteket. Velmurugan becslése szerint az ilyen sűrű annotáció százszor többet ér egy konkrét feladat betanításához, mint a „silány egoadat” (junky ego data), és előállítása nagyjából húszszor többbe kerül, ami papíron jó ár‑érték aránynak tűnik.
Ugyanakkor a húszszoros költség valódi pénz — az internetes szövegek összegyűjtése, amellyel a nyelvi modelleket építették, lényegében olcsó volt. A fizikai tréningadatok előállítása nem olcsó, és ez kitermeli a fizikai‑AI és a nagy nyelvi modellek közti gazdasági különbséget: az ilyen adatokat gyártani kell, nem csupán begyűjteni, ami megváltoztatja a modellezés költségszerkezetét.
Iparági rálátás és a csapat
Velmurugan szerint haladás történik: az Encord iparági átláthatósága révén látnak kisebb cégeket és élvonalbeli laborokat egyaránt, és így képesek észrevenni, mely adatgyűjtési technikák működnek. Ez a több ügyfél közti pozíció az Encord egyik értékajánlata: időben észlelni, hogy mely megközelítések kezdenek iparszerűen terjedni.
A San Leandrói telephelyen munkában lévő körülbelül tucatnyi pilot feladata a neurális hálók tanításához szükséges építőkockák előállítása. Infante és Ceja korábban a Scale nevű annotációs cégnél dolgoztak, mielőtt az Encordhoz csatlakoztak. Ceja korábbi munkája során egy hulladékkezelő cégnél egy robot hulladékszelektálót tartott üzemképes állapotban, és most élvezi a robotok számára készülő tréningfeladatok megoldását: „Minden nap valami új” — mondja, miközben a Jenga‑torony összedől.
