Perry Dong, a Stanford kutatója, és Chelsea Finn, a Stanford professzora és a robotikai cég Physical Intelligence társalapítója egy közös írásban azt vizsgálják, mi akadályozza a robotika következő nagy ugrását. Szerintük a terület előrehaladása sok tekintetben párhuzamba állítható a nyelvi modellek (LLM) fejlődésével: a pretrénelés skálázódott, de a „poszt‑tréning” univerzális módszere hiányzik.
Mit tanult a nyelvi modellek közössége?
A szerzők szerint a nyelvi modellek esetében akkor történt áttörés, amikor a közösség egy megosztott, jól körülhatárolható receptre konvergált a poszt‑tréningre. Ezt négy lépésre foglalják össze:
- legyen egy erős, előre betanított modell,
- határozzuk meg a környezeteket és a jutalmat (például preferenciamodelleket),
- futtassunk megerősítéses tanulási (RL) optimalizációt a referencia modell ellen, és
- figyeljünk és reagáljunk a kóros jelenségekre, mint a jutalom kijátszása.
A pretrénelés a robotikában is jól skálázódott, de a második felére — hogy a modell a saját tapasztalataiból tanuljon — nincs még megbízható, általánosított megoldás.
Mire van szüksége a robotikának?
Dong és Finn szerint a robotikának egy olyan algoritmusra van szüksége, amely kifejezetten a frontvonalbeli robotikai modellek finomhangolására készült: stabil marad nagy, milliárdos paraméterű modelleken, és kevesebb tapasztalati példával képes tanulni, hogy gyakorlati legyen valós hardveren. Emellett a területnek meg kell egyeznie egy halom standard gyakorlatban:
- alapértelmezett mód arra, mi számít sikernek,
- alapértelmezett mód a jelenet visszaállítására próbálkozások között, hogy a robot újra megpróbálhassa a feladatot,
- alapértelmezett mód arra, hogyan adjon a személy visszajelzést, és hogyan alakítsák át ezt a visszajelzést tanulássá.
Ezek a standardok szükségesek ahhoz, hogy a poszt‑tréning széles körben alkalmazható és skálázható legyen.
Egy konkrét javaslat: EXPO(-FT)
A posztban a szerzők bemutatnak egy, a saját fejlesztésük alatt álló algoritmust, EXPO(-FT) néven, amelyről úgy vélik, hogy néhány kívánt tulajdonságot megtestesít. Bár az eszköz még korai fejlesztési fázisban van és nem elterjedt, működési elve szerint úgy tanul, hogy ismételten javítja a frontmodell által adott akciókat megerősítéses tanulással, kis módosításokat alkalmazó könnyűsúlyú policy-kkel, majd ezeket a javításokat beolvasztja magába a frontmodellbe.
Miért számít ez?
Jelenleg a nagyméretű, zárt LLM‑ek már elég intelligensek ahhoz, hogy tudásukkal robotoknak adjanak utasításokat és segítsék őket komplex tervkivitelezésben. Ugyanakkor a robotok tényleges mozgása és látása még viszonylag kezdetleges. Ennek javítása robotmozgásra és látásra optimalizált modelleket, valamint a fent részletezett standardizációt igényli. A nyelvi modellek poszt‑tréningje azért vált skálázhatóvá, mert a közösség konkrét alapértelmezéseket fogadott el; a szerzők szerint a robotika most ugyanebben a helyzetben van, és egy univerzális poszt‑tréning recept konvergenciája kulcsfontosságú lenne a nagy léptékű előrelépéshez.
Következtetés
Dong és Finn érvelése szerint a pretrénelés már adott a robotikában, de a területet egy mindenki által követhető, megbízható poszt‑tréning algoritmus hiánya hátráltatja. Az EXPO(-FT) egy korai kísérlet e recept kialakítására, de ahhoz, hogy a robotikai rendszerek mozgásban és látásban is jelentősen fejlődjenek, ipari alapértelmezések és standard gyakorlatok elfogadása szükséges.
További olvasnivaló
Perry Dong blogbejegyzése: “Towards Universal Post‑Training for Robotics”.
