Stanford University és UC Berkeley kutatói egy új családot, a RoboRewardet mutatták be: általános célú látás–nyelv jutalmazási modelleket, amelyeket különféle robotfeladatok értékelésére finomhangoltak. A munkacsoport Tony Lee, Andrew Wagenmaker, Karl Pertsch és kollégái nevéhez köthető.
Mi az újdonság
A RoboReward két méretben készült: 4 milliárd és 8 milliárd paraméteres változatban. A szerzők emellett létrehoztak egy adathalmazt és egy benchmarkot, amely a látás–nyelv jutalmazási modellek betanítására és értékelésére szolgál.
Kulcsötlet: többféle negatív példa előállítása
A szerzők megjegyzik, hogy a népszerű szöveg–videó adathalmazok jellemzően sikeres végrehajtásokat tartalmaznak, ezért a modellek nehezen tanulják meg a sikertelenség és a részleges teljesítmény felismerését. Ezt a hiányt pótolták úgy, hogy a sikeres példákat negatív vagy részleges példákká alakították át: például egy videóból, amelyen a robot beteszi a kanalat a fazékba, alternatív parancsokat generáltak („tedd a kanalat a fazék mellé”), illetve a sikeres végrehajtás videóját levágták, hogy részleges próbálkozásokat hozzanak létre.
Hogyan építették fel az adathalmazt és a modellt
Minden példa egy parancsból, a parancsot végrehajtó robotot bemutató videóból és egy 1-től 5-ig terjedő haladási pontszámból állt (1 = nem sikerült, 5 = teljes siker). A videókat két forrásból gyűjtötték, amelyek egykarú, kétkarú és humanoid robotokat ábrázolnak. A feladatleírásokat szabványosították, az adatokat negatív példákkal bővítették, és minden példához haladási pontszámot rendeltek.
A negatív példák előállításához a szerzők GPT-5 mini modellt használtak: egy sikeres videó alapján a modell leírta (i) a jelenetet, (ii) a robot mozdulatait és (iii) a végállapotot. Ezen leírások alapján a Qwen3-4B-Instruct-2507 javasolt olyan alternatív parancsokat, amelyekre a videó már nem érdemelne 5-ös pontszámot. A GPT-5 mini ezután elemezte és kiszűrte azokat az alternatív parancsokat, amelyek címkéi nem illeszkedtek a videóhoz. Részleges próbálkozásokat úgy generáltak, hogy a sikeres végrehajtás videóit levágták.
A GPT-5 mini a 1–4 tartományban is hozzárendelt haladási pontszámokat az ilyen negatív és részleges példákhoz.
A modellek finomhangolásához a szerzők Qwen3-VL 4B és Qwen3-VL 8B alapú változatokat használtak: a bemenet egy videó és a hozzá tartozó parancs volt, a kimenet pedig a predikált haladási pontszám, amely jutalomként szolgált a megerősítéses tanuláshoz. Ellenőrzésképp 2 831 példát manuálisan felülvizsgáltak, és ezek alkották a RoboRewardBench tesztadatbázist.
Eredmények
A RoboReward modellek pontosabban becsülték meg a RoboRewardBench elemeinek jutalmát, mint több összehasonlított modell, köztük a Gemini Robotics-ER 1.5 és olyan általános célú modellek, mint a GPT-5.
A pontosságot a modell jóslatai és a referencia címkék közötti abszolút hibák átlaga (mean absolute error, MAE) szerint mérték, ahol az alacsonyabb érték jobb. A RoboReward 8B MAE-je 0,665 volt, amellyel a 22 vizsgált modell között a legjobb eredményt érte el. Összehasonlításul: GPT-5 mini 0,691 MAE-t ért el, GPT-5 0,811 MAE-t, és Gemini Robotics-ER 1.5 0,906 MAE-t. A RoboReward 4B 0,845 MAE-vel a rangsor 4. helyére került, és többek között a Gemini 3 Pro (0,851 MAE) fölé tudott kerülni.
A kutatók valós robotdemonstrációkat is végeztek: egy diffusion transformer modellt tanítottak meg egy WidowX robotkart manipulálni, a betanításhoz különböző jutalomforrásokat használva. Két példa feladatban mérték az eredményt:
- Játékfelvétel és letétre helyezés: a RoboReward 8B által adott jutalmakon alapuló modell sikeressége 50 százalék volt, míg a Gemini Robotics-ER 1.5 jutalmaira épülő modell 10 százalékos sikert ért el. Az ember által kézzel kiosztott jutalmakkal tanított modell 75 százalékos volt.
- Fiók kinyitása: RoboReward 8B alapján 80 százalékos volt a siker, Gemini Robotics-ER 1.5 alapján 45 százalék, emberi jutalmak mellett pedig 90 százalék.
Tehát a RoboReward 8B jelentősen jobb volt, mint a korábbi automatizált jutalommodellek a bemutatott valós feladatokban, de még elmaradt az emberi jutalmazás teljesítményétől.
Miért fontos
A látás–nyelv alapú jutalmazási modellek ígéretesek a robotok megerősítéses tanulásában, mert képesek általánosítani több feladatra és robottípusra, csökkentve a feladat-specifikus jutalomfüggvények kézi megalkotásának igényét. A szerzők módszere — sikeres demonstrációk validált hibákkal és részleges próbálkozásokkal történő kiegészítése — javította a modellek képességét a sikerek és sikertelenségek megkülönböztetésére.
A benchmark és a pretrainelt modellek közzététele lehetővé teszi a közösség számára, hogy közvetlenül javítsa a jutalomfüggvényeket, ahelyett, hogy csupán arra várnának, hogy ezek a képességek a nagy általánosist modellekből mellékhatásként felmerüljenek.
Kapcsolódó technológiák és modellek (említések)
- RoboReward (4B és 8B) – ez a tanulmány új modellcsaládja
- RoboRewardBench – manuálisan ellenőrzött tesztkészlet (2 831 példa)
- Qwen3-VL 4B, Qwen3-VL 8B – finomhangolt alapmodellek
- Qwen3-4B-Instruct-2507 – alternatív parancsok javaslatára használt modell
- GPT-5 mini és GPT-5 – elemzésben és címkézésben részt vevő modellek
- Gemini Robotics-ER 1.5, Gemini 3 Pro – összehasonlító modellek
- WidowX robotkar – valós robot a demonstrációkhoz
