Az Okinavai Tudományos és Technológiai Intézet (OIST) kutatói egy új tanulási megközelítést dolgoztak ki robotok számára, amely a kíváncsiság jutalmazására épül, és gyorsabb nyelvi feladatelsajátítást eredményez a hagyományos módszerekhez képest. A csapat eredményeit a Science Advances tudományos folyóiratban közölték.
Módszer: PV-RNN és megerősítéses tanulás kombinációja
A kutatók nem a nagynyelvi modellekhez (LLM) hasonló statisztikai következő-szó előrejelzésre építettek, hanem egy agy által inspirált architektúrát, a PV-RNN-et (Predictive-coding Variational Recurrent Neural Network) alkalmazták. A PV-RNN célja, hogy a robot stabil belső modellt alakítson ki a világról, miközben helyesen érti meg a környezetet.
A csapat a PV-RNN-t megerősítéses tanulással ötvözte: a robotok külső jutalmat kaptak a nyelvi feladatok helyes teljesítéséért, illetve belső jutalmat a kíváncsiság kielégítéséért, amikor ismeretlen vagy váratlan helyzeteket fedeztek fel, amelyek frissítést igényeltek a belső modelljükben. Ez a kétféle jutalom közötti egyensúly ösztönözte a felfedezést, miközben megőrizte a modell stabilitását.
Gyorsabb tanulás és spontán, játékos viselkedés
A vizsgálat során a kíváncságra épülő rendszerek körülbelül feleannyi idő alatt sajátították el a nyelvi alapú feladatokat, mint a hagyományos tanítási módszerekkel képzett robotok. A képzés közben a kíváncsi robotok váratlan, játékos viselkedést mutattak: még miután a kijelölt feladatokat elsajátították, további kísérletezést folytattak tárgyak borogatásával, annak ellenére, hogy erre nem kaptak közvetlen utasítást. A kutatók szerint ez a spontán felfedezés hozzájárult a nyelvtanulás felgyorsulásához, és párhuzamba állítható a kisgyermekeknél megfigyelt játékkal vezérelt tanulási mechanizmussal.
Szükséges a változatos nyelvi környezet
A csoport megállapította, hogy a kizárólag kíváncsiságra építő mechanizmus önmagában nem elegendő: a tanulás hatékonyságához gazdag és változatos nyelvi expozíció szükséges. Amikor a robotok mindössze 48 különböző nyelvi kombinációnak voltak kitéve, körülbelül 25 százalékos általánosítást értek el. Ezzel szemben a 180 kombinációval képzett robotok körülbelül 85 százalékos általánosítást mutattak, ami azt jelzi, hogy a nagyobb változatosság drámaian növeli a korábban nem látott utasítások megértésének képességét.
U-alakú tanulási görbe és a kivételek kezelése
A kutatók továbbá észlelték, hogy a kíváncsiságvezérelt robotok tanulási görbéje erősen hasonlított azokra az U-alakú görbékhez, amelyek a kisgyermekek nyelvtanulására jellemzők. Ezt a jelenséget egy kontrollkísérletben is vizsgálták: két nyelvi feladat jelentését szándékosan megfordították. Kezdetben a robotok helyesen tanulták meg a kivételeket, de amikor elkezdték általánosítani a szélesebb nyelvi szabályokat, teljesítményük átmenetileg romlott, majd később helyreállt. A kutatók meglepetésére ez a viselkedés megjelent annak ellenére, hogy a mesterséges modellben nem volt explicit mechanizmus a kivételek vagy a túlgeneralizálás kezelésére.
Jelentőség és következtetések
Az OIST eredményei azt sugallják, hogy a kíváncsiságra épülő jutalmazás és a belső modellek folyamatos frissítése kombinálva a megerősítéses tanulással gyorsabb, rugalmasabb és emberszerűbb viselkedést eredményezhet a robotoknál. A tanulmány rávilágít arra is, hogy a hatékony nyelvtanuláshoz nemcsak belső motiváció szükséges, hanem a változatos nyelvi környezet is elengedhetetlen. A kutatók remélik, hogy az ilyen megközelítések hozzájárulhatnak a jövőbeli alkalmazkodóbb mesterséges intelligencia-rendszerek kialakításához.
Publikáció és források
Az eredményekről a kutatók a Science Advances folyóiratban számoltak be; a kutatást érdeklődő technológiai összefoglalók is feldolgozták, például az Interesting Engineering és a HVG szakmai közlései.
