Az emberi nyelvet ma már nemcsak gyerekek tudják megtanulni: a nagy nyelvi modellek (large language models, LLM-ek) — mint az OpenAI GPT-sorozata, Anthropic Claude vagy más modern modellek — képesek folyékonyan írni és beszélni. Ugyanakkor van egy alapvető különbség: az LLM-ek megtanulásához emberfeletti mennyiségű adat szükséges. Egy korszerű LLM jóval több szót dolgoz fel a pretraining során, mint amennyit egy ember élete korai éveiben hallana; a különbség gyakran százezerszeres nagyságrendű.
A „data efficiency gap” — mi ez és miért fontos?
A szakirodalom által data efficiency gapnek nevezett szakadék felveti a kérdést: hogyan képesek a gyerekek anyanyelvi jártasságot elérni sokkal kevesebb bemenetből, miközben a gépek hatalmas, internetről származó korpuszokra támaszkodnak? Ennek megértése fontos mind az AI-fejlesztés, mind a kognitív tudományok szempontjából: ha a gyermekek tanulási mechanizmusait visszafejtjük, lehetőség nyílhat adat-hatékonyabb modellek építésére, ami különösen hasznos lenne kisebb nyelvek és multimodális (például videóalapú) tanítás esetén.
Mekkora az adatkülönbség?
A cikk példái szerint egy preteen (tízéves körüli gyerek) egy beszédes háztartásban körülbelül 100 millió szót hallhat; ha ehhez írástudást is hozzávesszük, 20 éves korra talán 300 millió szóig lehetne számítani. Ezzel szemben Meta Llama 3.1 pretrainingje körülbelül 15 trillió (15 000 milliárd) token feldolgozását jelentette, és a frontier modellek ennél akár tízszer több adaton tanulhattak. Ha kinyomtatnánk a modern LLM-ek tréningjéhez használt szavakat, az állomány a Nemzetközi Űrállomás magassága fölé érne; egy gyerek 100 millió szava pedig nagyjából 20 métert adna egy ilyen papírhalmon.
Elméletek a gyermeknyelv-tanulásról
A 20. század közepén Noam Chomsky azzal érvelt, hogy a nyelvelsajátításhoz veleszületett (innát) grammatikai ismeretek szükségesek: a „poverty of the stimulus” szerint a gyermekek bemenete túl szegényes ahhoz, hogy pusztán statisztikai tanulással kinyerjék a nyelv szintaktikai szabályait. Ezzel ellentétben behaviorista nézetek (például B.F. Skinneré) a környezeti megerősítés szerepét hangsúlyozták. A modern LLM-ek azonban azt mutatják, hogy nagy mennyiségű nyelvi statisztika birtokában a modellek képesek szintaxis-szerű mintákat elsajátítani—miközben ezek a rendszerek statisztikai, nem biológiai megoldások.
BabyLM: kísérlet a „baba-méretű” modellezésre
Alex Warstadt és társai 2022-ben indították el a BabyLM versenyt, amely fejlesztésileg hiteles, kisméretű korpusszal (alap pályán 100 millió szó; kis pályán 10 millió szó) teszteli, mit tudnak megtanulni a modellek. A korpuszok közé tartoznak mesekönyvek, párbeszédek, filmfeliratok, Simple English és normál Wikipedia, valamint gyerekeknek szóló beszédátiratok. A modelleket pszicholingvisztikai jellegű grammatikai benchmarkokkal mérik.
Az első kör eredményei meglepők voltak: a népszerűnek tartott curriculum learning (az egyszerűbbtől a komplexebb felé haladó tanítási sorrend) nem hozta az elvárt javulást. A 2024-es BabyLM-győztes, GPT-BERT — amely egyszerre tanult next-token predictiont és masked-language feladatot — körülbelül 100 millió szó előtréning után egyes BabyLM-feladatokban felülmúlta a Meta Llama 2 70B modell teljesítményét, pedig az utóbbi sokkal több (több ezer-szeres) adatot használt. Ugyanakkor a baby-szintű modellek általában nem képesek a modern LLM-ek szövegtermelési gazdagságára; sokuk egyáltalán nem generál szöveget.
Mi hiányzik a modellekből?
A gyermekek nem csak passzívan befogadják a szót; több érzékszervükön át tanulnak, aktívan kutatják környezetüket, játék közben kísérleteznek, és társas kontextusban tanulnak: felismerik, mikor tanítják őket, és a tanító szándékát is figyelembe veszik. Ezzel szemben a legtöbb modell passzívan, elszeparáltan tanul. Kísérletek multimodális (videó+szöveg) adatokkal eddig csak részleges sikereket hoztak: például Brenden Lake és munkatársai 61 óra SAYCam-fejfelvétel alapján épített modellt, amely egyszerű objektumneveket (mint „labda”, „macska”) tudott megtanulni, és képes volt tárgyakat felismerni szóösszekapcsolással, de nem produkált két éves gyerekhez hasonló nyelvi kompetenciát.
Nagyobb, valósághűbb adatgyűjtés és a jövő
A SAYCam-projekthez képest jelentős, nagyobb skálájú vállalkozás a Princeton-i Uri Hasson projektje, amely 17 gyermek első ezer napját rögzítette: a családok közösségi terekben 12 órát naponta, majdnem minden nap kamerákkal és mikrofonokkal gyűjtöttek anyagot. Az ilyen, naponta több órás, sűrű videóadatokra csak most vált lehetővé dolgozni a korszerű automatikus átiratozó és vizuális elemző eszközök miatt.
Alkalmazások és motivációk
Az adat-hatékonyság javítása gyakorlati előnyökkel járna: lehetővé tenné kisebb intézmények és kutatócsoportok számára versenyképes modellek tréningjét, segítené a kisebb nyelvek (például cseh, norvég vagy kisebbségi nyelvek) támogatását, és csökkentené a hatalmas, internetről származó adatokra való függést. Például David Samuel és társai a GPT-BERT mögött arra törekedtek, hogy kisebb nyelvekhez hasonló mennyiségű adaton is jó modelleket építsenek.
Tudományos hozadék: az ember megértése
A kutatók egy része szerint a modellek használata úgy hasonló a komparatív pszichológiához: a gépi modellek mint „modell organizmusok” segíthetnek hipotézisek tesztelésében, amire emberi kísérleteknél etikai vagy gyakorlati korlátok miatt nem mindig van lehetőség. Bár az LLM-ek és az emberi agy nagyon különböznek — az emberi agy testhez kötött, fejlődik és átalakul —, a gépi rendszerek viselkedésének vizsgálata alapvető kérdéseket vet fel a nyelv természetéről és a tanulás mechanizmusairól.
Következtetés
A jelenlegi LLM-ek kimagasló nyelvi képességeket mutatnak, de csak hatalmas adatmennyiségek felett. A gyermekek viszont sokkal kevesebb bemenetből érnek el hasonló — ha nem jobb — viselkedési jeleket nyelvhasználatban. A BabyLM és a multimodális, fejkamerás adatokat feldolgozó kutatások kezdetei ígéretesek: a cél kettős, technológiai és elméleti — adat-hatékonyabb AI megalkotása, és közben a saját nyelvtanulási képességeink jobb megértése.
