Az Eötvös Loránd Tudományegyetem (ELTE) Informatikai Karának Mesterséges Intelligencia Tanszéke, a Digitális Örökség Nemzeti Laboratóriumával együttműködve létrehozta a Racka‑4B modellt — az első nagy, kifejezetten magyar nyelvre hangolt, érvelő (reasoning) képességgel rendelkező nyelvi modellt. A fejlesztést mesterséges intelligencia mérnökökből és nyelvtechnológusokból álló kilencfős csapat végezte.
Mennyiségek és számok
A csapat a Komondor HPC infrastruktúrán, Magyarország legnagyobb szuperszámítógépén körülbelül 200 millió oldalnyi szövegnek megfelelő adatot dolgozott fel. A Racka‑4B teljesítménye a magyar nyelvi feladatokban olyan mértékben javult, hogy összevethetővé vált kétszer ekkora — 8 milliárd paraméteres — modellek eredményeivel, miközben futási sebessége jóval gyorsabb maradt. A modellt összesen 160 milliárd tokennyi adaton továbbtanították.
Miért fontos a magyarítás?
A globális technológiai cégek által fejlesztett nyelvi modellek többsége angol‑központú, ezért nehézségekbe ütköznek a magyar morfológiával és a hazai kulturális, jogi szakterminológiával. A magyar nyelv morfológiailag gazdag: egyetlen szóalak sok ragot, képzőt és jelet hordozhat, ami különleges tokenizálási megközelítést igényel. Ha a modellek nem értik jól a nyelvet és a helyi viszonyokat, az akadályozhatja a digitális szuverenitást és a technológiai önellátást.
Technikai megoldások: szótároptimalizálás és LoRA‑hangolás
A Racka alapja nyílt forráskódú Qwen3‑4B, és paraméterhatékony (LoRA) finomhangolással magyarították. A magyarítás egyik központi lépése a modell „szótárának” (vokabulár) átalakítása volt: az eredeti, mintegy 150 ezer elemből álló szótárból a kutatók eltávolítottak körülbelül 32 ezer ritka tokent (például bizonyos távol‑keleti karaktereket), amelyek a projekt szempontjából irrelevánsak voltak. Helyükre kifejezetten a magyar nyelvre optimalizált tokeneket illesztettek, és a rendszert úgy hangolták, hogy előnyben részesítse ezek használatát.
Ennek eredményeként a Racka 47%-kal kevesebb tokenre van szüksége ugyanannak a magyar szövegnek a felépítéséhez. Gyakorlatban ez gyorsabb szöveggenerálást és kevesebb nyelvtani, ragozási hibát jelent.
Tanítóadatok összetétele és a többnyelvűség szerepe
Bár a fejlesztés fókusza a magyar volt, a tanításhoz használt adathalmaz csak 44%-ban tartalmazott hazai szöveget. A többi adat megoszlása: angol 24%, német 21% és programkód 11%. A nem magyar adatok bevonása azért volt szükséges, hogy elkerüljék a „katasztrofális felejtés” (catastrophic forgetting) jelenségét, vagyis azt, hogy a modell elveszítse korábban megszerzett általános képességeit. Különösen a programkódok betanítása fontos volt az alapmodell logikai és érvelési képességeinek megőrzéséhez.
Nyílt hozzáférés, visszajelzés és díj
A Racka kutatási és fejlesztési célokra szabadon, nyíltan elérhetővé vált, és a projektet a közösség gyorsan használatba vette: az elmúlt hónapban több mint 600 letöltést regisztráltak a Hugging Face oldaláról. A Racka‑4B fejlesztői tanulmánya és bemutatott prezentációja elnyerte a legjobb publikációnak járó díjat a XXII. Magyar Számítógépes Nyelvészeti Konferencián (MSZNY).
Jövőkép: modellcsalád és regionális terjeszkedés
A fejlesztőcsapat nem egyetlen modellben, hanem egy egész Racka modellcsaládban gondolkodik. Céljuk, hogy lefedjék a kisméretű, helyi szervereken vagy mobil eszközökön futtatható modellektől a régiót és hosszabb dokumentumokat kezelni képes, nagyobb tudású rendszerekig terjedő igényeket. A nagyobb, regionális tudást integráló modell előkészítése és fejlesztése már folyamatban van, szoros együttműködésben a Mynds.ai vállalattal. Ezt a munkát az új európai mesterséges intelligencia infrastruktúrán és a barcelonai MareNostrum 5 szuperszámítógépen tervezik megvalósítani.
A Racka‑4B fejlesztése példája annak, hogyan lehet erőforrás‑igényes akadémiai munkát gyakorlati, nemzetközi és regionális igényekhez kapcsolni, miközben megőrzi a nyelvi és kulturális speciálitásokat.
