Egy ELTE vezetésével dolgozó kutatócsoport a magyar akadémiai közösség számára elérhető Komondor HPC infrastruktúrán kifejlesztette a Racka-4B modellt, amely a magyar nyelvi feladatokban az akár kétszer nagyobb, 8 milliárd paraméteres modellekkel összevethető pontosságot ér el, miközben jelentősen gyorsabb azoknál. A kutatók szerint a rendszer különösen erős logikai és érvelő (reasoning) képességekkel bír.
Miért fontos ez Magyarországnak?
Az ELTE közleménye rámutat, hogy a globális nagy nyelvi modellek gyakran gyengébben teljesítenek a magyar nyelven és a magyar kultúrához kapcsolódó tartalmakban. Ennek egyik oka a magyar erősen morfológiai jellege: egy szóalak sok ragot és képzőt tartalmazhat, így a nyelv feldolgozása eltérő megközelítést igényel. Emellett nincs olyan, a magyarhoz közeli nagy világnyelv, amely digitális jelenlétével „magával húzná” a magyart. Ha a nyelvi rendszerek nem értik a magyar jogi, kulturális és szaknyelvi sajátosságokat, az hátrányt okozhat több területen, ezért a hazai adatokon képzett technológia a digitális szuverenitás szempontjából kiemelt jelentőségű.
Hogyan alakították át a modellt magyarra?
A Racka-4B nyílt forráskódú alapokra épül: a fejlesztés Qwen3-4B architektúrára támaszkodó, paraméterhatékony (LoRA) finomhangolással történt. A magyarítás több párhuzamos mérnöki lépésből állt, ezek közül kiemelkedő volt a modell „szótárának” (tokenizációjának) optimalizálása.
A nemzetközi, döntően világnyelvekre optimalizált szótárak gyakran túl apró részekre vágják a magyar szavakat. A kutatócsoport ezért az eredeti, mintegy 150 ezer elemből álló szótárból körülbelül 32 ezer ritka tokent — például kelet-ázsiai karaktereket — eltávolított, és ezek helyére magyarra optimalizált tokeneket illesztett be. A rendszert úgy hangolták, hogy előnyben részesítse ezen új tokencsomag használatát.
Milyen hatása lett a tokenoptimalizálásnak és a képzésnek?
A módosítások eredményeként a Racka 47 százalékkal kevesebb tokenből tudja felépíteni ugyanazt a magyar szöveget. Ennek gyakorlati következménye a jelentősen gyorsabb szöveggenerálás és a ragozási, nyelvtani hibák csökkenése. A modellt összesen 160 milliárd tokennyi adaton továbbképzették: az adathalmaz 44 százaléka magyar, míg a maradék megoszlása angol (24 százalék), német (21 százalék) és programkód (11 százalék).
Elérhetőség és további tervek
A kutatócsoport célja a magyar tudományos szféra támogatása: a Racka modellt kutatási és fejlesztési célokra szabadon, nyíltan elérhetővé tették. A projekt Hugging Face-oldaláról a fejlesztők szerint csak az elmúlt hónapban több mint 600 letöltés történt, ami a modell érdeklődését jelzi.
A csapat nem egyetlen modellben gondolkodik, hanem egész Racka modellcsalád kifejlesztésén dolgozik, és tervezik a kelet-közép-európai regionális piacra történő kilépést. Egy nagyobb, regionális tudást integráló modell előkészítése és fejlesztése folyamatban van, szoros együttműködésben a Mynds.ai céggel; ezt az új európai AI-infrastruktúrán és a barcelonai MareNostrum 5 szuperszámítógépen tervezik megvalósítani.
Rövid összefoglaló
A Racka-4B az ELTE és partnerei munkája révén egy paraméterhatékony, magyarra optimalizált érvelő nyelvi modell, amely kevesebb tokennel gyorsabban és pontosabban képes magyar szöveget előállítani, mint nagyobb, nem kifejezetten magyarra optimalizált modellek. A modell nyíltan elérhető, és a fejlesztők regionális skálán is terjeszkednének.
