Racka-4B egy magyar szakemberek közreműködésével létrehozott nagy nyelvi modell (LLM), amelyet elsősorban kutatási és fejlesztési céllal készítettek az Eötvös Loránd Tudományegyetem (ELTE) Informatikai Kar Mesterséges Intelligencia Tanszékének kutatói a Digitális Örökség Nemzeti Laboratóriummal együttműködve. A fejlesztésben részt vesz a Mynds.ai is, és a csapat jelenleg egy nagyobb, komolyabb kapacitású modell előkészítésén dolgozik.
Mit tud a Racka?
A Racka-4B egy viszonylag kicsi, 4 milliárd paraméteres modell, amelynek különlegessége, hogy érvelő — vagyis az úgynevezett "gondolkodó" modellek családjába sorolható: válaszadás előtt részletekbe menő, nyomon követhető gondolatmeneteket képes kialakítani. Az érvelő modelleket a köztudatban az elmúlt két évben ismerték meg szélesebb körben az OpenAI o1 modellje nyomán.
A fejlesztők hangsúlyozzák, hogy a Racka nem a ChatGPT-vel vagy más piaci nagy modellekkel való közvetlen versengésre készült: célja elsősorban know‑how szerzése, kísérleti platform biztosítása és olyan speciális feladatok kiszolgálása, ahol a magyar nyelv és kulturális kontextus számít.
Miben különbözik a korábbi magyar kísérletektől?
- A Racka az első olyan, magyarokra optimalizált érvelő modell, amelynek tanításánál nagy hangsúlyt fektettek a magyar nyelvi és kulturális tartalmak bevonására. A csapat szerint a korpuszban több könyv, disszertáció és egyéb kulturális örökségi forrás szerepelt, nem csak weboldalak.
- A tanításhoz használt eredeti Qwen3-4B modellt átalakították: az Alibaba Cloud által fejlesztett, nyílt forráskódú kiinduló modell szótárából eltávolítottak 32 ezer, a projekt szempontjából lényegtelen tokent, és ezek helyére magyarra optimalizált tokeneket illesztettek be. A magyar szöveg aránya a tanítókorpuszban végül 44 százalék lett, mivel a teljesen magyar tanítással elkerülték az úgynevezett katasztrofális felejtés jelenségét.
- A Rackát magas teljesítményű számítástechnikai környezetben, a hazai Komondor szuperszámítógépen tanították, ami skálázhatóságot biztosít a későbbi, nagyobb modellek felé.
A korpuszban angol és német anyagok, valamint programkódok is szerepeltek, hogy megőrizzék a modell fordítási és kódolási képességeit.
Mire használható most, és mire nem?
A fejlesztők elismerik, hogy a Racka mérete miatt nem alkalmas minden összetett feladatra: komplex, többnyelvű vagy nagyon nagy tudást igénylő problémáknál a piacvezető nagy modellek jobb teljesítményt nyújtanak. Ugyanakkor a Racka bizonyos speciális feladatokra már most is jól használható: a cikk említése szerint például egy igazságügyi szakértő egy Rackára épülő kísérleti eszközt használt nagy mennyiségű dokumentum átfésülésére, miközben a rendszer kis külső tárolón is futott.
A modellel kapcsolatban a kutatók kiemelik: mivel az érvelő mechanizmus az alapmodelltől (Qwen3-4B) öröklődött és a gondolkodás angolul zajlik, bizonyos nyelv- vagy kultúraspecifikus feladatoknál előfordulhatnak eltérések abban, mintha a belső érvelés magyarul történne.
Miért fontos egy hazai fejlesztés?
A Racka létrehozása mögött több érvet is felhoznak a fejlesztők:
- Digitális szuverenitás: ha csak külföldi, elsősorban amerikai vagy kínai modellek állnak rendelkezésre, az országok és vállalatok rászorulhatnak külső szolgáltatókra, és adatuk felhőbe küldése vagy külföldi modellekre való utalása kockázatot jelenthet.
- Nyelvi képességek és forráshiány: a magyar, mint viszonylag kis nyelv esetében a nagy, nemzetközi modellek gyakran gyengébben teljesítenek, mert kevesebb, magyar nyelvű tanítóadat áll rendelkezésre. A helyben készített modellek segíthetnek ezt a rést csökkenteni.
- Tudás és ökoszisztéma építése: kisebb, kutatási célú LLM‑ek fejlesztése hozzájárul a helyi MI‑fejlesztési kapacitás kialakulásához, amely később szolgáltatások és üzleti megoldások alapja lehet.
Radványi Miklós, a Mynds.ai ügyvezetője külön kiemelte, hogy vannak területek — jogi dokumentumok, egészségügyi, állami vagy nemzetbiztonsági adatok — ahol a helyben futtatható, ellenőrizhető modellek különösen fontosak, mert a szervezetek nem szeretnék vagy nem vállalják az adatok külföldi szerverekre küldését.
Következő lépések és skálázás
A kutatócsoport konszenzusa szerint a következő érdemi lépés a méret növelése: már egy 30 milliárd paraméteres modell is jelentősen megnövelné az alkalmazási területek számát és összetettségét. A Racka architektúrájából adódóan skálázható, és a csapat a Mynds.ai-val közösen előkészít egy nagyobb projektet, amelyben önállóan tevékenykedő ügynök‑rendszerekbe integrálható, komplex képességű modelleket szeretnének fejleszteni.
A nagyobb tanítási projektekhez több számítási kapacitásra van szükség: a tervek között szerepel nemzetközi szuperszámítógépek, például a spanyol MareNostrum 5 használata, de a csapat korábban pályázott a LUMI erőforrásaira is. A hazai Komondor és a bejelentett, de még meg nem valósult Levente szuperszámítógép infrastruktúrája szintén szerepet játszhat a jövőben.
Finanszírozás és állami szerep
A Racka fejlesztői hangsúlyozzák, hogy hosszú távon az állami támogatás vagy kormányzati megrendelések nélkül nehéz fenntarthatóan előrehaladni. A 2023‑ban frissített magyar MI‑stratégia említi a magyar nyelvű, nagy nyelvi modellek támogatását és külön név szerint szerepelt benne a Digitális Örökség Nemzeti Laboratórium, de a kutatók szerint a nemzeti laboratóriumi programok és a stabil költségvetési források bizonytalanok, és gyakran elapadnak.
Palkó Gábor szerint a magyar kutatás‑fejlesztés jelenleg alulfinanszírozott és kiszámíthatatlan, ami miatt lényeges projektek részben önkéntes vagy "garázsprojekt" keretek között valósulnak meg. Radványi reméli, hogy a kormányzati irányítás és a miniszteri kinevezések után konzekvensebb stratégiai program indul, és az állam egyértelműen támogatja majd az ilyen jellegű fejlesztéseket.
Regionális és üzleti ambíciók
A fejlesztők tervei között szerepel, hogy a magyar modelleket a kelet‑közép‑európai régió nyelveivel kiegészítve olyan modelleket hozzanak létre, amelyeket például Szlovákiában vagy Romániában is lehet használni. A Palkó és Radványi által említett út a nagyobb pályázati források megnyerésén, a nemzetközi partnerségeken és a megfelelő szuperszámítógépes erőforrások bevonásán keresztül vezet.
Összességében a Racka elsősorban kutatási és kapacitásépítési célokat szolgál: demonstrálja, hogy lehetséges magyarra optimalizált, érvelő képességű modelleket készíteni, és alapot ad a nagyobb, üzleti és kormányzati alkalmazásokra alkalmas rendszerek fejlesztéséhez — feltéve, hogy biztos finanszírozás és számítási infrastruktúra áll majd rendelkezésre.
