Egy új, viselkedésalapú mérőkeret — a knowledge profiling — és a WikiProfile benchmark alkalmazásával a szerzők azt mutatják, hogy a korszerű nagynyelvű modellek (LLM-ek) esetében a ténybeli hibák egyre gyakrabban nem azért fordulnak elő, mert a tény nincs eltárolva a paraméterekben (encoding failure), hanem mert a modell nem tud megbízhatóan előhívni már tárolt információkat (recall failure). A vizsgálat 2 150 Wikipedia-alapú tényre terjedt ki, 13 modellt teszteltek, és mintegy 4,5 millió választ értékeltek automatikus autorater-ekkel.
Mi az a knowledge profiling?
A knowledge profiling a kérdés-alapú pontosságról a tények állapotára váltja a vizsgálat egységét. Ahelyett, hogy egy-egy kérdés helyességét néznénk, minden tényt egy ötféle profil egyikébe sorolnak: (1) encoding failure (a tény nincs paraméterezve), (2) recall failure (a tény tárolva van, de nem hozzáférhető), (3) direct recall (közvetlen előhívás működik), (4) recall with thinking (a tény előhívható számítások/‘thinking’ segítésével), és (5) inference without encoding (a tény nincs tárolva, de a modell következtetés útján ad jó választ). Ezek a profilok informatívabb diagnózist adnak, mint a sima kérdési pontosság.
Módszer: három viselkedésfogalom
- Encoding: egy tény akkor tekinthető kódoltnak, ha a modell előhívás-analóg kontextusban helyesen reprodukálja azt (például kijelentés-kiegészítés és kontextuális kérdezés alkalmazásával).
- Knowledge: a modell „ismeri” a tényt, ha különböző megfogalmazásokra, köztük közvetlen és fordított kérdésekre is helyes, szemantikailag egyenértékű válaszokat ad.
- Recall: a modell „előhívja” a tényt, ha a kódolt tényt ténylegesen elő tudja adni; direct recall, ha gondolkodás nélkül, és recall with thinking, ha köztes számítások vagy láncolt gondolkodás segít.
WikiProfile benchmark
A WikiProfile egy 2 150 természetes Wikipédia-tényből álló benchmark, amelyet automatikus pipeline állított elő, lényegében a Gemini-2.5-Pro (thinking) modell által vezérelt promptokkal. Minden tényhez tíz feladat tartozik: két encoding feladat, négy knowledge-értékelő feladat és négy válaszelemzős (recognition) többválasztós feladat. A kérdések generálása három lépésben történt (generálás, finomítás, szűrés), majd keresőalapú ellenőrzésen és kézi validáción mentek át, hogy egyértelmű, minimális és egyértelmű válaszú kérdések maradjanak.
Modellek és értékelés
Tizenkétnél több, összesen 13 LLM-et vizsgáltak, mindegyiket úgy tesztelték, hogy legyenek válaszok 'thinking' (gondolkodás/chain-of-thought) engedélyezett és tiltott üzemmódban is. Minden modell, tény és feladat esetén nyolc választ mintáztak, és az automatikus autoratesterek mintegy 4,5 millió választ osztályoztak.
Fő eredmény: a szűk keresztmetszet a recall, nem az encoding
A legfejlettebb modellek (például Gemini-3-Pro és GPT-5) esetében a tények kódolása közel telítődött: a szerzők szerint 95–98% körüli arányú encoding tapasztalható. Ugyanakkor ezek a modellek közvetlenül 26–34% körüli arányban nem tudnak előhívni tényeket; még thinking engedélyezésével is 11–12% körüli maradó hibaarány volt megfigyelhető. Ez azt jelenti, hogy a korszerű LLM-eknél a hibák egyre inkább a tárolt ismeretek megbízhatatlan eléréséből adódnak, nem az ismeretek hiányából. A skálázás (nagyobb modellek) tovább csökkenti az encoding-hiányokat, de a recall-hibák továbbra is jelentősek, és a hibák nagyobb hányadát teszik ki.
Miért bukik meg a recall?
A vizsgálat szerint a recall erősen függ attól, milyen körülmények között tanulta a modellt a tényt: ha a lekérdezés eltér a tanulás időbeli kontextusától, megfogalmazásától vagy sorrendjétől, az előhívás nehezebbé válik. Két rendszeresen megfigyelt eset:
-
Ritka tények: a hosszú farkú, kevéssé népszerű tények gyakran kódoltak közel olyan arányban, mint a népszerűek, de a recall rájuk nagyobb hibaaránnyal jár. Tehát sok ritka tény jelen van a paraméterekben, de nehezebb hozzáférni.
-
Fordított (reverse) kérdések: bár a modellek „ismerhetik” az A is B típusú állításokat, a B-ből A kérdés (reverse) nyílt generálásban rendszeresen nehezebb. Érdekes módon többválasztós ellenőrzésnél (recognition) a fordított kérdések nem nehezítettek, sokszor még könnyebbek is a közvetlen kérdéseknél. Ez azt jelzi, hogy a kétirányú tudás gyakran jelen van és felismerhető, de a generálásos előhívásnál a lekérdezés irányának eltérése miatt nehezen jut elő.
A „thinking” (gondolkodás) mint helyreállító mechanizmus
A thinking bekapcsolása leginkább ott javítja a recallt, ahol a direct recall a leggyengébb — különösen ritka tényeknél és reverse kérdéseknél. A thinking-optimalizált modellekben a thinking nagyjából a kódolt, de nem direkt módon ismert tények 40–65%-át képes visszaállítani. Ezzel szemben a nem kódolt tényeknél a thinking jóval kevesebbet segít. Ez a minta arra utal, hogy a thinking elsősorban recall-facilitáló szerepet tölt be: segít előhívni a már kódolt tényeket, nem pedig elsősorban új, többlépéses következtetések révén szerezni a helyes válaszokat. Ugyanakkor a thinking számítási költséggel jár, és nem egyértelmű, mikor érdemes automatikusan alkalmazni.
Következtetés
A knowledge profiling pontosabban diagnosztizálja a LLM-ek ténybeli viselkedését, és a WikiProfile-adatok alapján a szerzők arra a következtetésre jutnak, hogy a frontvonalbeli modellek ténybeli hibáinak kezelésében a hangsúly egyre inkább az előhívás javítására kell, hogy helyeződjön. Ha az encoding valóban a telítettség közelébe ért, akkor további javulás részben nem csupán a modellméret vagy a több adat irányából várható, hanem a már kódolt tudás hatékonyabb kihasználásából — például jobb visszakeresési mechanizmusokból vagy szelektív thinking-stratégiákból.
Rövid összefoglaló (takeaway)
Knowledge profiling és a WikiProfile eredményei azt mutatják, hogy a jövőbeni lépések a factuality terén nemcsak a tudás megszerzésére (nagyobb modellek, több adat) irányulhatnak, hanem arra is, hogy a modellek megbízhatóbban elérjék és használják a már meglévő, paraméterekben tárolt ismereteket.
