Egy új tanulmány bemutatja, hogy a nagy nyelvi modellekben (LLM) engedélyezett lépésenkénti érvelési nyomvonalak (chain-of-thought, CoT) gyakran előhívnak helyes, paraméteres memóriában tárolt tényeket, amelyekhez a modell különben nem jutna el. A szerzők kontrollált kísérletekkel vizsgálták, miért hasznos ez egyszerű, egylépéses faktuális kérdések esetén, és két kiegészítő mechanizmust azonosítottak: egy implicit „számítási puffert” és egy „ténypriming” hatást.
Miért érdekes ez a kérdés?
Korábban világos volt, hogy CoT javítja a modellek teljesítményét összetett feladatokon, például matematikai egyenletek megoldásánál vagy többlépéses tudásfeladatoknál. Kevésbé egyértelmű azonban, hogy miért segít a CoT olyan egyszerű, egyetlen tényre irányuló kérdéseknél, ahol nincs szükség láncszerű logikai következtetésre. Például: „Melyik évben vették fel Mary Engle Pennington-t a National Inventors Hall of Fame-be?” — vagy egy ilyen kérdésre a modellben vagy megvan a tény a súlyokban (parametrikus memória), vagy nincs.
Vizsgált módszer és adatkészletek
A szerzők R-LLMeken (reasoning-capable LLM) dolgoztak, ahol az érvelés ki- és bekapcsolható. A vizsgálathoz a Gemini-2.5 (Flash és Pro) és a Qwen3-32B modelleket használták, két zárt-könyves (closed-book) kérdés-válasz adatkészlettel: SimpleQA Verified és EntityQuestions. A fő mérőszám a pass@k, amely azt nézi, hogy a modell több generált válasza között előfordul-e a helyes válasz, így kevésbé függ a top-1 kimenettől és jobban érzékeli az érvelés potenciálját a paraméteres emlékezet feltárására.
Fő megfigyelés
A pass@k vizsgálata során konzisztensen azt találták, hogy ha az érvelés engedélyezett, a modellek képesek előhívni olyan válaszokat, amelyek az érvelés kikapcsolt állapotában gyakorlatilag elérhetetlenek. Mivel az adatkészletek jórészt egyszerű, egylépéses kérdéseket tartalmaztak, ez az előny nem magyarázható azzal, hogy a modell összetett probléma-dekompozíciót hajt végre.
Mechanizmus 1: számítási puffer
Az első hipotézis annak a régi ötletnek a folytatása, hogy az extra tokenek generálása „kiterjesztett számítási időként” működik: további előrefutásokat tesz lehetővé, amelyek finomítják a modell belső állapotát. Ennek tesztelésére a szerzők törölték az érvelés jelentését: a modell által generált gondolatmenetet egy értelmetlen, ismétlődő sztringre — "Let me think" — cserélték, a nyomvonal hosszának megfelelően. Ezután a modellt erről a dummy szövegről feltételezve hagyták megjósolni a végső választ.
Meglepő módon ez a jelentésmentes nyomvonal is jelentősen javította a helyes előhívást a teljesen kikapcsolt érveléshez képest, ami erős bizonyíték arra, hogy az extra számítási idő önmagában segít elérni nehezen hozzáférhető paraméteres tényeket. Ugyanakkor az effektus korlátos: a dummy sztring hosszának növelésével csökkenő hozadék jelentkezik, és a teljes teljesítmény sosem éri el a természetes érvelési nyomvonalak hatékonyságát — tehát a tartalom is számít.
Mechanizmus 2: ténypriming
A második mechanizmus annak a jelenségnek a leírása, amikor a modell a természetes érvelési nyomvonalakban kapcsolódó tényeket sorol fel. Ez analóg a kognitív pszichológiában ismert spreading activation elvvel: egy fogalom feldolgozása aktiválja a kapcsolódó fogalmakat és megkönnyíti azok előhívását. A szerzők ezt generatív ön-visszakeresésnek nevezték, vagyis factual primingnak.
A kísérletben a kutatók kiszűrték az érvelési nyomvonalakból csak a konkrét tényeket, eltávolítva a töltelékszöveget, keresési terveket vagy a végső célnak való közvetlen utalást. Ezen faktumlisták kondicionálásával a modellek nagy részben vissza tudták hozni az érvelés teljesítményjavulását még akkor is, ha maga az érvelés funkció ki volt kapcsolva. Például egy kérdésre, amely a nepáli királyok sorrendjét firtatja, a modell először a korábbi kilenc király nevét sorolhatja fel; ezek az előhívott tények „melegítik up” a hálózatot és megkönnyítik a tizedik név előhívását.
A hallucinációs csapda
A factual priming hatékony, de sebezhető: mivel a modell maga generálja az intermediate tényeket, előfordulhatnak hamis, „hallucinált” tények. A szerzők nagy léptékű auditálást végeztek: egy keresésre képes verifikátort használtak, hogy ellenőrizzék minden közbenső állítást száz- és több százezer érvelési nyomvonalban.
Az audit azt mutatta, hogy ha egy nyomvonalban akár egyetlen hamis közbenső tény is megjelenik, a modell jóval kisebb valószínűséggel adja meg a helyes végső választ. Ez arra utal, hogy bár a factual priming sokat segít, ha nem ellenőrzött, a generált tények pontatlansága rontja az eredményt.
Gyakorlati alkalmazások és javaslatok
A mechanizmusok megértése gyakorlati lépéseket tesz lehetővé a modellek megbízhatóságának javítására. A szerzők kipróbáltak egy futás közbeni szelektálási stratégiát: több érvelési nyomvonalat generáltak ugyanarra a kérdésre, és csak azokat tartották meg, amelyekről a külső verifikátor szerint a közbenső tények ellenőrizhetők és nem hallucináltak. Ez a priorizálás jelentősen javította a pontosságot.
A gyakorlatban hasonló megközelítések beépíthetők edzés során is: process rewardok alkalmazásával lehet ösztönözni a tényszerűen megtámasztott közbenső lépéseket, így a modellek kevésbé hajlamosak a hallucinációra.
Következtetés
A tanulmány rámutat, hogy az érvelés a nyelvi modellekben többet tesz, mint egyszerű feladatdekompozíció: mechanikusan képes feltárni a modell belső, parametrikus tudását. A kísérleti eredmények szerint az extra tokenek által biztosított számítási idő és a generált, kapcsolódó tények priming-hatása együtt magyarázzák, miért javítja az érvelés az egyszerű faktuális kérdésekre adott válaszokat. Ugyanakkor a factual priming törékeny, mert a közbenső állítások hallucinációja rontja a végeredményt. A dolgozat javaslatai — futás közbeni verifikáció, verifikált nyomvonalak priorizálása, és process rewardok a tréningen — gyakorlati útvonalakat kínálnak a megbízhatóbb modellek felé.
Köszönetnyilvánítás
A kutatást Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart és Jonathan Herzig végezte. Eyal Ben-David és Avinatan Hassidim értékes javaslataikért közreműködésüket köszönik.
