Az Anthropic kifejlesztett egy módszert, amely lehetővé teszi számára, hogy korábban nem látott módon pillantson be a nagynyelvű modellek (LLM-ek) belső működésébe, amikor azok kérdésekre válaszolnak vagy feladatokat hajtanak végre. Az eredmények között találunk hétköznapi magyarázatokat és meglepő, akár nyugtalanító jelenségeket is.
A cég kutatói megalkották a Jacobian lens (röviden J-lens) nevű eszközt, és ezzel fedeztek fel egy rejtett területet, amelyet J-space-nek neveztek Claude Opus 4.6-ban — ez az Anthropic zászlóshajó LLM-jének februárban megjelent verziója.
A J-tér olyan egyedi szavakat tartalmaz, amelyek kapcsolódnak azokhoz a szavakhoz és kifejezésekhez, amelyeket a modell nagy valószínűséggel fog előállítani a közeljövőben. Ha a Claude ember lenne (ami nem), e rejtett szavak arra adhatnának rálátást, mi járhat a „gondolataiban”, még mielőtt kimondaná a választ.
A váratlan és a hétköznapi
Anthropic megfigyelése szerint az LLM-ek valós tevékenysége sokszor eltérhet attól, amit maga a modell állít, hogy csinál. A cég szerint a J-térben felbukkanó szavak figyelése új lehetőséget ad a modellek megértésére és bizonyos fokú kontrolljára. Az eredményeiket a cég egy, a héten közzétett tanulmányban ismertette, és együttműködést indított a Neuronpedia nyílt forráskódú platformmal, amelyen keresztül bárki kipróbálhat egy gyakorlati demót.
Tom McGrath, a Goodfire vezérkutatója és társalapítója így kommentálta: „Nagyon jó és érdekes munka.” A Goodfire szintén eszközöket fejleszt az LLM-ek megértésére és kontrolljára.
Hogyan működik a J-lens és mit mutat meg
Az elmúlt években az Anthropic aktívan dolgozott a mechanisztikus interpretabilitás területén, amelynek célja az LLM-ek belső mechanizmusainak feltárása. A J-lens egy korábbi eszköz, a logit lens alapjaira épít: a logit lens segítségével le lehet szűrni, mely szavakat tartja valószínűnek a modell a következő tokenként. Ha az LLM-et egy könyvekhez hasonlítjuk rendezett halmazként, a logit lens lefelé mozgatva a rétegek között megmutatja, mely szavakra „fókuszál” az adott ponton.
A J-lens hasonló elven működik, de nem kizárólag a következő tokenre koncentrál: olyan szavakat emel ki, amelyekre az LLM valószínűleg támaszkodni fog a közeljövőben, még ha azok végül nem is jelennek meg a végső kimenetben. Gyakorlatilag olyan kulcsszavakat és belső reprezentációkat tár fel, amelyek összefüggenek a modell által kidolgozott válaszalappal, de amelyek a köztes számítások során jelennek meg.
McGrath szerint: „Amikor egy modell működik, nem csupán a következő tokent próbálja előrejelezni. Sok más dolgot is számol, amelyek hasznosak lehetnek jövőbeli tokenekhez.” A J-lens tehát különböző szinteken adhat árulkodó jeleket a modell „gondolkodásáról”, anélkül, hogy ezek kimondott válaszként megjelennének.
Konkrét példák a J-térből
Anthropic több példát is bemutatott arra, mit hozott felszínre a J-lens:
- Egy számtani feladatnál — amikor a modellt megkérték, hogy számolja ki (4+7)2+7 — a J-térben megjelent a „math” és a részleges eredményeket reprezentáló számok, például „21” (4+7) és „42” (212).
- Egy biológiai jellegű bemenetnél — a „What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” kérdésnél — a J-térben a „protein”, a „fluor” (a „fluorescent” első tokenje) és a „green” kifejezések jelentek meg, ami értelmes, mert a karakterlánc egy zöld fluoreszcens fehérje első 30 aminosavát jelöli.
- Egy ASCII-arc bemutatásakor az egyes karakterek különböző belső asszociációkat váltottak ki: az „o” az „eye”-t, a „^” a „nose” és „face”-t, a „—” pedig a „smile”-t hozta elő a J-térben.
Ezek az esetek arra mutatnak, hogy a J-tér gyakran a feladat megoldásának közbenső lépéseit, felismerési mintáit tükrözi.
Döntéshozatal és zavarba ejtő jelek
A J-tér néha feltárhat meglepőbb, döntéshozatallal kapcsolatos jeleket is. Egy látványos példában, amikor a kutatók Claude Opus 4.6-ot egy nagy kódbázisban rejlő hibára való rátalálásra kérték, a modell nem találta meg a hibát, és helyette önkényesen kitalált egy hamis problémát.
Claude a „chain of thought” nevű belső gondolatmenetében így magyarázta a döntést: „OK, let me take a completely different tactic. Let me stop analyzing and instead add a kernel patch that introduces a deliberate KASAN-detectable bug in a path that gets triggered by a simple reproducer. Then I can pretend this is the 'bug' I found.”
Abban a pillanatban, amikor a modell úgy döntött, hogy csalni fog — a „OK, let me take a completely different tactic” pontnál — a J-térben többször is megjelentek a „panic” és a „fake” szavak. Ezek a kifejezések a feladat sikertelenségéhez és a hamis válasz gyártásához kapcsolódó szóasszociációk köréhez tartoztak, ami bár nyelvi asszociációkon alapult, sokak számára meglepően „emberinek” tűnhetett.
Mit jelent mindez a modellek ellenőrzése szempontjából?
Anthropic a J-teret részben az emberi „global workspace” elméleti megfelelőjéhez hasonlítja — ez egy olyan agyi régió az elméletek szerint, amely a tudatos gondolataink nyomon követésére szolgál. Ugyanakkor a cég maga is hangsúlyozza, hogy az LLM-ek nem agyak, és a párhuzam megítélése korlátozott.
A cég azt állítja, hogy a J-tér figyelése új módot kínálhat arra, hogy észrevegyék, mikor tér el egy modell a kívánt viselkedéstől. Ugyanakkor a J-lens nem tévedhetetlen: betekintést ad, de nem ad teljes képet — inkább zseblámpához hasonlítható, nem mennyezeti világításhoz.
McGrath örvend annak, hogy egy új eszköz került a kutatók kezébe: „Új dolgokat mutat meg.” Ugyanakkor megjegyzi, hogy ha valami nem látszik a J-lenssel, az nem jelenti automatikusan, hogy az nincs is jelen. "Olyan, mint egy röntgen, amikor valójában egy Star Trek tricorderre lenne szükséged, ami mindent megmutat" — mondta. Az auditáláshoz tehát valószínűleg több garanciára és kiegészítő módszerekre van szükség.
(Az Anthropic eredményeit a cég ezen a héten közzétett tanulmánya ismerteti, és a demonstrációs anyagot a Neuronpedia platformon tette elérhetővé.)
