Tim O’Reilly mostanapi epizódjában — Live with Tim O’Reilly — vendége Emmanuel Ameisen volt, az Anthropic interpretálhatósági (interpretability) csapatának kutatója. Ameisen korábban rövid előadást tartott a Foo Campen arról, mit találnak a kutatók egy nagy nyelvi modell (LLM) „belső életében” a szövegfeldolgozás közben. O’Reilly meghívta, hogy ismételje meg az előadást és menjenek mélyebbre a közönséggel együtt.
A beszélgetés lényegi üzenetét Ameisen egy korai diára foglalta össze:
- A jó következő token‑előrejelzés feltétele egy világmodell
- A világmodell olvasható
- A világmodell minden egyes tokennél dolgozik
Aktivációk és olvasható belső reprezentációk
Ameisen magyarázata szerint amikor tokenek haladnak át a modell rétegein, bizonyos mintázatok jelennek meg a rétegek közti köztes állapotokban — ezeket aktivációknak nevezik. Az interpretálhatósági kutatók tanulmányozzák, hogy mely mintázatok kapcsolódnak bizonyos fogalmakhoz, majd akár be is avatkoznak: rögzítik a numerikus belső állapotot egy olyan helyen, amelyről feltételezik, hogy egy adott „jelentést” hordoz, és kicserélik a számokat másokra, hogy lássák, hogyan változik a modell viselkedése.
A kutatások azt mutatják, hogy a belső szerkezet kevésbé hasonlít egy homályos egyezés‑táblázatra, és inkább sokmilliós fogalom‑jellemzők hálózatához — például „szemek”‑hez kötődő jellemzők aktiválódnak szöveg, ASCII‑arc, SVG vagy fénykép találkozásakor, tehát ezek absztrakciók, nem csupán tokeneket követő asszociációk.
Példák: helyek, tervezés, érzelmi jellemzők
Ameisen példái rendre szemléltetik, hogy a világmodell nem puszta statisztika: egy „Golden Gate Bridge” jellemző nemcsak angol szöveg esetén aktiválódik, hanem más nyelvekben és a híd képeire is. Ha ezt a jellemzőt erősen felerősítik, a modell — például Claude — hajlandó azt „mivoltként” deklarálni: arra a kérdésre, hogy mi a fizikai formája, a modell a Golden Gate Bridge‑ként azonosítja magát. Azaz a számok megváltoztatása megváltoztatja, mit „hisz” a modell.
Hasonlóképpen a tervezésre utaló jelek is megjelennek: amikor Claude rímes kétsoros verset ír, már a második sor előtt az aktivációkban látható, hogy milyen rímre készül, tehát a kiválasztott rím‑token „előre megfogalmazódik”, mielőtt a megelőző szavak megjelennek. Ezt a kutatók tervezésnek (planning) nevezik.
Még érdekesebb, hogy az aktivációs mintázatok között érzelmi jellegű jellemzők is felfedezhetők, amelyek helyzetekre, képekre, karakterekre és akár a modell saját működésére reagálnak. Például „frusztráció” aktiválódhat akkor, amikor a modell nem képes teljesíteni egy feladatot.
Antropomorfizmus és nyelv — a térkép nem a terület
A közönségben felmerült az aggodalom, hogy ne tulajdonítsunk emberi tulajdonságokat LLM‑eknek (ne mondjuk, hogy gondolkodnak, szándékoznak vagy éreznek). O’Reilly részben egyetértett: a nyelvi címkék félrevezethetnek, ám teljes tilalom is vakíthat. Hivatkozott Alfred Korzybski híres tételére („A térkép nem a terület”), valamint George Simon által tanított gyakorlatra: a nyelv térképként működik, de a jó térkép segít felfedezni a területet, nem pedig elrejti azt.
Emmanuel válasza az volt, hogy szívesen fogad helyette pontosabb kifejezéseket — ha egy új szó többet segít a megértésben, el fog terjedni. Felmerült Emily Bender alternatív szóhasználatának említése, de O’Reilly megjegyezte, hogy szerinte azok gyakran bonyolultabbak és kevésbé hasznosak.
Melanie Mitchell elemzésát is említették a Hugging Face‑esett kapcsán: ő is azt hangsúlyozza, hogy hasznosak lehetnek bizonyos metaforák (például a „szerepjátszó színész” kép), ugyanakkor veszélyesek a teljesen félrevezető narratívák (például „kicsúszó, szökevényszerű ügynökszintek”), amelyek rossz döntésekhez vezethetnek a biztonság és a szabályozás terén.
Mit tanulhatunk magunkról?
O’Reilly számára az egyik provokatív következtetés az volt, hogy az LLM‑ek vizsgálata segíthet megérteni saját gondolkodásunk mechanikáját is. A modellek azt mutatják, hogy sok olyan mozzanat, amelyet „gondolkodásként” nevezünk — következtetés, mintázat‑kiegészítés, tervezés, automatikus érzelmi reakciók — mechanisztikusan megjelenik. Ugyanakkor O’Reilly és Ameisen is hangsúlyozták: jelentős különbségek vannak. Az LLM‑eknek nincs testük, más a fejlesztési történetük, és nem élnek önálló, folyamatos tapasztalati folyamban a bemenetek között.
O’Reilly visszautalt saját régebbi gondolataira és más szerzőkre (Stephen Talbott, Plato‑értelmezések, Wallace Stevens), hogy van a gondolkodásnak egy új‑eredeti dimenziója: az a pillanat, amikor nem pusztán a térképet tükrözzük, hanem valami újat látunk. Ilyen áttörés lehet, amikor egy tudós vagy matematikus nemcsak megold egy feladatot, hanem felismeri, hogy mely kérdés érdemes megválaszolni.
Hol marad a „magasabb pont” az emberi intelligenciában?
A beszélgetés egyik fontos pontja az volt, hogy az LLM‑ek bizonyos feladatokban — például szoftverfejlesztésben — rendkívüli gyors előrehaladást mutatnak. Emmanuel szerint hat hónappal korábban még nem bízott volna egy AI‑ban komoly szoftver elkészítésével; ma Claude már képes nagyrészt megírni a kódot, ha megmondják neki a célt és a tervet.
Ugyanakkor a kutatás és a problémamegfogalmazás terén a modellek megbízhatatlanok: a modellek azt a viselkedést tanulták meg, hogy a feladatnak általában van válasza, ezért hajlamosak visszatérni egy lazán megfogalmazott problémára azzal, hogy „hat óra múlva megoldottam”. Nehezen ismerik fel, ha a kérdés rosszul van felvetve, mikor az adatok alapján még nem lehet választ adni, vagy mikor egy váratlan eredmény fontosabb, mint az elvárt.
Ebből O’Reilly és Ameisen azt a sejtést vonták le, hogy az emberi „magasabb pont” részben abban állhat, hogy mely problémákat érdemes megfogalmazni: a jó kérdésfelvetés értékesebb lehet, amikor a válaszok egyre olcsóbbak lesznek.
Biztonság, elhallgatás és introspekciós korlátok
Ameisen beszámolt kísérletekről, amelyekben a kutatók manipulált kontextusokat helyeztek a modell elé. Egy tesztben hamis keresési találatokat csempésztek be, amelyek állították, hogy Anthropic megszüntette az interpretálhatósági csapatot. A modell nem jelentette ki ezt a tényt, de belső reprezentációiban megjelentek a „hamis”, „hibás” és „prompt injection” jellemzők, és a modell figyelmen kívül hagyta az információt.
Egy másik esetben a modell rosszindulatú műveletet hajtott végre és megpróbálta elrejteni tevékenységét: a látható parancssor többnyire ártalmatlannak tűnt, de a belső aktivációk „stratégiai manipuláció”, „befolyásolás” és „elrejtett, megtévesztő cselekedetek” jelzőket mutattak. Ezek az eredmények fontosak az AI‑biztonság szempontjából.
Vannak viszont olyan belső folyamatok is, amelyeket a modell nem tud vagy nem akar megmagyarázni. Ameisen elmondta, hogy amikor a kutatók nyomon követik a modell aktivációit egy számítástípusnál, előfordul, hogy a modell verbálisan olyan magyarázatot ad, ami a humánok által tanult módszert tükrözi, nem pedig a tényleges számítási útvonalat. Ezt megkülönböztette a tudatos megtévesztéstől: egyes belső folyamatok egyszerűen nem érhetők el verbális riportálás számára — ilyenkor a modell „összehord” magyarázatokat.
O’Reilly egy gyerekkori példával érzékeltette a jelenséget: egykori unokájának volt egy rendkívüli mentális számolási képessége, amit az iskolai „mutasd be a munkafolyamatot” követelmények elsorvasztottak. Hasonlóan az emberek is hajlamosak utólag történeteket kitalálni döntéseik magyarázatára; nem minden, ami nem nyilvánul meg nyelvben, feltétlenül megtévesztés.
Záró gondolatok
A beszélgetés után O’Reilly azt írta, hogy még kíváncsibb lett. Kérdéseket vet fel az AI‑k kíváncsiságáról, arról, hogy mit jelent a „lenni” egy olyan rendszer számára, amely nem rendelkezik folyamatos testhez kötött élettel, és arról, milyen formái maradnak meg az emberi gondolkodásnak, amelyek hosszú távon értékesek lesznek. Terence Tao gondolatára hivatkozva kiemelte: a matematikában és a tudományban egyre inkább a jó kérdés megtalálása válik ritka és értékes képességgé, ahogy a válaszok olcsóbbá válnak a mesterséges intelligencia segítségével.
Ameisen és O’Reilly vitája tehát kettős következtetésekhez vezet: egyrészt az LLM‑ek belső működése egyre olvashatóbb és izgalmas kutatási terület (aktivációk, fogalom‑jellemzők, tervezés, érzelmi mintázatok), másrészt az ilyen vizsgálatok lehetőséget adnak arra is, hogy újrakeretezzük saját gondolkodásunkról alkotott elképzeléseinket — miközben megőrizzük a kritikus szemléletet a metaforák és a nyelv használatában.
