Egy több intézmény — Microsoft Research, University of California, Berkeley, University of California, San Francisco és Columbia University — által kidolgozott módszer, a generatív kauzális tesztelés (GCT) azt ígéri, hogy a nyelvi nagy nyelvi modellek (LLM-ek) nyers, „feketedoboz” jóslatait átfordítja rövid, emberileg olvasható magyarázatokká, majd kísérletileg ellenőrzi azokat.
Mi a probléma?
Az elmúlt években az LLM-ek váltak a legpontosabb eszközökké arra, hogy megjósolják, hogyan reagál az emberi agy a nyelvre: ha egy személy egy történetet hallgat az fMRI-ben, és ugyanazt a történetet betápláljuk egy LLM-be, a modell belső reprezentációi gyakran pontosan előre jelezhetik egy-egy kéregfolt aktivitását. Ugyanakkor ezek a modellek milliónyi, olvashatatlan paraméterből állnak, így a jóslatokat nem lehet közvetlenül tudományos elméletekké fordítani: egy jó prediktív modell megmutatja, hogy egy régió reagál a nyelvre, de nem azt, hogy pontosan mire (például ételekre, helyekre vagy számokra).
A GCT lépései
GCT kétlépcsős: magyarázat és verifikáció.
-
Magyarázat: egy agyi voxel vagy régió prediktív modelljéből kiválasztják azokat a rövid kifejezéseket, amelyek legerősebben vezetik a modell előrejelzését. Egy LLM ezeket a kulcsszavakat összegzi egy tömör, nyelvi magyarázatba — gyakran egy rövid kifejezésbe, mint például „food preparation” (ételkészítés) vagy „location names” (helynevek).
-
Verifikáció: az LLM ezek alapján új, mesterséges történeteket ír, amelyek minden bekezdése célzottan az adott magyarázat szerint próbálja aktiválni a vizsgált agyi területet. Három alany visszatért a szkennerbe, és ezeket a szintetikus történeteket hallgatta meg. Ha a célzott régió aktivitása a „vezérlő” bekezdésekre szignifikánsan nagyobb, mint a baseline szövegre, akkor az elmélet átesik egy valódi kauzális vizsgálaton.
Mire jutottak a kísérletek?
A három vizsgált alany esetében a GCT által létrehozott szintetikus történetek megbízhatóan nagyobb aktivitást váltottak ki a célzott régiókban, mint a baseline, ami arra utal, hogy a GCT rövid magyarázatai ténylegesen leképeznek olyan tartalmi jellemzőket, amelyekre a kéreg reagál. Emellett érvényesült az is, hogy ahol a kiinduló prediktív modellek stabilabbak voltak, ott a magyarázatok is konzisztensen hitelesíthetők voltak a szkenneres teszteken.
A módszer megerősítette már ismert szelektivitásokat — például a „Locations” magyarázat erős választ adott a helyfeldolgozó területeken, a retrosplenialis kéregben (RSC), a parahippocampalis helyterületen (PPA) és az occipitalis helyterületen (OPA). Ugyanakkor GCT képes volt árnyalni a képet: a három, helyfeldolgozásban szerepet játszó, egymás közelében lévő régiót korábban gyakran funkcionálisan rokonként kezelték, de a differenciáló sztorik segítségével szétválaszthatóvá váltak. Például az RSC erősebben reagált saját tulajdonnevekből álló helynevekre (például „Tokyo” vagy „Connecticut”), mint általános helymegnevezésekre.
A GCT új, kicsiny prefrontális „mikro-régiókat” is feltárt: egyes stabil helyek rendkívül specifikus fogalmi preferenciákat mutattak — például egy régiót, amely a párbeszédeket (szavak, mint „said” vagy „told”) kedveli, egyet, amely az óraidő említéseire („one o’clock”) reagál, és egyet, amely numerikus mérésekre („50 feet”) szelektív volt. Ezek olyan finom különbségek, amelyekre korábban nem irányult a vizsgálat; a GCT módszertana tette lehetővé, hogy először hipotézist fogalmazzon meg, majd azonnal ellenőrizze azt.
Miért fontos ez?
A GCT eredményei túlmutatnak a nyelv-neurotudományon: azt szemléltetik, hogy egy erősen adatalapú, jó prediktív teljesítményt nyújtó, de olvashatatlan modelltól el lehet jutni emberi olvashatóságú, tesztelhető elméletekig. Különösen az agykutatásban ez gyorsabb, hipotézisgazdagabb térképezési stratégiát tesz lehetővé: egy AI-rendszer javasolhatja, mit kódolhat egy régió, és egy zárt ciklusú kísérlet egy tanulmányon belül megerősítheti vagy elvetheti azt.
Elismerések
A munka a Microsoft Research, UC Berkeley (Alex Huth, Bin Yu, Sihang Guo és Aliyah Hsu), Columbia University (RJ Antonello, co-lead) és UCSF (Shailee Jain) együttműködése volt. A szerzők megköszönik a résztvevőknek és a nyelv–neurotudomány közösségnek a hasznos eszközöket és adatokat. A tanulmány „Generative causal testing to bridge data-driven models and scientific theories in language neuroscience” címmel elfogadott a Nature Neuroscience folyóiratban, és a kapcsolódó kód elérhető a Githubon.
Kapcsolódó rövid leírás (angol címmel az eredeti publikációra utalva)
A tanulmány bemutat egy gyakorlati pipeline-ot, amellyel a feketedoboz-prediktív modellekből származó információkat rövid, kísérletileg ellenőrizhető állításokká lehet alakítani, és ezzel újszerű belátásokat nyerni az agykéreg nyelvi feldolgozásáról.
