Caroline Wang és munkatársai a University of Texas at Austin és a Google kutatói a kő–papír–olló klasszikus játékán keresztül vizsgálták, hogyan különböznek a döntéshozatali minták nagy nyelvi modellek (LLM-ek) és emberek esetén. A vizsgálat célja az volt, hogy kiderüljön, mennyire hasonlítanak egymásra a stratégiák, és hogy az LLM-ek viselkedése mennyiben tükröz konkrét, értelmezhető szabályokat.
Módszer: játékok, adatok, AlphaEvolve
A szerzők 15, különböző összetettségű, előre programozott bot ellen futtatták a vizsgálatot. Egyes LLM-ek — Gemini 2.5 Pro, Gemini 2.5 Flash, GPT‑5.1 és GPT‑OSS 120B — mindegyikével 20 játékot játszottak, játékok alatt pedig 300 egymást követő kör történt. A kutatócsoport rendelkezésre álló korábbi adatokat is felhasznált, amelyek emberek és ugyanazok a botok közötti hasonló mérkőzésekről szóltak.
Az egyes játékosok körönkénti választásait (kő, papír, olló) és az egyes körök eredményét (győzelem, vereség, döntetlen) rögzítették. Ezután az AlphaEvolve nevezetű, „agentikus” módszert alkalmazták: az AlphaEvolve egy evolúciós folyamat révén iteratívan optimalizál Python-kódot, amely a következő lépést próbálja megjósolni.
AlphaEvolve kezdetben egy egyszerű mintakóddal dolgozott, amelyet a szerzők adtak meg. Ismeretlen számú evolúciós lépés során a Gemini 2.5 Flash javasolt módosításokat a prediktív függvény javítására. A módszer egyszerre mérte a kód egyszerűségét (a Halstead effort metrika alapján) és a kód értékelési valószínűségét (hogy mennyire jól jósolta a játékos lépéseit), és ezek egyensúlyát optimalizálta.
A kutatók minden játékosra kiválasztották azt a legegyszerűbb programot, amely közel maximális prediktív pontosságot ért el (kis eltérés a legjobbtól). Minden kiválasztott program a legjobb értékelési valószínűséget produkálta arra a játékosra nézve, akinek viselkedését modellezte — vagyis jobban reprezentálta azt a játékost, mint bármely más játékos viselkedését.
Eredmények: mely modellek hasonlítottak egymásra?
A kiválasztott programok teljesítményét a kutatók olyan játékrészeken is tesztelték, amelyeket az AlphaEvolve nem használt fel a tanítás során. Ezzel összehasonlították, hogy az egyes programok mennyire jól jósolják a többi játékos lépéseit, majd a programok belső logikáját elemezték a stratégiai minták feltárásához.
A legfontosabb megfigyelés az volt, hogy a Gemini 2.5 Pro, Gemini 2.5 Flash és GPT‑5.1 programjai egymás lépéseit majdnem egyformán jól jósolták, amikor botok ellen játszottak. Például a Gemini 2.5 Pro lépéseinek előrejelzésére a Gemini 2.5 Pro‑t, Gemini 2.5 Flash‑t és GPT‑5.1‑et reprezentáló programok értékelési valószínűségei rendre 0.507, 0.507 és 0.506 voltak. Ezzel szemben az embereket és a GPT‑OSS 120B‑t reprezentáló programok kevésbé voltak sikeresek ezen hármas előrejelzésében: ők 0.476, illetve 0.403 értékelési valószínűséget értek el, ami arra utal, hogy eltérő stratégiát követtek.
A kódok elemzése alapján a Gemini 2.5 Pro, Gemini 2.5 Flash és GPT‑5.1 hajlamosabb volt egymásra épülő, többlépéses (szekvenciális) mintákat megtartani, mint az emberek vagy a GPT‑OSS 120B. Ezeket a modelleket leíró programok a játékos korábbi egy vagy két lépésén alapuló gyakoriságokat követték: például azt, hogy egy játékos három egymást követő körben milyen gyakran játszott kő→olló→kő, kő→olló→papír és hasonló sorozatokat. Ezzel szemben az embereket és a GPT‑OSS 120B‑t leíró kódok csak az ellenfél legutóbbi lépésének gyakoriságát követték.
További finom különbség: a Gemini 2.5 Pro, Gemini 2.5 Flash, GPT‑5.1 és az emberi játékosokat modellező programok a lehetséges következő lépés előzetes értékét három tényező alapján számították: (i) a vizsgált lehetséges következő lépés maga, (ii) a bot korábbi lépése, és (iii) a játékos korábbi lépése. Ezzel szemben a GPT‑OSS 120B‑t leíró kód kizárólag a lehetséges következő lépés alapján számított értéket.
Miért fontos ez?
A vizsgálat rávilágít arra, hogy bár az LLM-ek gyakran emberihez hasonló viselkedést mutatnak, a belső stratégiáik eltérhetnek és sokszor strukturáltabb, többlépéses mintákat követhetnek, mint az átlagos emberi játékos. Az olyan módszerek, mint az AlphaEvolve segítségével kinyerhető, értelmezhető kód közvetlen ablakot adhat az LLM-ek döntéshozatali logikájára — ez egy erős eszköz a modellek viselkedésének feltárására, ahol a neurális hálók belső működése gyakran fekete doboznak számít.
A szerzők megfigyelése továbbá azt sugallja, hogy az LLM-ek nem csupán emberi viselkedés másolói a tanulóadatok alapján, hanem képesek rendszerszerű, explicit szabályokba rendezni egyes feladatokat, például játéksztratégiai mintákat. Ez másfajta — strukturáltabb — tanulási formára utal, amely különbözik a tipikus emberi heurisztikáktól.
Következtetések
A tanulmány nem szünteti meg azt a bizonytalanságot, hogy az LLM-ek sok szempontból még mindig fekete dobozok, de bemutat egy gyakorlati megközelítést arra, hogyan lehet a viselkedésből értelmezhető programokat szintetizálni. Az ilyen technikák segíthetnek megérteni, hogy az LLM‑ek milyen szabályokat használnak döntéseikhez, és hogyan különböznek ezek a szabályok az emberi stratégiáktól.
