A feladványok szerepe és mit árulnak el az AI-ról
A rejtvények és játékok kezdetektől fogva fontos szerepet játszanak a mesterséges intelligencia fejlődésében: ahogy mi emberek próbára tesszük az eszünket keresztrejtvényekkel vagy logikai feladatokkal, a kutatók is ezekkel mérik, mennyit tud a technológia. A „machine learning” kifejezést Arthur Samuel, az IBM számítógép-tudósa terjesztette el 1959-ben egy olyan algoritmussal kapcsolatban, amely megtanult dámajátékot (checkers) játszani; a sakk és a Go hasonlóan hosszú ideje mércék az AI számára.
Az elmúlt években a modellek rejtvénymegoldó képességei jelentősen javultak és gyorsan fejlődnek. Például 2024 végén a Columbia University egy kutatócsoportja megmutatta, hogy a legjobb modellek is csak körülbelül 18%-át tudták megoldani a New York Times Connections nevű, ismert rejtvénysornak; 2025 elejére viszont bizonyos modellek ezeknek a feladványoknak immár közel tökéletesen megfeleltek.
A rejtvények azonban nem csak az előrelépést mutatják: abban is segítenek, hogy lássuk, hol gyengék a modellek és hol erősek. A jelenlegi rendszerek még mindig bakiznak: a klasszikus rejtvények apró módosításai gyakran megtévesztik őket, és különösen rosszul teljesítenek vizuális feladatokban.
Térbeli gondolkodás
Az egyik olyan terület, ahol az embereknek erős előnyük van a számítógépekkel szemben, a térbeli gondolkodás. Az IQ-tesztekhez hasonló mentális forgatást kérő feladatokban a vizuális ábrák különböző nézeteit kell felismerni: ugyanazt az objektumot látjuk-e másik szögből. Bár a mai nyelvi modellek gyakran képesek vizuális bemeneteket is elemezni, ezek a feladatok általában gyakorlatilag megoldhatatlanok számukra. Annak ellenére, hogy sok kutatás hangsúlyozza a „világmodellek” szerepét a fizikai környezet megértésében, a nagy nyelvi modellek (LLM-ek) továbbra sem manipulálnak 3D-objektumokat úgy, mint például építészek vagy gépészmérnökök.
Emlékezés és adaptivitás
A határvonalat súroló LLM-ek rendkívüli mennyiségű információt „memorizáltak” a tanulási fázisuk során, és sok tényt hűen képesek visszaadni. Ez előnyt jelenthet trivialitásokban, de hátrány is lehet: ha egy feladvány nagyon hasonlít ahhoz, amit a modell a képzés során látott, gyakran átsiklik a fontos eltéréseken és a megtanult választ adja. 2024-ben a Google és a University of Illinois Urbana-Champaign kutatói olyan vizsgálatot végeztek, amelyben a modelleket a Knights and Knaves típusú rejtvények enyhe variációival képezték és tesztelték. Ezekben a feladatokban egyes szereplők mindig igazat mondanak (knights), mások mindig hazudnak (knaves), és a feladat kideríteni, ki kicsoda. A kutatásban a modellek gyakran elvéreztek a finom csavarokon, miközben az emberek könnyebben észrevették a trükköt. Hasonló jelenségre utalnak a SimpleBench feladatok is: ezek a kérdések hasonlítanak összetettebb problémákra, amelyeket a modellek valószínűleg láttak a képzés során, és emiatt nem veszik észre a lényegi különbségeket.
Absztrakt és vizuális következtetés
A modellek nem csak a 3D-s vizualitásban hibáznak: a kétdimenziós feladatok is gondot okoznak nekik. Ez részben meghatározza, hogyan teljesítenek a legismertebb rejtvényalapú benchmarkon, az ARC-AGI-n. Ezek a feladatok általános, absztrakt szabályok levonását várják el példák alapján. A kutatások azt mutatják, hogy még amikor a modellek helyes választ adnak is, gyakran bonyolult, nehezen általánosítható belső szabályokat használnak, míg az emberek egyszerű vizuális fogalmakra támaszkodnak. Ennek ellenére a modellek az elmúlt évben sokat javultak az ARC-AGI-n, de bizonyos rejtvények — így a cikkben bemutatott példa — továbbra is megoldhatatlanok számukra.
Intuíció és emberi hibák
Nem csak a modellek esnek csapdába; az embereknek is vannak kognitív torzításaik, amelyeket a modellek nem feltétlenül osztanak. A pszichológusok olyan feladatsorokat terveztetek, amelyek a SimpleBench-jelenség megfordítására épülnek: ezeknél az emberek hajlamosak reflexszerű, elsőre bevillanó válaszokra, míg a modellek gyakran elgondolkodva, számításosan reagálnak. Néhány probléma az intuícióinkban levő matematikai hibákat használja ki; mások félrevezetően vannak megfogalmazva, és csak alapos olvasás után omlanak össze.
Növekvő összetettség
Bizonyos esetekben az LLM-ek képessége egyszerűen a skálán múlik. Egy Apple által végzett vizsgálat szerint a modellek jól megoldják a Tower of Hanoi egyszerűbb verzióit (a lemezek egyesével való átmozgatása úgy, hogy soha ne kerüljön nagyobb lemez kisebbre), illetve az egyszerűbb folyóátkelési feladványokat; azonban amikor a lemezek vagy az emberek száma eléri a hatot vagy annál többet, a teljesítmény érezhetően romlik. Egy másik tanulmány, amelyben a University of Washington, a Stanford University és az Allen Institute for AI kutatói vettek részt, hasonló korlátokat észlelt logikai rácsos feladatoknál (logic grid puzzles), amelyekben a szereplők tulajdonságainak kikövetkeztetése a cél egy sor nyom alapján. Az Apple-cikk nagy visszhangot kapott, de a szakértők vitatták, hogy ez valódi, egyedi korlátot jelez-e az LLM-ek érvelésében, vagy csupán azt, hogy összetettség növekedésével minden rendszer hajlamos hibázni.
Mit tanulhatunk ebből?
A rejtvények különböző típusai — térbeli forgatás, memória- és adaptivitási tesztek, absztrakt vizuális problémák, intuíciót próbára tevő feladatok és skálázhatósági kihívások — mind más-más aspektusát világítják meg annak, hogyan gondolkodnak az emberek és hogyan a modellek. Ezek a gyenge pontok nem csak elméleti érdekességek: segítenek megérteni, hol kell fejleszteni a rendszereket, és milyen bánásmódra számítsunk, ha a modelleket valódi világhelyzetekben akarjuk alkalmazni.
Szerző és jóváírások
A cikk eredeti szerzője Grace Huckins, aki az MIT Technology Review AI-riportere és PhD-vel rendelkezik idegtudományból. A bemutatott feladatok és illusztrációk különböző forrásokból származnak: Spatial reasoning kutatás — Stogiannidis et al. (Mind the Gap, 2025), Knights and Knaves — Dan MacKinnon, SimpleBench — SimpleBench Team (2024), ARC-AGI — ARC Prize Foundation, Lightning round — Hagendorff et al. (2023), The River — Alcuin of York (ca. 800 CE) adaptáció, Logic grid — Lin et al. (ZebraLogic, 2025). Egyes illusztrációk és anyagok CC BY 4.0 vagy egyéb nyílt licenc alá esnek, a részleteket a források határozzák meg.
