Bocconi University kutatói, az OpenAI Economic Research együttműködésével, több mint 1 000 elsőéves alapképzős hallgató bevonásával végeztek véletlenszerűsített kísérletet. A vizsgálat valós‑világ feladaton alapult: a hallgatók a egyetemi merchandise‑bolt marketingjéhez készítettek javaslatokat.
A résztvevőket osztályidőszakonként sorsolták négy csoport valamelyikébe: (1) csak ChatGPT‑hoz (GPT‑4o) való hozzáférést kaptak, (2) csak kauzális gondolkodásra vonatkozó, AI‑tól független kritikai gondolkodási gyakorlatot, (3) mindkettőt, vagy (4) sem az egyiket, sem a másikat. A kauzális gondolkodásra szóló tréning nem az AI használatáról szólt: játékon, példákon, kérdéseken és visszajelzésen keresztül tanította az okozat‑okozat kapcsolat megértését.
Értékelés és mérőszámok
A leadott munkákat képzett emberi javítók pontozták egy ötfokozatú rubrika alapján. Emellett a kutatók automata szövegelemzést alkalmaztak: mérték az ötletek számát és sokféleségét, a kauzális gondolkodás jeleit, valamint a beadott javaslatok hasonlóságát három szakértő ajánlásaihoz.
Fő eredmények
-
ChatGPT‑hozzáférés: azok a hallgatók, akik használhatták a GPT‑4o‑t, közel egy teljes ponttal magasabb átlagot értek el az ötfokozatú rubrikán. Válaszaik több ötletet tartalmaztak, logikájuk világosabb volt, és tartalmuk jobban hasonlított a szakértői ajánlásokhoz. A kutatók hangsúlyozzák, hogy a hallgatók nem egyszerűen átruházták a feladatot az AI‑ra: nekik kellett eldönteniük, mit kérdeznek, értékelni a válaszokat és kiválogatni, mi kerül a végső benyújtásba.
-
Kauzális gondolkodási gyakorlat: a tréningen részt vevők világosabban megindokolták, miért működhetnek vagy miért bukhatnak meg egyes ötletek — tehát több kauzális magyarázatot és kérdésfeltevést mutattak. Ez a csoport azonban nem ért el magasabb pontszámot a hagyományos rubrikán, amely két szabványos marketingcél (a bolt ismertségének és használatának növelése) teljesülését mérte.
-
Ötletek sokfélesége: automatikus szövegelemzés szerint a kauzális gyakorlatot végző hallgatók általában több és az egymástól eltérőbb ötletet állítottak elő, mint a kontrollcsoport. Ez a hatás olyan dimenziókat mutatott, amelyeket a rubrika nem fogott fel: a jól strukturált válaszok mellett a rubricák hajlamosak figyelmen kívül hagyni, ha valaki valóban egyedülálló ötlettel áll elő.
-
Kombinált hatás: a hallgatók, akik mindkét beavatkozást megkapták, mutatták a legrészletesebb javulást: ötletváltozatosságuk hasonló volt azokéhoz, akik csak a kauzális gyakorlatot kapták; pontszámaik és ötletszámaik hasonlítottak a csak ChatGPT‑hozzáféréssel rendelkező csoportéhoz; emellett munkájuk logikai koherenciája és a magyarázatok nyoma is erősebb volt. Összességében ez a csoport mutatta a legtöbbféle mérőszámon elért javulást.
Módszertani előny és oktatási következmények
A kísérlet véletlenszerűsített kialakítása lehetővé tette a kutatóknak, hogy különválassák a ChatGPT hozzáférésének, a kauzális tréningnek és ezek kombinációjának hatását. Ez hasznos kiegészítése a növekvő kutatásnak az AI oktatásra gyakorolt hatásáról és arról, hogyan érdemes a tanulást támogatni.
A vizsgálat rámutat egy általános kihívásra: ha az AI segít a hallgatóknak szakember‑szerű, csiszolt válaszokat előállítani, akkor a puszta végeredő alapján történő értékelés kevesebbet mond el a tényleges megértésről. Ennek megfelelően sok oktató már fontolgatja, hogy a feladatok és értékelési módszerek változtatására van szükség annak érdekében, hogy a kreativitást, eredetiséget és okfejtést is mérjék — nem csupán a konvencionális, jól strukturált válaszokat.
Következtetés
A kísérlet egyértelműen azt mutatja: az AI‑hoz való hozzáférés és a kritikai, kauzális gondolkodás fejlesztése nem egymást kizáró lehetőségek, hanem kiegészítik egymást. A GPT‑4o javította a munkák minőségét, koherenciáját és szakértőihez való hasonlóságát; a kauzális tréning szélesebb, eredetibb ötletkört és jobb magyarázatokat eredményezett. A két megközelítés kombinációja a legtöbb mérőszámon javulást hozott, ami arra utal, hogy az oktatásban egyszerre érdemes megtanítani az AI‑eszközök használatát és a mélyebb, ok‑kérdéseket feltevő gondolkodást.
