Georgetown Egyetem és a Washingtoni Egyetem kutatói azt vizsgálták, hogyan befolyásolják a mesterséges intelligencia által készített összefoglalók az emberek emlékezetét. A vizsgálat motivációja, hogy bár sokan támaszkodnak AI-ra videók vagy események rövid összefoglalásához, a modellek nem hibátlanok: hajlamosak hallucinációkra, félreértelmezésre és fontos részletek kihagyására.
Módszer: AI-összefoglalók elemzése és kísérlet animált videókkal
A kutatók először elemezték a ChatGPT és a Gemini által készített összefoglalókat, és megállapították, hogy a modellek gyakran hibáztak — kritikus részletek kimaradtak, információk félreértelmeződtek, illetve pontatlan elemek jelentek meg. A vizsgált összefoglalók átlagosan a fontos részletek körülbelül felét hagyták ki.
A kísérleti részben résztvevőknek rövid animációs videókat mutattak, amelyeken egy piros autó közeledett egy kereszteződéshez, ahol vagy Stop-tábla, vagy Elsőbbségadás-tábla állt; a résztvevők számára véletlenszerűen választották ki, melyik táblát látják. A videón az autó jobbra kanyarodott és elütött egy gyalogost.
24–48 órával a videómegtekintés után a résztvevőknek egy mesterséges intelligencia által készített összefoglalót adtak olvasásra. Egyes összefoglalók pontosak voltak, másokban legalább egy pontatlanság szerepelt. A résztvevőknek azt is közölték, hogy az összefoglalót AI vagy ember készítette, azonban a szövegeket valójában teljes egészében a ChatGPT generálta.
Eredmények: egy hibás állítás nagy hatással van a felidézésre
A kutatók a résztvevőktől megkérdezték, hogy a videón Stop-táblához vagy Elsőbbségadás-táblához állt-e az autó. Azok közül, akik pontos összefoglalót olvastak, 83,6% válaszolt helyesen. Ezzel szemben a félrevezető összefoglalót olvasók közül csak 44,8% adta meg a helyes választ. Egyetlen hibás információ több mint 38 százalékponttal csökkentette a helyes felidézés arányát. A kutatók megjegyezték, hogy az eredményeket nem befolyásolta, hogy a résztvevők azt hitték-e, az összefoglaló írta ember vagy AI.
Következmények és további irányok
A szerzők rámutatnak, hogy a mesterséges intelligencia képes félretájékoztatást előállítani még rosszindulatú szándék nélkül is, és ez jelentősen torzíthatja az emberi emlékezetet. Különösen aggályosnak tartják, hogy olyan területeken is alkalmazhatják ezeket az összefoglaló technológiákat — például rendőrségi videók feldolgozásánál — ahol a pontosság kritikus, és ahol gyakran nincs szigorú tesztelés.
A kutatók a jövőben valós felvételeket kívánnak vizsgálni, például rendőrségi testkamerák anyagait és az ezekből generált jelentéseket, hogy feltárják, miként befolyásolhatják az AI-összefoglalók a rendőrségi és civilek emlékezetét, illetve az incidensekről alkotott felfogást. „Azt hiszem, nagyon mélyen és kritikusan kellene gondolkodnunk azon, hogy vajon a mesterséges intelligenciát hogyan kellene használni az információk összefoglalására, különösen a nagy téttel bíró helyzetekben” — mondta Mattea Sim, a tanulmány vezető kutatója.
A tanulmány jelenleg arXiv-preprintként érhető el, és a szerzők további kutatásokat javasolnak a valós alkalmazások kockázatainak feltérképezésére.
