Az MIT Media Lab négyhetes kísérletében 67 résztvevőnek mutattak hírfejlécekhez és képekhez kapcsolódó párokat, és arra kérték őket, hogy döntsenek el, melyik hamis. A vizsgálat célja az volt, hogy megmérjék: hogyan változik a hamis információk felismerése, ha a résztvevőknek chatbot segít.
A kísérlet során, amikor a résztvevők az AI-asszisztenssel dolgoztak, a hamis tartalmak kiszűrésében 21 százalékkal jobb teljesítményt értek el. Ez azt mutatja, hogy a chatbotos segítség hatékonyan csökkentheti a hamis állításoknak való bedőlés esélyét az adott munkamenet idején.
Az AI eltávolítása után bekövetkező visszaesés
A kutatók azonban meglepő eredményt találtak, amikor a heti munkamenetek után a résztvevők már nem kaptak chatbot-támogatást: a negyedik hétre az egyéni, asszisztens nélküli pontosság átlagosan 15 százalékponttal alacsonyabb volt, mint az egyes személyek kiinduló szintje. Érdekesség, hogy a vizsgálatban résztvevők körülbelül negyede azt jelentette, hogy élesebbnek, magabiztosabbnak érezte magát, miközben tényleges teljesítménye romlott.
"Coach" kontra "crutch": hogyan alakítja a chatbot a képességeket
A kutatók az eredményeket a "coach" (edző) és "crutch" (mankó) ellentétén keresztül értelmezik. Szerintük a szokratikus, kérdésvezérelt AI megkérdőjelezésre ösztönözve fejleszti az ellenőrzési készséget, míg az „elsőként válaszoló” megközelítés inkább függőséget alakít ki: a felhasználók megtanulnak a chatbotra támaszkodni a gyors válaszokért, ahelyett hogy saját ítélőképességüket gyakorolnák.
Kontextus: a tényellenőrzés és a hírhelyzetek
A tanulmány rámutat arra is, hogy a chatbotok legmeggyőzőbb állítása gyakran éppen a dezinformáció elleni védekezés. Korábbi kutatások, például az MIT Sloan munkái, kimutatták, hogy bizonyos chatbotalapú beavatkozások csökkenthetik a hamis állításoknak való hittetést. Ugyanakkor az MIT Media Lab eredménye bonyolultabb képet fest: a rövid távú pontosságnövekedés és a hosszabb távú döntésgyengülés ugyanannak a használati mintának két oldala lehet.
A kutatók megjegyzik, hogy a függőség különösen feltűnő lehet olyan gyorsan változó, magas feszültségű hírszituációkban, amikor a modellek amúgy is nagyobb hibaszázalékot mutatnak – például erősen politizált eseményeknél vagy félelmetes hírek, mint egy merényletkísérlet és nemzetközi konfliktusok körül zajló jelentések idején.
Mit jelent ez a közönség és a szabályozás számára?
Az eredmények pragmatikus kérdést vetnek fel: megéri-e a mai nap pontosabb felismeréséért cserébe, ha hosszabb távon csorbul a fogyasztók saját ítélőképessége? A kutatás arra ösztönöz, hogy megfontoltan alakítsuk ki az AI-alapú hírvédelmi eszközök tervezését: előnyösebb lehet olyan asszisztencia, amely oktat és kérdez, ahelyett hogy kizárólag kész válaszokat adna.
A vizsgálat számadatai — 67 résztvevő, 21 százalékos javulás asszisztált környezetben, és 15 százalékpontos romlás az asszisztencia eltávolítása után — világos mérőszámokkal illusztrálják a trade-off jellegét. A kutatók szerint döntés előtt érdemes mérlegelni, hogy milyen mértékben kívánjuk kiszervezni azt a mentális képességet, amely felismeri, ha valami "nem stimmel" egy hírrel kapcsolatban.
