2023 áprilisában Steven Schwartz new yorki ügyvéd úgy döntött, hogy a védőbeszédét a ChatGPT nevű generatív mesterséges intelligenciával íratja meg egy, az Avianca nevű kolumbiai légitársaság ellen indított perhez. Schwartz megadott némi háttérinformációt a rendszernek, majd a gép által összeállított, kétoldalas jogi érvelést átadta és korrektúra nélkül elküldte a bírónak. A bíró visszajelzése hamar megérkezett: bár a szöveg meggyőző volt, az általa hivatkozott jogi precedensek egyike sem létezett a valóságban.
Az eset súlyos következményekkel járt: Steven Schwartz New Yorkban nevetségessé vált, és végül otthagyta praxisát.
Miért „kamuzik” a generatív AI?
A jelenség magyarázata a generatív, statisztikai alapú AI működésében rejlik. Az ilyen rendszereket arra hangolják, hogy valószínű válaszokat adjanak a bemenetekre: nem azt ígérik, hogy az általuk generált információ igaz lesz, hanem hogy a leginkább valószínűnek tűnő választ állítják elő a tanulási adatokból levont minták alapján.
A valószínűség azonban nem egyenlő az igazsággal. Ennek megfelelően a rendszerek képesek olyan kimenetekre, amelyek teljesen fiktívek, de nyelvi és formális jegyeikben hitelesnek tűnnek — éppen ezért megtévesztők.
Két típusú „hallucináció”
A generatív AI-k által előállított hibákat két kategóriába érdemes sorolni:
- Teljesen hamis válaszok: egyértelműen téves információk, amelyek könnyen felismerhetők (például ha Franciaország fővárosára Koppenhágát adja meg a rendszer).
- „Hitelesnek tűnő” hamisítások: olyan állítások, amelyek részletekben gazdagok és formailag helyesek, ezért könnyen elhitetik a felhasználóval, hogy igazak. A jogi példában a generált ügyiratszámok és bírói nevek valóban hitelesnek tűntek, mégis fiktívek voltak.
A második típus különösen veszélyes, mert a felhasználók védtelenekké válhatnak — leginkább akkor, ha nem ellenőrzik a pontos tényeket.
Gyakorlati tapasztalatok: mi történik a „szakértői” kérdésekben?
Sokan, köztük újságírók és kutatók is, játszanak az AI-rendszerekkel azzal, hogy kérdéseket tesznek fel számukra saját szakterületükön. Az ismertetett tapasztalatok szerint a generált szövegek gyakran tartalmaznak részben helyes, részben téves információkat: például a születési dátum helyes lehet, de a diplomázás ideje vagy a munkatapasztalatok hamis részletekkel keveredhetnek.
Egy konkrét példa: a cikk szerzőjének egy tesztben az AI azt állította, hogy ő az Aix-en-Provence-i Egyetem professzora és egy ismeretlen nevű francia startup vezérigazgatója — állítások, amelyek valótlanok voltak.
Miért nem „igazság-keresők” az AI-k?
A generatív rendszerek nem ellenőrzik az információ forrását úgy, ahogy egy tényellenőrző ember vagy kutató tenné. A válasz előállításakor a rendszer a tanulási adatokban megtalálható minták átlagát számítja ki; ha ugyanazt a kérdést többször tesszük fel, a rendszer különböző, soha pontosan meg nem ismétlődő válaszokat ad, mert az „átlagolás” minden iterációnál újraszámolódik.
Így a generatív AI működése visszakapcsol a kérdéshez, hogy mit jelent az intelligencia: ha ezek a rendszerek valóban „intelligensek” volnának, a példa szerint inkább ellenőrzött forrásokra, például megbízható enciklopédiákra támaszkodnának a válaszaikban.
Forrás és kontextus
A fenti szöveg részben Luc Julia AI-kutató Robot, nem pilóta című könyvének szerkesztett részleteire épül, a HVG Könyvek kiadásában. A Steven Schwartz-ügy és az ebből levont tanulságok jól szemléltetik a generatív AI-k alapvető korlátait: a nyelvi koherencia nem garantálja a tényszerű helyességet, ezért az emberi ellenőrzés továbbra is elengedhetetlen, különösen jogi, orvosi és hasonló kockázatos területeken.
