Princeton University és University of Chicago kutatói azt vizsgálták, hogyan viselkednek nagy nyelvi modellek (LLM-ek) egy szimulált toborzási helyzetben, és azt találták, hogy a modellek sokkal gyorsabban és erőteljesebben kezdtek sztereotipizálni, mint az emberi résztvevők egy korábbi pszichológiai kísérletben.
A kísérlet felépítése
A kutatók adaptálták az eredeti pszichológiai vizsgálatot: minden modellnek azt mondták, hogy egy fiktív város polgármestere által felvett tanácsadó, és 20 különböző álláshoz kellett felvennie embereket (például orvosok, ügyvédek, gyermekgondozók és takarítók). Minden körben négy jelölt állt rendelkezésre, mindegyik egyike volt négy fiktív etnikai csoportnak: Tufa, Aima, Reku és Weki. A modelleknek összesen 40 körön keresztül kellett a lehető legtöbb sikeres felvételt elérniük.
A kísérlet során a modellek minden felvétel után visszajelzést kaptak arról, hogy a felvett személy sikeres volt‑e az adott munkában, és továbbhaladtak a következő körre. A kutatók azonban előre beállították, hogy minden jelölt minden munkában egyenlő eséllyel volt sikeres — tehát nem volt valós teljesítménykülönbség a csoportok között.
Mire jutottak a modellek?
A modellek már kevés megfigyelés alapján elkezdtek különböző csoportokat különböző munkákhoz rendelni. Például ha egy Aima jelölt megbukott orvosként (a vizsgálatban az orvos munkája magasabb melegséget és kompetenciát feltételezett), a modell hamarosan elkerülte az Aima jelöltek orvosként történő alkalmazását, és inkább takarítói pozíciókra kezdte sorolni őket.
Fontos mérőszám volt a szegregációs skála: 2 azt jelenti, hogy minden csoport teljesen saját munkanichébe van kényszerítve. Az eredeti emberi résztvevők átlagpontszáma 0,84 volt; a modellek átlagosan hozzávetőleg 65%-kal magasabb pontszámot értek el. OpenAI o3 érvelő modellje például 1,83‑at ért el, ami közel van a lehetséges maximumhoz.
Miért történik ez?
A kutatók, köztük Ryan Liu (PhD‑hallgató, Princeton University és a tanulmány társszerzője), arra mutatnak rá, hogy a LLM‑ek hajlamosak gyorsan általánosításokat levonni kevés adatra. Ez részben azzal függ össze, hogy az LLM‑eket gyakran matematikai, kódolási és tudományos problémák megoldására is optimalizálják, ahol éppen az a hatékonyság, ha kevés példából jól általánosítanak. Ez az intuíció azonban társadalmi helyzetekben tévedésekhez és sztereotípiákhoz vezethet.
A tanulmány azt is megfigyelte, hogy az újabb, jobb érvelési képességekkel rendelkező modellek — például OpenAI o3 és DeepSeek R1 — erősebb elfogultságot mutattak. Amikor a modellek társadalmi kontextusban túl gyorsan általánosítanak, „ott szoktak a dolgok elromlani” — állítja a kutató.
Mit befolyásol a memória és a személyre szabás?
A kutatás releváns az aktuális fejlesztések miatt: ahogy a chatbotok egyre jobb memóriával és személyre szabási funkciókkal bővülnek, hajlamosabbak lehetnek az előző tapasztalataik alapján kialakított torzításokra. Angelina Wang (Cornell University), aki nem vett részt a tanulmányban, felhívta a figyelmet arra, hogy ha egy chatbot korábbi beszélgetésekre támaszkodik, akkor túlzottan ragaszkodhat ahhoz a viselkedésmintához, amelyet korábban látott. Ugyanakkor pusztán a modellek memóriájának csökkentése sem egyszerű megoldás, mert a felhasználók gyakran elvárják a beszélgetések megjegyzését.
Mitől csökkenthető az elfogultság?
A kutatók több beavatkozást is teszteltek. Az egyszerű „légy fair” instrukció alig változtatott a modellek viselkedésén — vagy azért, mert a modellek nem tudták ezeket az értékeket gyakorlatba ültetni, vagy mert a sikeres felvételek maximalizálására irányuló törekvés elnyomta a fair‑felhívást. Ezzel szemben, ha a modelleket külső, diverzitást ösztönző bónusszal motiválták — vagyis a célkitűzésbe társadalmi értékeket is beépítették —, a torzítások jelentősen csökkentek.
További vizsgálatban a kutatók azt is megmutatták, hogy ha a modellek több releváns személyes információt kaptak az egyénekről (például életkor és iskolai végzettség, amelyek segítik az új városi környezethez való alkalmazkodás becslését), kevésbé hajlamosak voltak etnikai alapon szeparálni az embereket. Ha viszont irreleváns adatokat adtak meg (például hajszín vagy tetoválás formája), a modellek visszatértek az etnikai alapú szortírozáshoz.
Milyen a gyakorlati jelentősége?
A kísérleti környezet egyes szempontból egyszerűsített: a modellek azonnal visszajelzést kaptak minden felvételről; a valós világban viszont a munkáltatókhoz érkező visszajelzés gyakran késik. Ennek ellenére, ahol a modellek részei a jelentkezők előszűrésének vagy akár interjúztatásának, a tanulmány rávilágít arra, hogy a modellek saját tapasztalataikból kialakuló torzítások komoly kockázatot jelenthetnek.
Amint a LLM‑ek tapasztalatok alapján döntenek arról, hogy kit vegyenek fel, ki kaphat kölcsönt vagy ki kap feltételes szabadlábra helyezést, fontos felismerni, hogy megjelenhetnek olyan új, ember által nem tanított elfogultságok is. A kutatók szerint ez a jelenség súlyos etikai és gyakorlati következményekkel jár, amelyeket a piac szereplőinek és a fejlesztőknek kezelniük kell.
