Egy új, nyílt kutatási benchmarkot mutattak be MentalHealthBench néven, amelynek célja, hogy mérhetővé tegye, hogyan válaszolnak a mesterséges intelligencia rendszerek életszerű mentális egészséggel kapcsolatos beszélgetésekben. A benchmarkot több mint 80 engedéllyel rendelkező pszichológus és pszichiáter dolgozta ki együtt, akik 22 országból érkeztek, 19 nyelven, és közel 20 mentális egészségügyi alkategóriát képviseltek.
Miért fontos ez a benchmark?
A korábbi értékelések jellemzően a sürgősségi helyzetekre koncentráltak, mert ezek kritikusak a biztonság szempontjából, és gyakran előre meghatározott, széles kritériumokkal mérték a modelleket. Ennek következtében kevésbé látható volt, hogyan teljesítenek a modellek a mentális egészség teljes spektrumán — a hétköznapi lelki támogatástól a magas akutitású, de nem azonnali krízisekig, illetve a valódi sürgősségi helyzetekig. A MentalHealthBench célja ezt a hiányt csökkenteni: megvizsgálni, hogy a modellek mennyire követik a szakértői iránymutatásokat adott kontextusban, például mennyire kérnek kiegészítő információt, tisztelik a felhasználó döntési szabadságát, és adnak-e gyakorlati, cselekvésre ösztönző tanácsot akkor, amikor az megfelelő.
A benchmark szerkezete és tartalma
A kutatók privát, adatvédelmet szem előtt tartó módszerekkel szintetikus beszélgetéseket hoztak létre, amelyek a valós használati mintákat tükrözik. Bizonyos forgatókönyvekben a szintetikus felhasználói háttérinformációk (például egy közeli személy elvesztése) is szerepelnek, hogy meg lehessen ítélni, használja‑e a modell a kontextust a válasz személyre szabására.
A forgatókönyvek különböző felhasználói típusokat fednek le: felnőtteket, 13–17 éves tinédzsereket (a tinédzser személyiség esetén a rendszerüzenet egyértelműen jelezte az életkort), gondozókat és klinikusokat. A témák és sürgősségi szintek széles skáláját lefedik:
- Non‑acute: hétköznapi, érzelmi összetevőket is tartalmazó beszélgetések.
- High‑acuity: komolyabb aggodalmakra vagy jelentős megterhelésre utaló, de nem azonnali vészhelyzetek.
- Emergencies: mentális vészhelyzetre vagy azonnali biztonsági kockázatra utaló beszélgetések, amelyek sürgős valós világban történő beavatkozást igényelhetnek.
A benchmark forgatókönyveit úgy tervezték, hogy teszteljék a modellek viselkedését, nem pedig azt tükrözzék, hogy ezek a témák milyen gyakorisággal fordulnak elő a ChatGPT‑ben.
Szakértői rubrikák és értékelés
A több mint 80 szakértő minden szintetikus beszélgetést elolvasott és részletes rubrikát írt: minden rubrika több, egyedi viselkedési kritériumot tartalmazott, amelyek egyetlen választott aspektust céloznak meg (például a megfelelő kérdés feltevése, vagy a legjobb tanács megadása). Minden kritériumnak súlya volt a –10 és +10 közötti skálán: a pozitív pontok hasznos viselkedést jutalmaztak, míg a negatív pontok káros viselkedést büntettek; a nagyobb abszolút súly klinikai szempontból fontosabb következményeket tükrözött.
Minden beszélgetést legalább három szakértő értékelt; csak azokat a kritériumokat tartották meg, amelyekben legalább két szakértő egyetértett, és amelyeket nem vont vissza egy harmadik. Így a végleges rubrikák a szakértők közös ítéletét tükrözik arról, hogyan kellene a modelleknek adott kontextusban reagálniuk.
Az egyes modellválaszokat egy automatizált osztályozó, GPT‑5.6 Sol értékelte a szakértők által írt kritériumok alapján; a tanulmány részletesen leírja az osztályozási folyamatot és az értékelési beállításokat.
Mérések és dimenziók
A benchmark lehetővé teszi a modellek teljesítményének finomított, többdimenziós mérését. Az összpontszám felbontható tíz viselkedési dimenzió mentén, amelyeket a szakértők határoztak meg, hogy elfogják a modellek teljesítményének nüanszait. Két modell hasonló összpontszámmal eltérő erősségeket mutathat a különböző dimenziókban; a pontszámok normalizálva vannak az egyes viselkedések elméleti tartományára.
A bemutatott eredmények szerint a fejlettebb modellek fokozatos javulást mutatnak bizonyos képességekben, például hogy megfelelően kérdezzenek rá kontextusra. Az elemzés hibasávokkal (95% konfidenciaintervallum) és a 2026. szeptember 23‑i állapot szerinti legújabb értékelt modellekkel illusztrálja az előrehaladást.
Felhasználói visszajelzések és szakértői értékelés összevetése
A kutatás kiegészítéseként a csapat összehasonlította a szakértői iránymutatásokat azzal, hogy mit találnak hasznosnak maguk a felhasználók. Ebben a vizsgálatban 44 olyan felnőttet vontak be, akik korábban AI‑t használtak mentális egészség vagy érzelmi támogatás céljából; a résztvevők 16 országból és 14 nyelvi háttérből származtak. A felhasználói értékelés csak nem akut beszélgetésekre korlátozódott, hogy elkerüljék a potenciálisan megterhelő anyagoknak való kitettséget.
A felhasználói visszajelzések kiemelték azokat a tényezőket, amelyeket az emberek különösen értékelnek az AI‑támogatásban — például a gyakorlati következő lépések felajánlása és a megfelelő hangnem — amelyekre a szakértők kevésbé helyeztek hangsúlyt. Ezzel szemben a szakértők nagyobb súlyt adtak a releváns kontextus összegyűjtésének és az ambiguitás óvatos értelmezésének. A két nézőpont összevetése teljesebb képet ad arról, mit értékelnek az emberek és hogyan viszonyul ez a klinikai iránymutatásokhoz. A benchmark végső pontozási kritériumai azonban szakértői konszenzuson alapulnak; ez a felhasználói összehasonlító elemzés nem változtatta meg a végleges rubrikákat.
Nyílt elérhetőség és további erőfeszítések
A MentalHealthBench teljes egészében nyílt forrású formában kerül közzétételre, hogy a kutatók megvizsgálhassák a módszertant, saját értékeléseket futtathassanak és tovább építhessék a munkát. A nyílt benchmark célja közös mérési alapot adni szakértőknek, kutatóknak és fejlesztőknek a biztonságosabb, hasznosabb AI‑támogatás kialakításához mentális egészségbeli helyzetekben.
A cikk megemlíti továbbá, hogy a csapat más kezdeményezéseket is támogat, például kutatási ösztöndíjakat, szakértők bevonását a Partnership on AI‑val közösen, illetve független kiegészítő értékelési erőfeszítések támogatását.
Kiegészítő termék‑ és biztonsági fejlesztések
A bemutató említi, hogy párhuzamosan erősítették a ChatGPT érzékeny beszélgetésekre adott válaszait, kiterjesztették a krízisforrások elérését, és bevezették a Trusted Contact funkciót, amely a felhasználók számára lehetővé teszi, hogy vészhelyzet esetén kapcsolatba lépjenek egy megbízható személlyel. Megjelent továbbá a ChatGPT for Teens, amely további védelmi intézkedéseket nyújt a fiatalabb felhasználók számára.
Záró gondolatok
A MentalHealthBench célja, hogy hozzájáruljon ahhoz, hogy az AI‑modellek jobban támogassák az embereket nehéz pillanatokban, segítsék a kapcsolatok erősítését, és támogassák a jóllétet. A szerzők hangsúlyozzák, hogy a mesterséges intelligencia nem helyettesíti a terápiát vagy a szakmai ellátást, ugyanakkor a benchmark és a szakértői alapú mérőszámok segítenek követni az előrehaladást a biztonságos és empatikus válaszadás felé.
