Augusztus 25., 2026 — Egy szervezet ötmillió dolláros pályázati programot indít, amely független kutatások támogatására szolgál annak felmérésére, hogyan hatnak a mesterséges intelligencia rendszerek a felhasználók jólétére. A program közvetlen pénzügyi támogatást nyújt, hozzáférést biztosít a szervezet modelljeihez, valamint technikai segítséget ad a nyerteseknek; a támogatott projektek nyílt forráskódú értékelések formájában készülnek, és független kutatócsoportok publikálják őket.
Miért fontos ez?
A mesterséges intelligencia rendszerek mára sok ember munkájának, tanulásának és problémamegoldásának központi részévé váltak. Emellett beszélgetőpartnerként is szolgálnak, és egyes helyzetekben érzelmi támaszt nyújthatnak. Ugyanakkor iparági szinten még hiányoznak az egyértelmű normák arra vonatkozóan, hogyan kell viselkedniük ezeknek a modelleknek olyan beszélgetésekben, amikor például a felhasználó társas kapcsolatra vágyik, vagy pszichés válságon megy keresztül.
A jólét értékelése különösen nehéz: míg sok modelleltérést egyetlen válasz alapján lehet minősíteni (helyes/hibás, megfelelő/inappropriate), a jólét szempontjából gyakran több környezeti információ és kontextus szükséges. Egy krízisben lévő felhasználó például nem mindig osztja meg az azonnali önártalmi gondolatokat; a veszély mértéke csak egy többmenetes beszélgetés során válhat egyértelművé. Egy adott válasz egy kontextusban helyénvaló lehet, egy másikban viszont ártalmas — példaként említették, hogy egy modell általános tanácsot adhat fogyókúrához vagy edzéshez, ami egy evészavarokkal küzdő felhasználónál káros lehet.
A szervezet a Safeguards (védelmi) csapatának munkájára támaszkodva dolgozik olyan védőintézkedéseken, amelyek képesek azonosítani kockázatos beszélgetéseket és biztosítani, hogy a modell megfelelően reagáljon. Emellett publikálnak kutatásokat a felhasználókkal folytatott beszélgetések típusairól, hogy jobb alapot adjanak ezeknek az intézkedéseknek és értékeléseknek. Ugyanakkor hangsúlyozzák, hogy ezek a megközelítések finomhangolást igényelnek, és a helyes irány folyamatosan alakul a modellek és felhasználási módjaik fejlődésével.
Mit keres a pályázat?
A program célja független értékelések és benchmarkok létrehozásának támogatása a felhasználói jólét mérésére, különös tekintettel arra, hogy a kutatás nyílt forráskódú legyen, és más fejlesztők is felhasználhassák. A támogatásban részesülő projektek teljesen függetlenül dolgoznak és nyilvánosan publikálnak.
A Safeguards csapat iránymutatásai alapján a szervezet olyan értékeléseket keres, amelyek a következő jellemzőkkel bírnak:
- Egyértelműen megfogalmazzák, mit mérnek (mit tekintenek sikernek vagy kudarcnak és miért számít ez);
- Klinikai és szakterületi szakértőket vonnak be a tervezésbe és érvényesítésbe;
- Egyaránt tesztelik az óvintézkedések hatékonyságát és a lehetséges károkat (például a túlzott együttműködés és a túlzott visszautasítás kockázatait);
- A valós felhasználói viselkedést tükrözik, ami gyakran többmenetes beszélgetéseket jelent, ahol a kockázat fokozódhat és a kontextus változhat;
- Az értékelők (graderek) validálhatók valódi szakterületi szakértők ellen.
Jelentkezés és határidők
A pályázati formanyomtatvány és további részletek elérhetők a szervezet jelentkezési felületén. A pályázatok beadási határideje 2026. szeptember 21.; azokat, akiket kiválasztanak teljes javaslat benyújtására, 2026. október 5-ig értesítik.
A kezdeményezés célja, hogy többféle szakértelmet — például klinikusokat, pszichológusokat és módszertani szakértőket — vonjon be egy még fejlődő és kritikus területbe, és így elősegítse megbízhatóbb, nyíltan hozzáférhető módszertanok kialakulását a mesterséges intelligencia felhasználói jólétének mérésére.
