Az OpenAI belső felülvizsgálati folyamata, a Project Lily nevű program részleteit ismertette a 404 Media. A jelentés szerint a projekt keretében emberek — a cikkben „prompt-ellenőröknek” nevezett munkavállalók — vizsgálják a ChatGPT-hez kötődő, állítólagosan anonimizált beszélgetéseket, és értékelik a modell válaszainak minőségét.
Mit csinálnak pontosan az ellenőrök?
A feladat lényege viszonylag egyszerű: a dolgozók azt nézik meg, hogy a chatbot válasza valóban releváns-e a kérdésre, illetve hogy tartalmaz-e olyan problémás elemeket, mint az AI-zsargon, leereszkedő hangnem, túlzott emojihasználat vagy túlzott hízelgés. Az ellenőrzési szabályok tiltják, hogy a rendszer emberi tulajdonságokkal ruházza fel magát (antropomorfizáljon), illetve hogy „személyes” élményeket állítson — például nem adhatja ki magát szakácsnak vagy nem mondhatja, hogy tudja, milyen érzés valami.
A beszámoló szerint a vizsgálati változat mellé egy „felhasználói összefoglaló” is kerül az ellenőröknek: ez összegzi a felhasználó kérdéseit és érdeklődési körét, megad kontextust, és bizonyos esetekben akár a felhasználó tartózkodási helyére vonatkozó információt is tartalmazhat.
Adatvédelem és anonimizálás korlátai
Bár az OpenAI azt állítja, hogy a csevegések anonimizálva kerülnek az emberi felülvizsgálatra, a források szerint bizonyos információk mégis hozzáférhetővé válhatnak, különösen rövidebb beszélgetések esetén. Egy belső munkatárs szerint a legtöbb felhasználó vélhetően nincs tudatában annak, hogy idegen emberek olvashatják az üzeneteiket — ez különösen érzékenyen érintheti azokat, akik a chatbotot alkalmi barátként vagy terápiás jellegű beszélgetőtársként használják.
Fizetés és munkakörülmények
A cikkben megszólaló dolgozó szerint a munka vizuálisan intenzív, ugyanakkor órabére viszonylag magas: óránként több mint 50 dollár — nyers átszámítással ez több mint 15 ezer forint. Ez jelentős összegnek számít egy viszonylag egyszerűnek tűnő feladatért cserébe.
Mi nincs a Project Lilyben?
A riport kiemeli, hogy a Project Lily feladata nem a modellek tényleges, ténybeli pontosságának ellenőrzése. Ez arra utal, hogy legalább egy további csapat vagy folyamat létezhet, amely más szempontokat vizsgál a modell minőségével kapcsolatban.
OpenAI reakciója és a transzparencia kérdése
A 404 Media szerint az OpenAI kezdetben nem adott érdemi választ arra a kérdésre, hogy a felhasználókat kifejezetten tájékoztatták-e arról, hogy beszélgetéseiket emberek is elolvashatják. Végül a vállalat megosztott egy linket a gyakran ismételt kérdések (GYIK) oldalára, amely kitér a modellfejlesztést szolgáló emberi felülvizsgálatra; az OpenAI szerint ezt a dokumentumot 29 nappal korábban frissítették, de a Tom's Hardware szerint a GYIK oldal legalább két éves, vagy még régebbi.
A szélesebb kontextus
A mostani információk egy olyan időszakban kerülnek nyilvánosságra, amikor a mesterséges intelligenciát fejlesztő cégeket már korábban is bírálatok érték azzal kapcsolatban, hogy szerzői jogvédett anyagokkal és felhasználói adatokkal hogyan dolgoznak. Például a The New York Times és a Daily News 2023 végén pert indított az OpenAI és a Microsoft ellen azzal az állítással, hogy cikkeiket engedély nélkül használták fel a nyelvi modellek betanításához; a perrel kapcsolatos potenciális bizonyítékok egyes értesülések szerint véletlenül megsemmisültek.
Az ilyen belső ellenőrzési mechanizmusok és az adatkezelés részletei továbbra is fontos kérdést jelentenek a modellek átláthatósága és a felhasználói adatvédelem szempontjából.
