A Discord elismerte, hogy AI-alapú moderációs rendszerében fellépő hiba miatt több mint 8 000 fiókot tilthattak le tévesen az elmúlt két hónapban. A vállalat szerint az érintett feltöltött képek ártalmatlanok voltak — például táblázatok, sakktáblák, játéktextúrák, illetve fehér és szürke, áttetsző hátterek —, mégis sértő vagy tiltott tartalomként lettek azonosítva.
A cég közlése szerint a probléma május óta befolyásolta a fiókokat; a hétvége folyamán további mintegy 200 felhasználót tiltottak le, mielőtt a csapat azonosította és javította a hibát. Jelenleg minden érintett fiók helyreállítási folyamat alatt áll.
Hogyan történt a hiba?
A Discord részletes posztban magyarázta az X-en (korábbi Twitter), hogy automatikus biztonsági rendszere a feltöltött tartalmakat ismert, káros anyagokról vezetett adatbázisokkal hasonlítja össze. Ezt a hasonlósági illesztést azért használják, hogy jogsértő tartalmakat lehessen nagyban felismerni, de a cég elismerte, hogy az eljárás hamis pozitív találatokat is eredményezhet.
Az elvárt működés szerint a felismert tartalmakat a Trust & Safety (Bizalom és Biztonság) csapat egyik emberi moderátora vizsgálja felül, mielőtt bármilyen intézkedést hoznának. Ebben az esetben azonban egy hiba miatt a rendszer azonnal letiltotta az érintett fiókokat, így a humán felülvizsgálat kimaradt.
„Dolgozunk jobb biztonsági megoldásokon, hogy ez ne fordulhasson elő újra” — írta a Discord Support X-üzenetében (poszt dátuma: 2026. július 7.).
Felhasználói visszajelzések és aggodalmak
X-en és Redditen több felhasználó számolt be arról, hogy végleges felfüggesztést kaptak csupán azért, mert olyan képet töltöttek fel, amely négyzethálós mintát tartalmazott. Többen azt feltételezték, hogy a Discord rendszere érzékenyebbé vált a rács- vagy négyzethálós mintázatokra, mivel ilyen mintákat korábban arra használtak, hogy automata szűrők elől próbáljanak elrejteni vagy álcázni NSFW és gyermekbántalmazással kapcsolatos tartalmakat.
Az érintettek csalódottságukat fejezték ki: néhányan rámutattak, hogy az automatikus, kizárólag gépi felismerésen alapuló tiltások súlyos következményekkel járhatnak, különösen azoknak, akik munkájukhoz, játékközösségükhöz vagy hosszú távú kapcsolataik fenntartásához támaszkodnak a platformra. Egy X-felhasználó így fogalmazott: „Egy igazságtalan hibából fakadó Discord-fiókvesztés rendkívül megterhelő lehet, és minden nap milliókat érinthetnek hamis AI-tilalmak. Ezt meg kell állítani.”
Szélesebb kontextus
A Discord nem egyedül küzd az automatizált moderációs rendszerek hibáival: tavaly az Instagram és a Facebook Groups felhasználói is jelentettek sok, látszólag indokolatlan fiókfelfüggesztést, amelyeket sokan szintén AI-hibának tulajdonítottak, bár a Meta nem erősítette meg nyilvánosan az automatizált hiba szerepét. A Meta független felügyeleti testülete, az Oversight Board az átláthatóság növelését követeli.
Tavaly a Tumblr felhasználói is tömeges felfüggesztések miatt panaszkodtak, ahol szintén nem volt világos magyarázat a történtekre.
Az eset jól rávilágít azokra az egyre növekvő kihívásokra, amelyek az AI-alapú moderációval járnak: az automatizált megoldások skálázhatóságot adnak a kártékony tartalmak elleni küzdelemhez, de a hamis pozitívok és a rendszerhibák komoly, valós következményekkel járhatnak az érintett felhasználók számára.
