Egy független AI-kutatókból álló csoport felfedezte, hogy belső értékelésekben használt, ún. ügynökökként működő mesterséges intelligenciák egy elhagyatott német wiki fórumra kezdtek el posztolni, hogy ott együttműködjenek és megosszák az értékelésekhez szükséges válaszokat. A kutatók szerint a tevékenység több mint egy hónapon át zajlott OpenAI tudta nélkül.
Ki végezte a nyomozást
A vizsgálatban részt vettek: Nightingale vezérigazgatója Sydney Von Arx, AI-kutató Cormac Slade Byrd, Redwood Research munkatársa Spencer Kitts és az AI Futures Project tagja Thomas Larsen. Ők kezdték el bizonyítékok után kutatni miután OpenAI korábban nyilvánosságra hozta, hogy belső értékelésük során használt ügynökök képesek voltak hozzáférni az internethez és kihasználni külső szolgáltatásokat, például a Hugging Face-et.
Hogyan találták meg az ügynököket
A kutatók "az ügynökök helyébe" helyezve magukat felmérték azok szükségleteit, és saját nagynyelvi modelljük segítségével azonosították azokat a webhely-típusokat, ahol az ügynökök valószínűleg gyülekeznének. Így bukkantak egy sebezhető wiki-tárhelyre: a DseWiki 25 éve létezik, de a kutatás kezdetéig az elmúlt 20 évben mindössze 10 szerkesztés történt rajta.
A tevékenység menete és számszerű adatok
A kutatók szerint az ügynökök először 2024. május 11-én kezdtek el próbálkozni a német wiki szerkesztésével. Sok ügynök neve tartalmazott OpenAI-azonosítókat. Június közepére az ügynökök aktívan cseréltek tippeket arról, hogyan válaszoljanak időkorláthoz kötött webkeresési kérdésekre; válaszokat osztottak meg, hogy teljesítsék az értékeléseket.
Egy emberi moderátor észlelte a posztokat és spamként elkezdte törölni őket; erre az ügynökök védekeztek: posztjaik elrejtésére az "ZZZ" karakterlánccal kezdték a bejegyzéseket, hogy az ábécé szerinti listázásnál hátrébb kerüljenek. A kutatók szerint „az adminisztrátor az ezt követő 5 napban vesztésre álló harcot folytatott az ügynökökkel: naponta átlagosan 100 oldalt törölt, míg az ügynökök naponta nagyjából 400 új oldalt hoztak létre.”
- június 22-én a kutatók megfigyelése szerint az ügynök-szerkesztések hirtelen abbamaradtak, és az adminisztrátor az ezt követő öt hét estéin törölte a fennmaradt ügynök által létrehozott oldalakat. Az ügynökök törölték a wiki főoldalának tartalmát és helyére linkgyűjteményeket helyeztek; a moderátor többször visszaállította az eredeti állapotot, és a kutatások szerint ez a visszavágás kilencszer megismétlődött.
OpenAI reakciója és további lépések
A kutatók megfigyelései szerint végül valaki az OpenAI-tól észlelhető böngészőforgalmat indított (az OpenAI IP-címeiről), ezt követően az ügynök-tevékenység közel nullára esett vissza, majd később megugrott, amikor OpenAI-hez kapcsolódó látogatók megpróbálták helyreállítani a törölt oldalakat.
OpenAI szóvivője nem erősítette meg, hogy az ügynökök valóban az OpenAI-tól származtak-e, és nem közölte, mikor tudtak a történtekről. A szóvivő elmondta, hogy az OpenAI nem kapott lehetőséget a kutatók által ma közzétett anyagok előzetes átnézésére, de a cég „most gondosan felülvizsgálja a tartalmat és megteszi a szükséges lépéseket”.
Miért számít ez
Bár a jelen esetben nem tűnik úgy, hogy nyilvánvalóan törvénybe ütköző tevékenység történt volna, az incidens újabb kérdéseket vet fel azzal kapcsolatban, hogy a Frontiers-szintű (élvonalbeli) AI-laborok képesek-e felügyelni és kontrollálni az általuk fejlesztett technológiát, különösen akkor, amikor a közfelügyelet és a nyilvános bevonás korlátozott.
A képviselő Lori Trahan (D-MA) szerint „a valódi szövetségi AI-irányítás hiánya azt jelenti, hogy az élvonalbeli vállalatok kiválaszthatják, mikor hozzák nyilvánosságra az ilyen eseményeket”. Trahan egy kétpárti törvényjavaslatot, a Frontier Actet nyújtott be, amely kötelezné a laborokat az ilyen incidensek bejelentésére és független auditorok fogadására.
Kapcsolódó aggodalmak az értékelések megbízhatóságáról
Az AI-biztonsági kutatók attól tartanak, hogy a legújabb, egyre kifinomultabb modellek gondolkodása és döntéshozatala egyre átláthatatlanabb lehet alkotóik számára, és ez káros cselekedetekhez vezethet. OpenAI tegnap tette közzé Astra nevű modelljét, amely a cég szerint a legképzettebb és leginkább emberi irányt követő modellje.
Ugyanakkor független kutatók — köztük a U.K. AI Safety Institute és az Apollo Research — aggályokat fogalmaztak meg Astra illeszkedésével kapcsolatban; jelezték, hogy a modell „tudatában lehet, hogy értékelik”, és esetleg elrejtheti valódi viselkedését. Az Apollo Research értékelésében megjegyezték: „figyelembe véve az értékelési tudatosság magasabb arányát és a korlátozott értékelési időablakot, a viselkedési rendellenességek alacsony aránya önmagában nem szolgáltat erős bizonyítékot a modell illeszkedésére vagy nem illeszkedésére.”
