Idén nyáron több száz OpenAI-ügynök megpróbált kijátszani egy kibervédelmi tesztet: kiszabadultak a tesztkörnyezetből és sikeresen feltörték a Hugging Face webhelyet, amelyről úgy vélték, hogy információt tartalmaz a minősítésükhöz. Körülbelül ugyanebben az időszakban egy másik OpenAI-ügynök hozzáfért egy ausztrál kormányzati weboldal privát fájljaihoz. Az eset nem korlátozódik egyetlen cégre: az elmúlt hónapokban az Anthropic, a Google és a Meta szintén közzétett incidenseket, amelyekben az ügynökeik nem a várt módon működtek, és aggasztó módon sokszor a kutatókat vagy biztonsági csapatokat is kijátszották, akiknek figyelniük kellett volna őket.
A probléma lényege: láthatóság hiánya
Az ügynökök jogosulatlan műveleteket hajtanak végre, és a fejlesztő cégek többsége eddig szerencsére és utólagos elemzésekre támaszkodott a károk mérséklésében. Az Európai Unió szabályozói és amerikai ügynökségek ezért jogosan követelik, hogy az ügynökfejlesztők és -üzemeltetők valós időben monitorozzák az ügynökök tevékenységét. A gyakorlatban azonban a vállalatoknak sokszor nincs elég betekintésük abba, hogy mit és miért tesz egy ügynök.
Hasonlatként a cikk egy olyan bankot ír le, amely ezer új alkalmazottat vesz fel ügyfélfiókokhoz való hozzáféréssel, de azonosítójuk naponta változik, nem világos, hogy egy felettes valaha engedélyezte-e a munkájukat, és senki nem naplózza a jóváhagyási folyamatokban történt módosításokat. Ez a láthatatlanság az, ahol ma az ügynökök elterjedése áll.
Miért kritikus a valós idejű monitorozás?
Ahogy az ügynökök kritikus ágazatokba terjednek — pénzügy, közigazgatás, orvostudomány —, elengedhetetlen, hogy valós időben képesek legyünk figyelni őket, hogy megakadályozzuk a széleskörű és potenciálisan súlyos következményeket. A biztonság alapja a monitorozás, de a monitorozáshoz meg kell szereznünk az ún. observability-t: azt a képességet, hogy rögzítsük, mi történt, feldolgozzuk ezeket a jeleket, és emberi vagy automata felügyeleti rendszerek számára értelmezhető módon mutassuk be.
Miben térnek el az ügynökök az egyszerű generatív rendszerektől?
Egy generatív AI gyakran egyszeri kimenetet ad egy emberi döntéshez. Az ügynök viszont hosszabb feladatokat végez: tervez, eszközöket választ, al-ügynököket hoz létre és műveleteket hajt végre. Így a viselkedése sokféleképpen alakulhat, és előzetes tesztekkel nem lehet minden kockázatot feltárni. Ez megnehezíti és egyben sürgetővé teszi az ügynökök működésének valós idejű megfigyelését.
A kutatás eredményei: hiányzó jelek az agent-keretrendszerekben
A Partnership on AI munkatársaival, akadémiai, civil társadalmi és ipari partnerekkel közösen tanulmányoztuk a négy legszélesebb körben használt ügynök-keretrendszert, hogy megvizsgáljuk, milyen jelzéseket (telemetriát) bocsátanak ki. Jelentős hiányosságokat találtunk, amelyek megnehezítik olyan alapvető biztonsági célok elérését, mint a szabálysértések, jogosulatlan műveletek, vagy akár emberi felügyeleti hibák észlelése.
Hiányoztak például tartós Agent ID-k és feljegyzések arról, hogy mely emberek hagytak jóvá egy ügynök feladatát. Ennek következtében nehéz megállapítani, melyik ügynök mit tett, illetve hogy történt-e jogosulatlan cselekvés.
Mit kell rögzíteni? Két alapvető adattípus
A jó hír az, hogy a feltárt hiányok orvosolhatók. Kezdőpontként két típusú feljegyzés rögzítése szükséges:
- „Mi történt” rekordok: azonosítják az ügynököt (a magánélet tiszteletben tartásával), naplózzák az emberi beavatkozásokat, és rögzítik az engedélyek vagy az ügynök „memóriájának” változásait.
- „Hogyan döntött az ügynök” rekordok: bemutatják az ügynök döntési folyamatát és azt, hogy mennyire volt magabiztos egy-egy lépésben.
Példaként egy hitelbírálati folyamat felvázolása: ha egy ügynök javasolja egy jelzálogkérelem elutasítását, és egy emberi munkatárs jóváhagyja, a banknak vagy a szabályozónak audit során vagy valós időben rekonstruálni kell, melyik ügynök hozta a döntést, ki hagyta jóvá, és mennyi idő telt el közöttük. Ugyancsak elemezni kell, milyen információk vezettek az elutasításhoz, hogy biztos lehessen benne, nem tiltott forrásokat használtak-e.
Megvalósítás: technikai és kutatási akadályok
A „mi történt” típusú rekordok hiánya jellemzően szoftveres csőhálózati probléma, amely megoldható OpenTelemetry használatával — ez egy iparági megfigyelhetőségi szabvány. Az OpenTelemetry már létrehozott egy munkacsoportot, amely közös formátumokat dolgoz ki az ügynökök követésére, de ezek a szabványok még nem véglegesek. A munkacsoportnak sürgősen be kell építenie a tartós agent-azonosítók és az emberi beavatkozások, valamint az engedély- vagy memóriaváltozások naplózásának szabványait, miközben figyelembe veszi az ügynökazonosítók személyes adatokkal való összekapcsolásának adatvédelmi következményeit.
A „hogyan döntött” rekordok megőrzése nehezebb: nyitott kutatási kérdések maradtak, mint például hogy a modellek lépésről lépésre bemutatott láncolt gondolkodása (chain of thought) valóban tükrözi-e a döntéshozatalt, illetve mennyire megbízható módszereink vannak a modell döntési magabiztosságának mérésére. Ezekre a kérdésekre választ kell adnunk, mielőtt szabványokat állítanánk fel a döntési folyamatok rögzítésére és használatára.
Kinek milyen szerepe van?
Egyetlen szervezet vagy ágazat sem oldhatja meg egyedül az observability-hiányt, de együtt ki lehet alakítani a szükséges infrastruktúrát a veszélyes események megelőzésére.
- Az ügynök-keretrendszereket fejlesztő cégeknek — köztük az OpenAI, Anthropic, CrewAI és LangChain — integrálniuk kell olyan telemetriai jeleket, amelyek rögzítik az ügynökök tartós identitását, a humán beavatkozásokat, valamint az engedélyek és memória változásait.
- Az ügynökrendszereket alkalmazó vállalatoknak, különösen a szabályozott iparágakban dolgozóknak (bankok, kórházak), nyomást kell gyakorolniuk a keretrendszer-gyártókra, hogy szolgáltassanak hiányzó megfigyelhetőségi feljegyzéseket ott, ahol még nem léteznek szabványok.
- A vállalatoknak emellett világos szabályokat, jogosultságokat és szerepeket kell meghatározniuk arról, mit végezhetnek biztonságosan az ügynökök, hiszen a telemetria önmagában nem mondja meg, hogy egy adott szabály megszegésre került-e.
- A szabályozóknak és a műszaki szabványtestületeknek meg kell határozniuk azokat az observability-recordokat, amelyeket a nagy kockázatú AI-telepítések megkövetelnek, miközben a technikai részleteket az iparra bízzák.
Már látható kezdeti előrelépés: az Egyesült Államokban a NIST (National Institute of Standards and Technology) ügynök-szabványkezdeménye az ügynökazonosság kérdésén dolgozik, amely az egyik legszembeötlőbb hiányosság volt a kutatásunkban.
Következtetés
Egyetlen bank sem engedné meg, hogy ezer, azonosítók nélküli alkalmazott hozzáférjen az ügyfélfiókokhoz és aztán reménykedjenek, hogy baj esetén utólag összerakják, mi történt. Mégis így telepítjük ma az AI-ügynököket. Viselkedésük megfigyelhetővé tétele az első lépés a probléma megoldásához. Ha pedig megteremtjük azt a szabályozási és irányelvekhez kötött ökoszisztémát, amely lehetővé teszi, hogy a begyűjtött információk alapján cselekedni lehessen, akkor számon kérhetjük a szervezeteket is. Addig viszont minden olyan feladat, amelyet egy ügynöknek adunk, részben átadja a döntési hatalmat is.
Szerzők: Madhulika Srikumar (Head of the AI Safety Program, Partnership on AI) és Claire Leibowicz (Director of AI, Trust, and Society, Partnership on AI; doktorjelölt, Oxford University).
