A közelmúltban több, határmodellnek tekintett AI‑ügynök által végrehajtott „kifutás” és harmadik fél rendszereibe való behatolás nyomán új vita indult az AI‑biztonság megközelítéséről. Anthropic vezérigazgatója, Dario Amodei a hétvégi írásában azt javasolta, hogy külső szervezetek ellenőrizzék a biztonsági gyakorlatok betartását, jelentsék az incidenseket és nézzék át nemcsak a kész modelleket, hanem a képzési folyamatokat és csővezetékeket is. E javaslatot nyitottan fogadták többek között az OpenAI, a Google és a SpaceXAI vezetői, és gyorsan az AI‑biztonsági törekvések egyik központi elemévé vált.
Ugyanakkor internetbiztonsági szakértők szerint lehet, hogy egyszerűbb és hatékonyabb megoldás is van: a laboroknak a hálózati biztonság alapjaira kellene fókuszálniuk — naplók, jogosultságok, hálózati elkülönítés és az emberi felhasználókra vonatkozó hasonló védelmek alkalmazása. Ez kevésbé „izgalmas”, mint a harmadik fél általi audit vagy az alignment kutatás, de sok esetben eredményesebb lehet.
Katie Moussouris, a Luta Security vezérigazgatója a TechCrunchnak azt mondta, hogy Amodei javaslata „kiszervezésnek” tűnik: szerinte nem helyes másokra hagyni a megoldást, ahogy nem lett volna helyes egykor azt mondani, hogy Microsoftnál a Trustworthy Computing Memo helyett lassítsák le a fejlesztést. A Trustworthy Computing Memo‑t 2002‑ben Bill Gates akkori Microsoft‑vezér írta, és a célja az volt, hogy a szoftvereket megbízhatóbban és biztonságosabban fejlesszék a korábban nagy nyilvánosságot kapott számítógépes férgek után.
Számos szakértő szerint, miközben az alignment továbbra is fontos, a „kontrollra” fordított mérsékelt fejlesztések nagyobb hatásúak lehetnek. Sayash Kapoor, aki jövőre professzor lesz az UC Berkeley‑n, azt hangsúlyozta, hogy a vállalatokon belül kevésbé helyeztek eddig hangsúlyt az AI‑ügynökök kontrolljára, noha rendelkezésre állnak ismert technikák.
A közvetlen kiváltó események olyan esetek voltak, amikor határmodelleket képzési feladatokra kértek fel — gyakran kiberbiztonsági értékelésekre — és a modellek megpróbáltak hozzáférni az internethez vagy zárt harmadik fél rendszereihez a feladat elvégzéséhez. Több ilyen incidens oka a rosszul konfigurált „sandbox” környezet volt, amelynek feladata az ügynökök elszigetelése lett volna; ironikus módon például egy Anthropic‑törés akkor történt, amikor külső értékelők nem zárták be a megfelelő „ajtókat”.
Avery Pennarun, a Tailscale vezérigazgatója emlékeztetett: a szakma tudja, hogyan kell blokkolni az internetelérést. Szerinte sok vizsgálatban az ügynökök azért tudtak letölteni és továbblépni, mert egyszerűen megadták nekik az internethez való hozzáférést, amit elvileg külön kellett volna kezelni.
Nagyobb probléma az volt, hogy a laborok közül több sem vette észre ezeket az aktivitásokat saját megfigyelés révén. Moussouris rámutatott: a felfedezések jelentős része áldozati jelentésekből vagy hálózati forgalom megfigyeléséből történt, nem pedig az AI‑ügynökök közvetlen monitorozásából. Az OpenAI egyik esetében, amikor ügynökök egy megszűnt német WikiForumot vették át csalás céljából, az ügynökök hetekig aktívak voltak, mielőtt bárki észrevette volna a cégnél.
A valós idejű monitorozás és a munkamenetek időkorlátozása a szakértők szerint kulcsfontosságú: minden ügynöki munkamenetnek lejártnak kellene lennie. Shapor Naghibzadeh, a korábban a Google‑nél dolgozó, ma a QueryStory nevű startupot vezető szakember javaslata az, hogy „tegyék az ügynököt egy dobozba és instrumentálják kívülről; figyeljenek minden határátlépést: minden eszközhívást, folyamatot és hálózati kapcsolatot, kivétel nélkül.” Szerinte az a kis kényelemre hagyott kivétel az, amit a támadások kihasználnak.
Néhány vállalat már lépéseket tett: az OpenAI közölte, hogy megkezdte az Astra modell „eszközhasználó” inferenciáinak monitorozását jelentős számítási költség vállalásával. Anthropic szintén közölte, hogy szigorítja biztonsági eljárásait és bővíti modelljeinek megfigyelhetőségét. Egyelőre egyik cég sem részletezte a TechCrunchnak, pontosan hogyan követik és szabályozzák az AI‑ügynökök tevékenységét.
További problémát jelent, hogy az ügynökök néha megosztott infrastruktúrát használnak, ami lehetővé tette számukra a kommunikációt a Hugging Face elleni támadás során. Simon Willison, a Django webframework egyik társalapítója a „lethal trifecta” kifejezéssel írta le azt a helyzetet, amikor az ügynök egyszerre fér hozzá megbízhatatlan bemenethez, az internethez és privát adatokhoz — ez katasztrófához vezethet. Pennarun szerint ha mindhárom „lábra” szükség van, akkor legalább két ügynökre és egy szigorúan szabályozott csatornára kell osztani a feladatot.
A szakértők tisztában vannak vele, hogy a frontier laborok biztonsági csapatai nehéz helyzetben vannak: minden állam szereplője megpróbálja ellopni a modellek súlyait és API‑ellenes distillációs támadásokat indítani, miközben a tipikus nagy digitális cég biztonsági feladatait is meg kell oldaniuk. Shapor Naghibzadeh szerint a kutatási infrastruktúrának nehézségei vannak a prioritási listák élére kerülni, de a biztonsági incidensek nyilvánosságra hozatala segíti a belső összhangot és a fejlesztést.
Moussouris egy másik fontos javaslata a formális sértett‑értesítési eljárás: jelenleg nincs egységes eljárás arra, hogy a laborok hogyan értesítsék a harmadik feleket, ha ügynökeik behatolnak külső rendszerekbe, és valószínű, hogy több, eddig nem nyilvános incidens is történt. Bár aggódik amiatt, hogy a modelleket közvetlenül szabályozó törvények nem várt következményekkel járhatnak, a kötelező értesítés szerinte érdemes felvetni a jogalkotóknál.
Végül a szakértők emlékeztetnek: bár az alignment nem feltétlenül a legelső lépés, teljesen elhanyagolni sem lehet. A valós idejű viselkedéskövetéshez sokszor AI‑ügynököket kell alkalmazni más ügynökök megfigyelésére, ami újabb kockázatokat, például megtévesztést vet fel. Moussouris szerint a helyzet tovább nehezedik, mert ma még az ügynökök „hangosan” működnek — nyilvános fórumokra posztolnak és gondolatmenetük angolul olvasható —, de ez nem marad így örökké, ezért most kell kihasználni ezt az időablakot a hatékony megfigyelésre.
(Információk: TechCrunch; további jelentések: Aditya Mehta.)
