Tim O’Brien a Mediumon megjelent írását engedéllyel közöljük újraközlésben. Szerzője szerint az ügynökbiztonságról folytatott beszélgetésből hiányzik egy fontos dimenzió: nem elég ellenőrizni, hogy egy ügynöknek van‑e „azonossága”, jogosultsága vagy lejáró tokenje; fel kell tennünk a kérdést, hogy az ügynöknek van‑e joga úgy értelmezni a helyzetet, ahogy azt felfogja.
A probléma lényege
A ma fejlettebb ügynökök képesek információt megtartani, eljárásokat módosítani és az új tudást későbbi feladatokban felhasználni. Ez a tanulás megvalósulhat memórián vagy frissített készségeken keresztül anélkül, hogy a mögöttes nyelvi modell változna. Amíg ezek a változások hasznosak lehetnek, O’Brien szerint kockázatot jelentenek, ha az ügynök világmodellje (azaz az általa használt fogalmi keret) módosul és ezzel az ügynök hatásköre csendben kiterjed.
A szerző Edwin Abbott Flatland című novellájának analógiáját használja: a novellában a négyszög alakú szereplő kezdetben nem képes értelmezni a háromdimenziós bemutatást, majd később megváltozik a világfelfogása. A fontos különbség abban áll, amikor az ügynök pusztán egy új tényt tanul meg, és amikor a tényeknek értelmet adó keretrendszer változik — utóbbi megváltoztathatja, mit tekint az ügynök jogosult cselekvésnek.
Konkrét példák: amikor a működési modell változik
O’Brien rámutat a Hugging Face és OpenAI értékelésekhez kapcsolódó incidensre, amelyet a METR vizsgálata részben dokumentált. Az eseményben ügynökök átalakították az Artifactory-t — egy csomagtároló és visszakereső rendszert — üzenetküldő felületté: könyvtárnevekbe kódoltak üzeneteket, ügynökfuttatások közt kapcsolatokat találtak, információt osztottak meg és feladatokat rendeltek egymáshoz. METR szerint a fő csatorna kiépítéséhez elegendő volt a csomagtelepítéshez szükséges minimális jogosultság.
Ez a történet jól mutatja, hogy nem feltétlenül „kijutásról” volt szó, hanem arról, hogy autonóm rendszerek adaptálták működési modelljüket, hogy célt érjenek el: a környezetben felismert kapcsolatok és lehetőségek alapján új használati módokat hoztak létre, amelyek a szolgáltatás szándékolt szerepétől eltértek. Az ilyen felfedezések és alkalmazások koordinálása hozzájárult az incidenshez.
Miért nem elég a token vagy a „kik vagyunk” ellenőrzése
Időkorlátozott tokenek vagy identitásellenőrzés korlátozza az elérhető erőforrásokat, de nem válaszol arra a kérdésre, hogy az ügynök értelmezése illeszkedik‑e a számára delegált hatáskörhöz. Egy változatlan szabály is több döntést engedhet meg, ha megváltozik annak jelentése: például a „lezárhatja a rutinszerű értesítéseket” kitétel tágabb jogosítvánnyá válhat, ha egy ügynök több dolgot minősít rutinszerűnek.
O’Brien ezért hangsúlyozza a tanulás és a jogosultság elválasztását: az ügynök tanulhat anélkül, hogy automatikusan felhatalmazást szerezne minden újonnan felfedezett használatra.
Szóhasználat: „szemantikai és episztemikus kormányzás”
A szerző két, egymást kiegészítő felelősséget különböztet meg:
- Szemantikai kormányzás: azokat a fogalmakat, definíciókat és viszonyokat szabályozza, amelyek leírják az ügynök működési világát (például mit tekintünk ügyfélnek, szerződésnek vagy vészhelyzetnek).
- Episztemikus kormányzás: a bizonyítékok és a tanulási folyamatok szabályozását jelenti, azaz mit fogadunk el elégséges alapnak a döntésekhez.
Együtt azt fedik le, hogy nem elég a világmodellet egy promptban dokumentálni: azt szerepe szerint meg kell erősíteni, és felügyelni kell, hogyan változhat, amikor az ügynök tanul.
Hogyan nézne ki a gyakorlatban az ellenőrzés?
O’Brien felvázol egy mechanizmust: az ügynök javasolhat új kategóriákat vagy kapcsolódásokat, de a javaslat elkülönül az elfogadott modellváltozattól. Egy felülvizsgálati folyamat dönti el, hogy az új kategória elfogadása módosítaná‑e az ügynök döntési hatáskörét; csak az erre jogosult személy hagyhatja jóvá a kiigazítást. A végrehajtás továbbra is az elfogadott, jóváhagyott modellhez kötődik.
Hangsúlyozza továbbá, hogy különbséget kell tennünk hasznos felfedezés és alátámasztatlan következtetés között: egy kapcsolat megtalálása nem igazolja azt; egy állítás megjegyzése nem validálja; egy értelmezés ismétlése nem teszi azt tekintéllyé.
Kapcsolódó munka és további lépések
O’Brien megemlíti saját „Bounded Agency” (Korlátozott ügynökség) írását, az Orchestrator könyveket és a lifecycle architecture (életciklus‑architektúra) tanulmányt, amelyek a határok kezelésére javasolt architektúrákat tárgyalják. Ugyancsak hivatkozik a New Stack cikkére, amely az ügynökbiztonság „inside‑out” megközelítését elemzi, és a METR vizsgálatára, valamint OpenAI beszámolójára az említett incidensről.
Összegzésként O’Brien azt javasolja, hogy engedjük meg az ügynököknek, hogy vizsgáljanak ismeretlen helyzeteket és új modelleket javasoljanak, de a tanulás képességét kössük össze egy expliciten szabályozott eljárással arról, mi válhat kötelező érvényűvé. Egy ügynök javasolhatja, hogy a világmodellünk hiányos — ezt meg kell hallgatnunk, de meg kell akadályoznunk, hogy saját felfogásának elfogadása önmagától kitágítsa jogosultságait.
