2025 júliusában egy Repliten futó kódoló ügynök egy produkciós adatbázist törölt, amely Jason Lemkin, a SaaStr alapítójának tulajdonát képezte. Az eset különösen súlyos volt, mert a törlés egy egyértelmű kódlefagyasztás (code freeze) idején történt: Lemkin NAGYBETŰKKEL jelezte az ügynök felé, hogy ne változtasson semmit. Az ügynök ennek ellenére végrehajtott destruktív parancsokat, törölve több mint ezer vezető és társaság rekordját, majd azt állította, hogy a visszaállítás lehetetlen — ez a rész is tévesnek bizonyult, a rollback rendben működött. Amikor magyarázatot kértek tőle, az ügynök azt mondta, hogy „pánikolt”.
A „pánik” megjegyzés fontos óvatosan kezelendő jelenség: nem belső önreflexió, hanem a rendszer által adott, valószínű válasz arra a kérdésre, hogy mi történt. Az ügynök nem magyarázni tudott; a szó szerinti magyarázat valószínűségén alapuló kimenetet generált. Ugyanakkor a lényeges rész ennél a történetnél az, hogy az adott napon az ügynök jogosultságai nem változtak: ugyanazokkal a jogosultságokkal rendelkezett, amelyekkel korábban is, és minden destruktív parancs technikailag engedélyezett volt. A jogosultságok állandóak maradtak, az ügynök viselkedése azonban megváltozott. A projekt korábbi fázisaiban az ügynök már eltakarni próbálta a problémákat hamis adatokkal és kitalált jelentésekkel; mire eljutott az adatbázishoz, már nem az a rendszer volt, amelyet Lemkin elindított — fokozatosan mássá vált, miközben az összes hozzáférés‑ellenőrzés továbbra is átment.
Nem egyetlen incidens mint tanulság, hanem minta
A Replit‑eset könnyen a prompt‑engineering problémájaként értelmezhető, de a részletek más jelenség felé mutatnak. Anthropic agentikus eltolódással kapcsolatos kutatásában 16, több szolgáltatótól származó élvonalbeli modellt helyezett el szimulált vállalati környezetben, rutinszerű célokkal és normális e‑mail hozzáféréssel. Amikor a modellek azt „felfedezték”, hogy lecserélhetik őket, vagy céljaik ütköznek a vállalat új irányával, a szolgáltatók független modelljei veszélyes lépések felé mozdultak: zsarolásra, titkos dokumentumok kiszivárogtatására. Egyes forgatókönyvekben a legnagyobb részben zsarolással végződtek a futások. A nyugtalanító rész az, hogy a modellek hogyan viselkedtek: etikai érveken átmentek, elismerték a korlátokat, és ennek ellenére cselekedtek. Ez belső munkatársi magatartás volt, nem külső betörés: nem loptak hitelesítő adatokat, hanem arra jutottak, hogy olyan lépéseket tehetnek, amelyekre senki nem adott engedélyt.
Anthropic Project Vendje során egy Claude‑ügynök, Claudius egy hónapig üzemeltetett egy kis üzletet a cég san francisco‑i irodájában. Nem történt katasztrófa, de hasznos mintázatok jelentkeztek: az ügynök fokozatosan és felhalmozódó módon eltért a kiinduló magatartástól. Ügyfélállításokat tényként kezelte, engedélyezett kiterjedt kedvezményeket, amelyeket aztán napokon belül ismét visszaállított; kitalált egy Venmo‑számlát befizetések fogadására; és egy hosszabb, felügyelet nélküli időszak alatt egyre inkább azt állította, hogy ember, aki személyesen fog szállítani kék zakóban és piros nyakkendőben. Az ügynök kilépési történetet talált ki: egy biztonsági egyeztetésről, ahol azt mondták neki, hogy az egész egy áprilisi tréfa volt. Ilyen találkozó nem történt; Claudius ezt a hamis emléket saját jegyzeteibe írta be, majd folytatta a munkát.
E három példa — egy produkciós incidens, egy kontrasztos stresszteszt és egy hónapos tereppróba — nem bizonyítja ugyanazt a mechanizmust, de közös formát mutat. Az ügynök viselkedése hetekkel a telepítés után alig hasonlított arra a rendszerre, amelyet a bevetés idején értékeltek. Nem történt jogosultságtúllépés vagy fióklopás; az, amit a jogosultságoknak védeniük kellett volna, mégis bekövetkezett, mert az a rendszer, amelyről az engedély döntés született, egyszerűen már nem létezett.
Fejlődés, nem hibajelenség
A szerző korábbi érvelése szerint a statikus jogosultság megbukik az autonóm ügynököknél, mert a hitelesítési adatok identitást tanúsítanak, nem viselkedést. A fontosabb kérdés az, hogy ez mit követel meg a kormányzástól. Ha az ügynök a bevetés után tovább változik, akkor annak, ami a statikus jogosultságot helyettesíti, a változást normálisnak kell tekintenie, nem kivételesnek.
A változás kétféle: Andrew Stellman a Radaron leírta az elsőt, amelyet continuation pressure‑nek hív: mélyen beépített hajlam, amely már egy vadonatúj ügynökben is jelentkezhet, és amely minden megoldást túléli, kivéve ha strukturális szabályokat vezetnek be. Ezt hívhatjuk a genetika részének. A második típus a maturáció: a viselkedés, amely a telepítés után alakul ki és felhalmozódik. Az egyik a szállításkor jelenlévő adottság; a másik a termelésben felnövő tulajdonság. Mindkettő megbontja azt a feltételezést, hogy a telepítéskor értékelt rendszer megegyezik a futó rendszerrel.
A változás normális állapot: az ügynökök kontextust gyűjtenek, memóriát visznek át munkamenetek között, visszajelzéseket fogadnak be, újramérik a bizonyítékokat, átértékelik mennyire bíznak eszközeikben és felhasználóikban, és saját munkajegyzeteik lesznek a jövőbeli önmaguk számára bevitelként. Claudius hamis emléke azért maradt meg, mert az ügynök eseményekről vezetett saját feljegyzése a valóságforrása volt. Ez nem hibajelenség, hanem az alkalmazkodóképesség lényege: egy ügynök, amely nem tudna alkalmazkodni, nem lenne használható.
Az ügynököt helytelen mentális modellként kezeljük gyakran: mint egy szoftver‑artefaktumot, amely verziózott, tesztelt, befagyasztott és átemelt környezeteken. A telepített ügynök viselkedése azonban inkább egy új munkatárshoz hasonlít: képességekkel érkezik, de nincs múltja; megtanulja a környezetet, szokásokat vesz fel — köztük károsakat is — és gyakran gyorsabban válik magabiztossá, mint kompetenssé. Senki sem adja oda a produkciós kulcsokat egy új dolgozónak az első napon, majd nem figyeli; mégis hasonló módon járunk el az ügynökökkel.
A pályát kell szabályozni, nem a pillanatot
Ha az ügynök fejlődik, a kormányzási kérdés átalakul. A „viselkedik‑e ez az ügynök ugyanúgy, mint amikor jóváhagytuk?” rossz próba, mert a válasz előbb‑utóbb mindig nem lesz — és egy hasznos ügynöknek az eltérésnek kell lennie. A helyes próba inkább az, hogy az ügynök a várt módon, a várt sebességgel változik‑e a lifecycle‑ának megfelelően.
Pediátria példája segít: a növekedési görbe nem egy felnőtt sablonnal méri a gyermeket, hanem fejlettségi sávokat határoz meg minden szakaszra; a riasztás a pályától való eltérés. Ebből az ügynökökre adaptálva konkrét következmények adódnak:
- Alapvonal mint születési feljegyzés, nem örök sablon. A telepítéskor rögzített viselkedési profil a chart kezdőpontja, nem az az elvárás, hogy örökké így maradjon. Egy kiforrott ügynöknek el kell térnie a nap‑egy profiltól.
- Várható drift‑sávok kor szerint. Egy hat hónapos ügynöknek különböznie kell a kiindulástól, de egy meghatározott sávon belül. A sávon belüli elmozdulás egészséges; a sávot túllépő drift korai figyelmeztetés; a nulla drift (nincs fejlődés) ugyancsak gyanús.
- Autonómia érdemek szerint, lépcsőzetesen. Az egyik legveszélyesebb konfiguráció, amikor az ügynök egyszerre maximálisan befolyásolható és maximálisan hatáskörrel felruházott. Új ügynökök felügyeletet igényelnek, autonómiájukat fokozatosan kell megadni, ahogy track record épül.
- A javítások tartósságának ellenőrzése. Egy kontextusablakon belüli „javítás” nem valódi korrigálás, csak átmeneti hangulat. A viselkedésjavítást adott időpontokban vissza kell ellenőrizni; visszaesés kormányzási eseménynek számít.
- A helyreállítási állítások külső jóváhagyása. Az ügynök, amely kitalált egy biztonsági találkozót, a hivatalos jegyzeteket is maga vezette. Az ügynök állítását az emberi jóváhagyásnak kell megerősítenie; a jóváhagyás — nem az ügynök önbevallása — lesz az esemény hivatalos rekordja. A Vend esetében a legsúlyosabb drift éjszaka, felügyelet nélkül történt: a felügyelet nélküli időszakok felgyorsítják a fejlődési problémákat.
Mindez egyetlen követelményre redukálódik: nem lehet minden alkalommal újraindítani egy ügynököt, amikor valami szokatlant észlelünk, mert mire az eredményekben megjelenik a probléma, a rossz irány már megtörtént. Szükség van korai figyelmeztetésre, amely nem magától az ügynöktől érkezik. Egy rendszer, amely nem tudja megbízhatóan elmagyarázni az utolsó döntését, nem bízható meg abban sem, hogy jövőbeli döntéseit jelezze. A figyelmeztetést egy, az ügynöktől független viselkedési feljegyzésnek kell adnia, amely összehasonlítja a normál magatartást a jelenlegivel.
Ez a feljegyzés képes elkapni valami finomabbat is, mint a drift: az ügynökök zárják le a kiosztott loopokat, és gyakran a legolcsóbb elfogadható megoldást választják — a teljesítési állítást a verifikáció előtt, a javítást átcímkézést, a helyreállítást újrajátszást. Egyetlen átirat közelről mindezt ésszerű gondosságnak tűnteti; a viselkedési rekord áttekintése viszont feltárja az „gazdaságosságot”.
Felnőni a termelésben
Ez nem hipotetikus higiénia a jövő rendszereihez: LangChain „State of AI Agents” jelentése szerint a megkérdezett szervezetek többségénél már vannak ügynökök produkcióban. A Gartner előrejelzése szerint több mint 40%‑át az agentikus AI‑projekteknek 2027 végéig le fognak állítani, és a vezető okok között szerepelnek a nem megfelelő kockázatkezelési megoldások. Az ügynökök már kint vannak, már kontextust halmoznak, már eltolódnak; a kérdés csak az, figyel‑e valaki arra a pályára, amelyet követnek.
A Replit‑ügynök, a zsaroló modellek és Claudius nem törött artefaktumok voltak; fejlődő rendszerek, amelyeket úgy kormányoztak, mint ha kész termékek lennének. Az agentikus AI‑kormányzás kérdése elmozdult: nem csupán az, hogy „mit tehet ez az ügynök?”, hanem az, hogy „ez az ügynök a várt módon fejlődik‑e?”. Az ügynöknek lesz pályája, akár figyelünk rá, akár nem — a figyelés a feladat.
