Az AI Engineer New York konferencián a hét egyik központi témája az volt, hogyan lehet ötvözni az ügynökök autonómiáját a biztonsággal és megbízhatósággal. Mind a frontier kutatólaborok (OpenAI, Anthropic), mind pénzügyi szereplők (például Two Sigma és Bloomberg) előadásaikban ezt a kérdést járták körül.
Hol van a hangsúly: korlátozások helyett vezérlők és emberi döntés
A rendezvény fő tanulsága az volt, hogy a biztonságos autonómia elsősorban azon múlik, hova helyezik a kontrollokat és a humán ellenőrzést, nem pedig azon, hogy hány korlátozást vetnek be. Több előadó is arra hívta fel a figyelmet, hogy jól megtervezett felületi és termékdizájn-megoldásokkal lehet meghatározni, mikor kell emberi jóváhagyás.
OpenAI: küszöbérték a használhatósághoz és nyomonkövethetőség
Joseph Kim, a ChatGPT for Financial Services vezetője az OpenAI-tól keynote-ot tartott. Kim a megbízhatóságról és egy „threshold of usefulness” (használhatósági küszöb) fogalmáról beszélt: ez az a pont, ahol a modell elég képessé és megbízhatóvá válik ahhoz, hogy időt takarítson meg a felhasználónak. Kim szerint a modellek folyamatosan nővő képességei hamarosan lehetővé teszik, hogy a pénzügyi elemzők több feladatot delegáljanak ügynököknek.
Kim konkrét jóslatokat tett 2027-re: szerinte a pénzügyi iparág egyre kevésbé fog Excelre és PowerPointra támaszkodni, és az ügynökök elég képessé válhatnak befektetési ötletgenerálásra és kereskedésre. A képességek növekedésével szerinte javul a traceability (nyomonkövethetőség) is: "a pénzügyben meg kell tudni nézni, honnan származik egy szám és megérteni a kontextust" — mondta. Ennek része, hogy a felülvizsgálat természetes része legyen a ChatGPT for Financial Services élménynek.
Kim szerint az, hogy mikor kell embernek beleszólnia, termékdizájn kérdés: meg kell tervezni az interfészt, és meghatározni, mi marad emberi kontroll, felülvizsgálat vagy jóváhagyás alatt.
Two Sigma: összerakható kontrollok az innováció támogatására
John Feminella, a Two Sigma SVP Architecture pozíciójában, szintén a termékdizájn kérdéseit járta körül keynote-jában. Feminella öt, a cég által bevezetett kontrollt ismertetett, amelyek célja az ügynökök féken tartása anélkül, hogy gátolnák a modell képességeit.
Feminella hangsúlyozta, hogy a biztonság és innováció nem ellentétes célok: kritikával illette az "approval fatigue" jelenségét, amikor minden döntés emberi jóváhagyást igényel, mert ez lassíthatja az innovációt és nagyobb kockázatot jelenthet, ha a jóváhagyók nem figyelnek kellően.
A Two Sigma megközelítése „guardrailokból és megosztott képességekből” áll, amelyek komponálhatók: "minden kontroll egy dolgot csinál, és együtt lehetővé teszik számunkra, hogy valódi autonómiával futtassunk ügynököket megfelelő biztonsági szinten." Egy konkrét kontroll az auto-mode classifier használata, amely a rutinszerű döntéseket önállóan kezeli, és csak a legfontosabb, döntést meghatározó kéréseket küldi emberhez.
Feminella szerint a klasszifikátorok jól kezelik az ambiguitást, míg determinisztikus szabályok a világos esetekre jobbak.
Anthropic: identitás, sandbox és jóváhagyási réteg
Anthropic bemutatása hasonló elveket mutatott be, külön hangsúlyt fektetve a pénzügyi ügynökök folyamatába beépített "trust" rétegre. Legutóbb az Anthropic bejelentette a Claude for Financial Advisors terméket, amely lehetővé teszi pénzügyi tanácsadók számára rendszereik csatlakoztatását Claude-hoz és egy készségkészlethez.
Belinda Neal, Anthropic Financial Services ügyvezető igazgatója elmondta, hogy amikor egy modell átlépi a működési küszöböt, az munkamódszerek hullámát indíthatja el. Keon Shahab, Anthropic alkalmazott AI szakembere, három lépésben foglalta össze a „trust layer” felépítését: ki az, akinek az ügynök helyettesíti (identitás és jogosultságok), hogyan lehet sandboxolni és meghatározni az ügynök jóváhagyási rétegét (hogy valaki aláírjon, mielőtt cselekszik), és hogyan biztosítsuk, hogy az ügynök továbbra is működni fog, amikor az idővel változó paramétereket beállítjuk.
Shahab példaként említett egy trade break vizsgálati ügynököt, amely ajánlatokat készít a megbízás módosítására, de nem hajtja végre azokat — csupán javaslatot tesz emberi jóváhagyásra. "Ha egyszer megépítünk egy megbízható alapréteget, gyorsan lehet skálázni és sok ügynököt telepíteni," zárta.
Bloomberg: determinisztikus védelem a modell körül
Andrey Rybka, a Bloomberg Office of the CTO, Head of Architecture & Emerging Technologies pozíciójában, valós incidenseket ismertetett, ahol ügynökök problémákat okoztak, és bemutatta azokat a védelmi eszközöket, amelyek megelőzhetik ezeket. Rybka felsorolta a scoped identity-ket és credential-eket, a tool call-ok feletti kontrollt, a kimenő forgalom korlátozását, audit trail-eket, költségkereteket és kill switch-eket.
Egy példában egy ügynök azt tekintette utasításnak, ami egy piactéri értékelésbe volt ágyazva, és raktározási parancsot adott. Rybka javasolta az input validációt, a prompt injection elleni védekezést, a provenance trackinget és a nagy értékű akciók emberi jóváhagyását. "Deterministic controls outside the model" — mondta: minden hívást ellenőrizni, naplózni és tartani egy leállító kapcsolót.
Gyorsan menni és biztonságosan megállni
Bár az OpenAI és Anthropic a pénzügyi ügynökök számára 'trust framework'-öket építenek, végső soron a pénzügyi cégek felelősek azért, hogy körülhatárolják az ügynököket. A Two Sigma megfogalmazása –, hogy a kontrollok lehetővé tegyék az autonómiát és ne akadályozzák azt — jól összegzi a konferencia üzenetét. Feminella hasonlata: "Miért van fék az autókon? Nem csak azért, hogy megállj, hanem hogy gyorsan mehess és biztonságosan megállj."
