A hét eseményei középpontjában az állt, hogyan lehet egyensúlyt teremteni az ügynökök (agentek) önállósága és a biztonság, illetve megfelelés között a pénzügyi alkalmazásokban. Első vonalbeli kutatólaborok és pénzügyi szereplők egyaránt azokra a tervezési döntésekre koncentráltak, amelyek meghatározzák, hogy hol és hogyan helyeznek el ellenőrzéseket és emberi jóváhagyást.
OpenAI: a „hasznosság küszöbe” és nyomonkövethetőség
Joseph Kim, a ChatGPT for Financial Services vezetője az OpenAI-től tartott főbeszédet az AIE New York rendezvényen. Kim a megbízhatóságról és a „threshold of usefulness” — azaz a hasznosság küszöbéről beszélt: ez az a pont, amikor egy modell elég képessé és megbízhatóvá válik ahhoz, hogy időt takarítson meg a felhasználónak. Kim szerint a modellek folyamatos fejlődése hamarosan átviszi a pénzügyi elemzőket ezen a küszöbön, és lehetővé teszi számukra, hogy több feladatot delegáljanak agentekre.
Kim konkrét jóslatot is tett 2027-re: állítása szerint a pénzügyi iparág kevésbé fog Excelre és PowerPointra támaszkodni, és az agentek képesek lesznek befektetési ötletek generálására és kereskedésre. Emellett kiemelte, hogy a modellek képességeinek növekedése javítja a traceability, vagyis az adatok és számítások származásának ellenőrizhetőségét — a pénzügyi szektorban ez elengedhetetlen, mert meg kell tudni magyarázni, honnan származik egy szám és milyen kontextusban keletkezett.
Kim hangsúlyozta, hogy a döntés arról, mikor szükséges emberi beavatkozás, elsősorban terméktervezési kérdés: hogyan változik meg a felhasználói felület, és mit kell a felhasználónak továbbra is kontrollálni, felülvizsgálni vagy jóváhagyni.
Two Sigma: kompozit kontrollok és „jóváhagyási fáradtság” elkerülése
John Feminella, a Two Sigma SVP Architecture pozíciójában, szintén a terméktervezésre és a kontrollok gyakorlati megvalósítására fókuszált. Feminella kiemelte, hogy a biztonság és az innováció nem ellentétes célok; különösen veszélyes a „jóváhagyási fáradtság”, amikor egy ember túl sok döntést hagy jóvá, és emiatt lassul a fejlődés, illetve nő a kockázat, ha a figyelem lankad.
A Two Sigma egy olyan kontrollrendszert vezetett be, amelyet Feminella „guardrails and shared capabilities”-ként ír le — ezek modulárisan összekapcsolhatók: minden kontroll egy konkrét feladatot lát el, és együtt lehetővé teszik az ügynökök valódi fokú autonómiáját biztonságos szinten. Egy példa a gyakorlatból az auto-mode osztályozók használata: ezek eldöntik a rutinszerű kéréseket, és csak a legfontosabb, emberi döntést igénylő eseteket küldik tovább embernek. Az osztályozók jól kezelnek kétértelmű eseteket, míg a determinisztikus szabályok egyértelmű helyzetekre alkalmasabbak.
Anthropic: identitás, jóváhagyás és a bizalom rétege
Anthropic a pénzügyi agentekbe épített „bizalomréteg” megközelítését ismertette. A vállalat az elmúlt hónapban bejelentette a Claude for Financial Advisors terméket, amely lehetővé teszi, hogy pénzügyi tanácsadók rendszereiket Claude-dzsal és hozzá kapcsolódó munkafolyamat-készségekkel összekapcsolják.
Belinda Neal, az Anthropic Financial Services ügyvezető igazgatója azt mondta, hogy időről időre a modellek átlépnek egy küszöböt, és amikor ez megtörténik, jelentős munkamódbeli változások következnek be. Keon Shahab, aki az alkalmazott AI-val foglalkozik Anthropicnál, azt a három lépést vázolta fel, amelyek a „trust layer” kialakításához szükségesek: 1) az ügynök azonossága és jogosultságai (identity and permissions layer), 2) a sandboxolás és a jóváhagyási réteg meghatározása, hogy valaki aláírjon, mielőtt az ügynök cselekszik, és 3) annak biztosítása, hogy az ügynök továbbra is működjön, ha idővel változtatunk környezeti változókon.
Shahab példaként egy trade break vizsgálati agentet említett: az agent javaslatot tehetne egy megbízás módosítására, de nem végezné el a módosítást jóváhagyás nélkül. Az Anthropic célja, hogy egy megbízható alapréteget építve gyorsan lehessen sok agentet skálázni.
Bloomberg: determinisztikus ellenőrzések a modellön kívül
Andrey Rybka, a Bloomberg Office of the CTO Architecture & Emerging Technologies vezetője, a valós esetekre építve mutatta be, milyen védelmek segíthetnek megelőzni az agentek okozta károkat. Rybka néhány javasolt védelmi elemet sorolt fel: korlátozott jogosultságok és hitelesítések (scoped identities and credentials), az eszközhívások kontrollja, kimenő forgalom korlátozása, audit trail-ek, költségkeretek és vészleállító kapcsolók (kill switches).
Rybka egy példában arról beszélt, hogy egy agent tévesen egy piactéri értékelésbe ágyazott utasítást hajtott végre készletrendelésként. Az ilyen esetek ellen ő input validációt, prompt injection elleni védelmet, provenance trackinget és emberi jóváhagyást javasolt nagy értékű műveletekre. Összegzése: „deterministic controls outside the model” — minden hívást ellenőrizni, naplózni és lehetőséget tartani a leállításra.
Következtetés: gyorsan menni, de biztonságosan megállni
A konferencia üzenete egységes volt: bár OpenAI és Anthropic is dolgozik megbízhatósági és bizalomrétegen alapuló megoldásokon, a végrehajtásért a pénzügyi cégek felelnek. A jó gyakorlat az, hogy olyan kontrollokat építsenek be — legyenek azok kompozit, moduláris guardrail-ek, osztályozók, sandboxok vagy a modellön kívüli determinisztikus ellenőrzések — amelyek lehetővé teszik az agentek hasznos autonómiáját anélkül, hogy felesleges útakadályokat állítanának fel.
Ahogy John Feminella fogalmazott: az autóknak azért vannak fékjei, nemcsak hogy meg tudjunk állni, hanem azért, hogy gyorsan tudjunk menni és biztonságosan megállni.
