VentureBeat Pulse júliusi felmérése szerint azoknál a vállalatoknál, amelyek már tapasztalták, hogy egy AI-ügynök átesik a belső vizsgálatokon, majd élő környezetben hibát okoz, gyorsabban halad előre az emberi jóváhagyás elhagyása a telepítési döntéseknél — miközben általánosan nő a bizalom az automatizált értékelések iránt.
A júliusi hullámban 108 vállalati döntéshozót kérdeztek meg; 13% jelezte, hogy teljes mértékben bízik az automatizált értékelésben, szemben a júniusi 5%-kal. Ugyanakkor azok aránya, akik a vizsgálatok és a valós eredmények rossz összehangolását nevezték legnagyobb aggodalmuknak, hónapról hónapra 29%-ról 19%-ra csökkent.
A hibák nem ritkultak
A válaszadók 49%-a mondta, hogy az elmúlt évben legalább egyszer előfordult, hogy egy belső teszteken átment AI-ügynök vagy LLM-alapú funkció később ügyféloldali problémát okozott; ez az arány gyakorlatilag változatlan a júniusi 50%-hoz képest. A válaszadók 24%-a azt is jelezte, hogy ez a jelenség többször is előfordult.
VentureBeat Intelligence kiemeli: ez az eredmény nem azt jelenti, hogy az összes futtatás 49%-a sikertelen, hanem azt, hogy az adott szervezetek legalább egyszer tapasztalták, hogy a kiadási kapu (a belső értékelés) engedett egy rendszert, amely később ügyfelet érintő hibát produkált.
Bizalom és tapasztalatok felosztása
A júliusi adatokon belül erősen megmutatkozott a megosztottság. Azoknál a vállalatoknál, amelyeknél volt ügyféloldali csalódás, csak 4% bízik teljesen az automatizált ellenőrzésekben; ezzel szemben a panaszmentesnek számító szervezetek 24%-a nyilatkozott teljes bizalomról. A tapasztalat tehát logikusan csökkenti a teljes bizalmat.
A hibát elszenvedett cégek gyorsabban haladnak az ember nélküli telepítés felé
Összességében a válaszadók 67%-a mondta, hogy bizonyos alacsony kockázatú esetekben engedik az ügynöknek kód vagy rendszerváltoztatás végrehajtását személyes jóváhagyás nélkül, vagy a következő évben erre építik át folyamataikat (37% már engedi, további 30% az átálláson dolgozik). Azonban a korábban ügyfélproblémát okozó rendszerekkel rendelkező vállalatoknál ez az arány 85% volt, szemben a panaszmentes csoport 61%-ával.
A felmérés nem tudja eldönteni, hogy ez felelőtlen kockázatvállalás-e vagy a telepítési érettség jele: azok a szervezetek, amelyek több ügynököt futtatnak és összetettebb munkafolyamatokra építenek, egyszerre vannak kitéve több hibalehetőségnek és rendelkeznek olyan mérnöki infrastruktúrával, amely lehetővé teszi az automatizált kiadásokat.
Gyenge a termelési minőség automatikus ellenőrzése
A pre-deployment (kiadást megelőző) tesztelés és a termelési monitorozás különböző kérdésekre ad választ: a teszt arra, hogy egy ügynök készen áll-e, a monitorozás pedig azt vizsgálja, hogy a kiadott ügynök élőben helyes eredményeket ad-e. A júliusi mintában a vállalatok többsége még mindig inkább azt figyelte, hogy a rendszer működik-e, nem azt, hogy a válaszok helyesek-e.
106 érvényes válasz alapján 26% alkalmaz inline minőségi állításokat (automatizált bírók vagy védőkorlátok, amelyek a live forgalmat vizsgálják a kimenet minősége szempontjából), további 26% tranzakciós nyomkövetést (infrastruktúra-spannek, tokenhasználat, nyers input/output), és 24% gateway-mutatókat (latencia, hibák, költség). Összességében a válaszadók fele csak azt figyelte, hogy az ügynök működik, míg valamivel több mint egynegyed automatikusan ellenőrizte a kimenet helyességét.
Különös aggodalomra ad okot, hogy a 40 olyan szervezet közül, amelyek már részlegesen engedélyezik a jóváhagyás nélküli telepítést, csupán 28% ellenőrzi automatikusan a válaszok jelentését és helyességét. Vagyis a legtöbb olyan vállalat, amely eltávolította az embert a kiadási döntésből, nem telepített szemantikai minőségellenőrzést mint produkciós védőhálót.
Független értékelő eszközök és piac alakulása
A jelentés arra is rávilágít, hogy egy különálló agent-értékelési réteg kezdi megjeleníteni magát az adatpontok alapján. Az elsődleges platformok megoszlása júliusban: OpenAI native evals és tracek 18% (első hely), Confident AI DeepEval 17%, Braintrust 15%, Anthropic Claude Console és Workbench 12% (ez megegyezett azokkal, akik nem használtak dedikált platformot). Három opció tartott 6%-ot: belső fejlesztésű eszközök, Promptfoo és LangSmith.
Szélesebb láthatóságban az OpenAI-natív eszközök 31%-ban, DeepEval 27%-ban, Braintrust 22%-ban és Anthropic 20%-ban jelentek meg valamelyik vállalati veremben. Braintrust primáris részesedése júniusról júliusra 8%-ról 15%-ra nőtt, DeepEval pedig 12%-ról 17%-ra. Ezek az arányok implementációs és integrációs döntések felé hajlanak: az integráció egyszerűségét kiválasztó válaszadók aránya 12 százalékponttal nőtt, 39%-ra, míg a költség súlya 28%-ról 23%-ra csökkent.
Költségvetési irányok és emberi felülvizsgálat
A költségvetési prioritások azt mutatják, hogy a vállalatok hogyan kezelik a nagyobb autonómia és a kifogásolható értékelések közti ellentmondást: az emberközpontú felülvizsgálati folyamatokra fordítandó befektetés került éppen előnybe (31%) a produkciós monitorozás (30%) előtt. Az automatizált értékelési csövek 19%-ot kaptak, a biztonsági és megfelelőségi tesztelés 16%-ot.
Azoknál a vállalatoknál, amelyek tapasztaltak tesztátmeneti hibát, 38% jelezte, hogy az emberi felülvizsgálat kapja a leggyorsabb költésnövekedést, míg a nem megégetett szervezeteknél ez az arány 24% volt. Így paradox módon a „burned” csoport egyszerre hajt a teljesítményorientált automatizálás felé és növeli a humán utóellenőrzési kapacitást — azaz automatizáció emberi backstop-pal.
Rövid következtetés
A júliusi felmérés irányadó eredményt mutat: a vállalati bizalom az automatizált értékelések iránt nőtt, mégsem csökkent a belső teszteken átment, de később ügyfelet érintően hibázó rendszerek aránya. A piac érettségének jelei: specialisták és dedikált értékelő eszközök terjednek, a vásárlók integrálhatóságot keresnek, és a korábban hibát tapasztaló cégek növelik az emberi felülvizsgálatba való befektetést. Ugyanakkor a rendelkezésre álló adatok azt mutatják, hogy a pre-deployment vizsgálat önmagában nem elég; a termelési szemantikai minőségellenőrzés sok helyen hiányzik, ami kockázatként megmarad, különösen ott, ahol az emberi jóváhagyást már eltávolították a kiadási folyamatból.
