Egy június 2026-ban végzett VentureBeat Pulse felmérés 157, legalább 100 fős szervezetet vizsgáló mintája azt mutatja: a vállalatok egyre nagyobb önállóságot adnak AI-ügynököknek, miközben egyre kevésbé bíznak az automatizált értékelésekben, amelyeknek elvileg meg kellene akadályozniuk a hibákat. A felmérés az „Agentic Reliability & Evals” témakörre fókuszált, és műszaki vezetőket kérdezett a belső értékelési gyakorlataikról, monitoringról és arról, milyen szintű emberi beavatkozást tartanak szükségesnek.
Fő megállapítás: az értékelési rés
A meghatározó eredmény egy „értékelési rés”: az a távolság, amely a vállalatok által az ügynököknek adott autonómia és az értékelésekbe vetett bizalom között húzódik. A megkérdezettek 50%-a jelezte, hogy az elmúlt 12 hónapban telepített olyan ügynök- vagy LLM-funkciót, amely átment a belső értékelésen, majd éles környezetben ügyféloldali hibát okozott (helytelen válasz, megszakadt workflow vagy minőségi incidens). A szervezetek negyede többször is találkozott ilyen esettel.
Csak 36% állította, hogy nem volt ilyen problémája; 8% nem végez előtelepítési értékeléseket, 6% pedig nem követi elég részletesen a gyökérokot ahhoz, hogy biztosan tudja. A tanulság világos: egy „átment” értékelés nem garantálja, hogy az ügynök működni fog a valós ügyfélkörnyezetben.
Kevés az általános bizalom az automatizált értékelésekben
A bizalom hiánya specifikus okokhoz kötődik. Mindössze 5% mondta, hogy teljes mértékben megbízik a jelenlegi automatizált értékelésekben; a többség valamely korlátnak tulajdonítja a bizalmatlanságot. A leggyakoribb panasz (29%) az, hogy az értékelések rosszul illeszkednek a valós kimenetekhez: a tesztek átengednek olyan modelleket, amelyek élesben hibáznak. Ezt követi az elfogultság vagy következetlenség (21%), az értékelések magyarázhatatlansága (18%) és a data-leakage vagy adatvédelmi aggályok (17%).
Autonómia növekedése — mégis kevés az ellenőrzés
Paradox módon a bizalom hiánya ellenére az autonómia plafonja emelkedik. A válaszadók 66%-a vagy már engedélyezi a teljesen automatizált, emberi beavatkozás nélküli (zero-human-in-the-loop) telepítést alacsony kockázatú ügynökök esetén (34%), vagy aktívan építi ki az ehhez szükséges csővezetéket, hogy 12 hónapon belül megvalósulhasson (33%). Csak 22% zárta ki ennek lehetőségét a közeljövőben.
Érdemes megjegyezni, hogy ez a trend nem kizárólag a kisebb cégekre jellemző: a nagyobb szervezetek (2 500+ alkalmazottal) kissé előrébb járnak a zero-human megoldások irányába, és valamivel gyakrabban tapasztaltak értékelésen átment, majd ügyfélnél megbukó ügynököt (54% kontra 48%).
Az értékelési eszközök széttagoltak és szolgáltató-vezéreltek
A piac korai, konszolidálatlan állapotban van. A leggyakrabban használt elsődleges eszközök között szerepelnek a model-szolgáltatók natív értékelései — például OpenAI natív eval és traces (17%) és Anthropic Claude Console evals (13%) — miközben ugyanolyan arányban (17%) jelölték meg, hogy nincs dedikált értékelőeszközük. Szaktervező független platformok (DeepEval 12%, Braintrust 8%, LangSmith, Weave, Promptfoo, Langfuse, Arize stb.) egyelőre alacsony részesedéssel vannak jelen; 11% saját megoldást épített.
Ez azt jelenti, hogy sok vállalat provider-native eszközökkel, házi szkriptekkel vagy semmilyen dedikált eszközzel értékeli az ügynököket.
Éles monitorozás: működés vagy kimenet minősége?
A gyakorlatban a produkciós monitorozás két féle dimenziót figyelhet: a rendszer működését (up/down, válaszidő, költség, hibák) vagy a kimenet helyességét (valós idejű, automatikus ellenőrzés arra, hogy a válasz helyes-e és szabályszerű-e). A válaszadók 51%-a csak a rendszer működését figyeli, 23% pedig a válaszok helyességét. Ha beleszámoljuk az ad-hoc emberi felülvizsgálatot és a „nem tudom” választ, akkor nagyjából háromnegyedük nem futtat automatikus, valós idejű helyességellenőrzést éles forgalmon.
Ez a vakság runtime oldalon párhuzamos a pre-deployment hibákkal: sok szervezet nem látja valós időben, amikor az ügynök magabiztosan, de rosszul válaszol.
Eszközválasztás és sikermérő: költség és következetesség
A választásnál a pragmatika dominál: a leggyakoribb választási tényező az értékelések költsége (28%), majd az integráció egyszerűsége (27%) és az értékelés pontossága (24%). A legfontosabb sikermutatóként a válaszadók 36%-a az értékelések következetességét jelölte meg (azonos viselkedésre ugyanazt az ítéletet kapni), megelőzve a kísérletezési sebességet (19%) és a hibák csökkentését (18%). Az aktuális eszközökkel való általános elégedettség mérsékelt: átlagosan 3,8 egy ötfokozatú skálán.
Befektetési irány: megfigyelhetőség és emberi felülvizsgálat
A következő 12 hónapban tervezett befektetések vezető céljai a produkciós megfigyelhetőség és az emberi felülvizsgálati munkafolyamatok. A legtöbb költség a megfigyelhetőségre megy; a második helyen a humán felülvizsgálat szerepel (26%), míg az automatizált értékelési csővezeték további fejlesztéseire kevesebben (16%) költenének. Csak 8% tervezi, hogy költségvetése nem növekszik.
Ez a kép arra utal, hogy a vállalatok kettős stratégiát választanak: egyszerre építik az autonómiát és növelik a felügyeleti kapacitásokat, tartalékként emberi beavatkozást fenntartva.
Eszközváltás a láthatáron
A piac mozgásban van: 64% tervez új, kiegészítő vagy cserélendő értékelési platformot 12 hónapon belül (31% a következő negyedévben). A fontolgatott opciók között DeepEval (20%) vezet, majd OpenAI natív evals (13%) és Braintrust (9%). Mivel ma sokan támaszkodnak natív eszközökre vagy semmire, ez a hullám inkább az első tényleges eszközbevonást jelenti, mint tömeges elpártolást.
Összegzés — az értékelési rés nőhet, nem csökken
A 157 válaszadó alapján (100+ alkalmazott) a helyzet iránya egyértelmű: a szervezetek több önállóságot adnak az AI-ügynököknek, mint amennyi bizalmat az értékelő rendszerekbe helyeznek. Félük tapasztalt olyan esetet, ahol egy „átment” értékelés után ügyfélnél hibás működés következett; csak elenyésző arány bízik teljesen az automatizált értékelésben; és sok helyen nem figyelik valós időben a válaszok helyességét. Ugyanakkor kétharmad kész vagy készül arra, hogy emberi jóváhagyás nélkül telepítsen változásokat.
A piac korai és széttagolt, a leggyakoribb megoldások a szolgáltató natív evaljei vagy a semmilyen dedikált eszköz hiánya. A jó hír az, hogy a következő évre tervezett befektetések a megfigyelhetőségre és az emberi felülvizsgálatra irányulnak, tehát a vállalatok érzik a rést. Mivel a felmérés iránymutató jellegű és a mintavétel a középvállalati szegmens felé tolódik, az eredmények pontos arányai óvatosan értelmezendők, de a trend — autonómia nő, bizalom nem tart lépést — világos.
Módszertan: a VentureBeat Pulse kutatásának ezen hullámában 2026 júniusában egyszeri, önkéntes válaszokból álló mintát gyűjtöttek (n=157), csak 100 vagy több alkalmazottal rendelkező szervezetekre szűrve. A minta szektorok és szerepkörök szerint vegyes: szoftver/technológia, retail/consumer, healthcare/life sciences, manufacturing és más iparágak, valamint termék- és programmenedzserek, tanácsadók, IT/engineering igazgatók és CIO/CTO/CISO szerepkörök. Az eredmények iránymutató jellegűek, nem probabillitásos, nem precíz populációbecslés.
