A Menlo Parkban található Hotel Nia impozáns báltermét megtöltötték a VB Transform 2026 konferencia résztvevői, ahol az üzleti eredményeket célzó generatív ügynökök gyakorlati alkalmazásairól vitáztak. Rachad Alao, a kanadai vállalati AI‑startup Cohere termékmérnöki alelnöke Matt Marshalllal, a VentureBeat vezérigazgatójával és főszerkesztőjével folytatott beszélgetésben az ügynökök építéséről és az érzékeny adatok, az infrastruktúra és a beszállítói mozgástér megőrzéséről beszélt.
Alao, aki korábban a felelős mesterséges intelligencia és trust & safety mérnöki csapatokat vezette a Google‑nál és a Meta‑nál, azt hangsúlyozta, hogy az AI‑szuverenitás többet jelent annál, minthogy letöltünk egy nyílt modellt vagy egy alkalmazást futtatunk vállalati tűzfal mögött. Példaként a bankokat, kórházakat és kormányzati szerveket említette: ezeknél rendkívül fontos a szigorú kontroll az adatok elhelyezkedése és az AI működése felett.
A szuverenitás kiterjed a GPU‑któl és a privát felhőinfrastruktúrától kezdve a kéréseket modellek között elosztó irányítási rendszerekig, valamint az olyan csatlakozókra, keresőeszközökre és ügynökkeretrendszerekre, amelyek vállalati adatokon dolgoznak. „Fontos, hogy teljes kontroll legyen az egész stack felett” — foglalta össze Alao.
Tokenfelhasználás és ügynökölt munkaterhelések
Marshall felvetette, hogy az inferenciaárak folyamatos csökkenése gyengítheti azt az üzleti érvet, amely a kisebb, helyben futó modellek mellett szól. Alao szerint azonban a teljes fogyasztás ennél gyorsabban növekszik, mert a vállalatok egyszerű chatbotoktól komplex, több lépéses ügynökökre váltanak, amelyek problémákat gondolnak végig, eszközöket hívnak meg, belső rendszerekben keresnek és több lépésben adnak választ.
„A tokenfelhasználás exponenciálisan nő, mert egyre összetettebb ügynöki felhasználási esetekkel foglalkozunk” — mondta Alao, hozzátéve, hogy ezek a munkafolyamatok sok feldolgozást, „gondolkodást” és eszközinterakciót igényelnek.
Alao különbséget tett azok között a szolgáltatók között, amelyek tokenalapú elszámolással dolgoznak, és Cohere megközelítése között. Szerinte ha valaki kizárólag tokenfogyasztás alapján számláz, akkor a modellhasználat maximalizálása lesz a cél. Cohere ezzel szemben nem tokenalapú értékesítési modellel dolgozik, és törekszik arra, hogy segítsen az ügyfeleknek a legnehezebb problémáikat privát és biztonságos módon megoldani, miközben csökkenti a fölösleges modellhasználatot. Javaslata egyszerű: „Használd a feladathoz illő modellt.”
Ennek megfelelően nem ajánlja, hogy minden kérés a legnagyobb frontier modellhez menjen: a feladat intelligenciaszükséglete és az érzékenység vagy szabályozási teher alapján kell irányítani a munkát. Alao példaként említett egy névtelen kanadai bankot, amely Cohere on‑premise modelljeit használja erősen szabályozott munkaterhelésekhez, míg kevésbé érzékeny, de nagyobb intelligenciát igénylő feladatokat a Cohere North platformon keresztül nagyobb frontier modellekhez irányít.
Kis modellek a legtöbb vállalati feladathoz
A hallgatóság egyik kérdése arra irányult, hogyan versenyezhet a Cohere által a múlt hónapban kiadott North Mini Code nyílt forráskódú modell a zárt forrású kódolási modellekkel. Alao elismerte, hogy a legnagyobb frontier modellek a legnehezebb feladatokon mutathatnak némi előnyt, de ez nem indokolja azok mindenfelé való alkalmazását.
„A felhasználási esetek 80%-ára ez sokkal hatékonyabb és olcsóbb volt” — mondta Alao a modellüket használó fejlesztőkről. A North Mini Code egyetlen Nvidia H100 GPU‑n fut, és ügynöki szoftverfejlesztést céloz, beleértve terminálműveleteket, kódáttekintést és eszközhasználatot.
A Cohere emellett bemutatta a Command A+ modellt is: ez egy 218 milliárd paraméteres mixture‑of‑experts architektúra, amelyből generáláskor egyszerre csak 25 milliárd paraméter aktív. A modell négybites tömörített változata csökkenti a privát telepítéshez szükséges hardverigényt, és az Apache 2.0 licenc széles mozgásteret biztosít a vállalati felhasználásra és módosításra.
A keresés beépül az ügynökbe
Alao a Cohere hosszú ideje tartó munkájára hivatkozva az embeddings és vállalati keresés terén elmondta, hogy a mező elmozdul a szöveg visszakeresésén és kontextusablakba illesztésén túl. „Ma a csúcstechnika a multimodális keresés körül van” — mondta. A dokumentumok, képek és más információtípusok közötti keresés egyre inkább az ügynöki munkafolyamat szerves részévé válik, ahol a modell dönt arról, mikor és hogyan használja a lekérést mint eszközt.
Végül, ha arról van szó, mi ösztönözné a vállalatokat arra, hogy elmozduljanak a meglévő felhőszolgáltatók bundlizott AI‑szolgáltatásai mögül, Alao ismét az adatok feletti kontroll és a hordozhatóság fontosságát említette. Cohere irányítási rétege lehetővé teszi az ügyfelek számára a forgalom megfelelő modellekhez történő irányítását, így csökkentve a beszállítói lock‑innel kapcsolatos aggályokat, amelyek sok ügyfelüket foglalkoztatják.
