Iparág

Az ügynökök tokenfogyasztása megtöri a per-token ár előnyét

A főszereplő a DeepSeek és az enterprise AI-szolgáltatókat érintő iparág, ahol a DeepSeek V4-Pro modelljének 75%-os árcsökkentése ellenére a vállalati szereplőknek romlanak a fedezeti mutatóik.

Az ügynökök tokenfogyasztása megtöri a per-token ár előnyét

DeepSeek V4‑Pro modelljének nemrég bejelentett, 75%-os árcsökkentése elvileg jó hír lett volna vállalati AI‑szállítók és fejlesztők számára. A gyakorlatban azonban kiderül: az olcsóbb modellek nem jelentenek automatikusan jobb árrést. A probléma lényege egyszerű: míg az inferencia költségei jelentősen csökkennek, az ügynökrendszerek sokkal gyorsabban zabálják fel a tokeneket, mint ahogy az árak esnek.

Az elmúlt két évtizedben a szoftvergazdaságot az a szabály határozta meg, hogy az infrastruktúra évente olcsóbb lett, miközben az alkalmazások képessége nőtt. Sokan azt várták, hogy az AI is hasonlóan alakul: ahogy a frontier modellek javulnak és a tokenárak csökkennek, az inferencia üzemeltetési költsége elhanyagolhatóvá válik. Ez a feltételezés mára összeomlani látszik.

Mi az a token‑amplifikáció?

Egy egyszerű chatbotnál egy felhasználói kérdés többnyire egy modellhívást eredményez. Egy ügynök azonban ugyanazt a kérést láncszerű műveletsorozattá alakítja: tervezés, keresés, eszközhasználat, ellenőrzés, összegzés és további döntések. A felhasználó egy választ lát, a szolgáltató pedig az összes lépést fizeti. Ezt nevezik a 100x problémának: ugyanaz a felhasználói kérés ügynök alapú munkafolyamatként sokkal többe kerülhet, mint chatbotként vagy RAG (retrieval‑augmented generation) válaszként. Hosszabb munkafolyamatoknál a megszorzó még nagyobb.

A modellárak csökkenése segít, de nem orvosolja azt a termékarchitektúrát, amely egy promptból több tucat számlázható műveletet csinál.

Konkrét példa és mértékek

Az ügynökök esetében a bemeneti‑számlázott arányok rendkívül magasra rúghatnak. Míg egy egyszeri körös chatbotnál ez az arány nagyjából 1:5, egy többlépéses ügynöki folyamatnál gyakran 1:700 vagy még több. Minden iteráció magával viszi a korábbi beszélgetést, az eszközök kimenetét és a következtetési nyomvonalakat — semmit sem dob el automatikusan.

Egy „egyszerű” ügynöki lekérdezés, például: „Mit kérdezett a legfontosabb ügyfelünk a múlt héten?” tipikusan hét fizetett műveleten megy keresztül, mielőtt válasz születik:

  • Felhasználói prompt (~50 token)
  • Rendszerprompt és eszközdefiníciók (~3 000 token, minden hívásnál ismétlődő)
  • Retrieval (~5 000 token kontextus)
  • Modellhívás #1 — eszköz kiválasztás (8 000 in / 200 out)
  • Eszköz végrehajtás (~4 000 token vissza)
  • Modellhívás #2 — összegzés (12 000 in / 400 out)
  • Modellhívás #3 — következő lépés döntés (12 400 in / 100 out)

Egy mondat bevitele nagyjából 35 000 bemeneti token számlázást eredményez. Frontier modelleken ez lekérdezésenként valahol 0,10 és 0,40 dollár között mozoghat. Egy hónapban egymillió lekérdezésnél — ami bármely vállalati B2B funkció számára alap‑volument jelent — ez hat számjegyű költségtétel lehet.

Miért törik meg ez a meglévő AI‑üzleti modellt?

A vállalati AI‑szolgáltatások domináns árszabási története a seat‑alapú SaaS: havi díj felhasználónként, ügynök képesség nyújtása, margin bezsebelése. Ez a modell feltételezi a költség/​felhasználó ésszerű korlátját. A token‑amplifikáció ezt a feltételezést borítja fel. Egy „power” felhasználó, aki napi 50 ügynök‑invokációt futtat egy 40 dolláros seat terv mellett, több inferencia‑költséget generálhat, mint amennyit a díj fedez. Ilyenkor a bruttó árrés negatívvá válhat.

Több vállalatnál már belső beszámolók szerint negatív bruttó árréseket látnak a nehéz felhasználóknál; ez a tendencia összhangban van néhány felhő‑költségjelentéssel, amelyek az AI‑ügynökök elterjedése és a bruttó árrés összeomlása közötti korrelációt mutatják. A nyilvános tudósítások is elkezdték felfedni ennek jeleit: a Bloomberg írása például a Salesforce Agentforce marketing demo‑jainak és a ténylegesen kiszállított képességeknek a növekvő szakadékát dokumentálta — tipikus tünete annak, amikor egy ígért funkcionalitás technikailag lehetséges, de gazdaságilag nem fenntartható a feltételezett seat‑ár mellett.

Nvidia Bryan Catanzaro idézett megjegyzése is tükrözi a helyzetet: „For my team, the cost of compute is far beyond the costs of the employees.”

Műszaki válaszok: az orkestráció mint védvonal

A túlélésre alkalmas technikai megoldások ismertek és konvergálnak; nem újak, de kritikusak:

  • Költség‑tudatos routing: egy kis osztályozómodell dönt arról, melyik modell‑szint dolgozza fel a lekérdezést. Jól hangolt routerek körülbelül 60%-kal csökkenthetik az inferencia számlát minőségromlás nélkül.
  • Prompt caching: cégek, köztük Anthropic, OpenAI és Google, 75–90% kedvezményt kínálnak a cache‑elt prefixekre.
  • Kontextus‑fegyelem: korlátozni kell az eszközkimeneteket, megrövidíteni a következtetési nyomvonalakat és maximalizálni az eszközmélységet, hogy az ügynök ne ragadjon le egy nyúlásban.
  • Spekulatív dekódolás: önhostolt környezetekben ez 2–3× effektív áteresztőképességet adhat ugyanazon GPU‑kon.

IBM megfigyelése szerint az orkestráció‑vezérelt kormányzás sokkal nagyobb termelékenységi előnyt ad, mint a csak megfelelésre épülő megközelítések.

A jól épített orkestrációs rétegek inkább pénzügyi kereskedési rendszerekre hasonlítanak: minden routing‑döntésnek ára van, minden útvonaltól elvárnak külön P&L‑t, minden bérlőnek mérhető költségkerete van.

Mit tegyenek a vállalati vezetők?

Négy lépés választja el azokat a cégeket, amelyek megőrzik az árrést 24 hónap múlva, azoktól, amelyek nem:

  1. Tegyék az inferencia költséget elsőrendű metrikává. Mérjék funkciónként, bérlőnként és lekérdezés‑osztályonként, ahogy a felhőköltséget is kezelték a 2010‑es évek közepétől.
  2. Költségvetésszerűen kezeljék: állítsanak fel ezer lekérdezésre jutó költség plafonokat funkciónként, korlátozzák és riasztassák a túllépéseket.
  3. Kezeljék a routert mint alapinfrastruktúrát, ne mint optimalizálást: ez a modern load balancer.
  4. Auditálják a promptokat negyedévente: egy folyamatosan növő, 4 000 tokenes rendszerprompt lassan, de biztosan hat számjegyű számlát jelent.

Ezen túl érdemes korán tárgyalni volumen‑commitokról: a frontier‑modell szolgáltatók most előfizetés‑szerű, előre fizetett kedvezményeket kínálnak; a listaár a legrosszabb ár, amit egy vállalat fizethet.

Következő 24 hónap: mi áll a háttérben?

Az alapvető változás nem az, hogy az AI drága; éppen ellenkezőleg: DeepSeek mai árcsökkentése is jelzi, hogy a frontier inferencia egységköltsége évente körülbelül 3×‑kal csökken, és a tendencia nem lassul. A változás lényege, hogy az amplifikáció gyorsabban növekszik, mint az árak csökkennek. A per‑token ár 75%-os csökkentése nem segít azon a cégén, ahol az ügynökök lekérdezésenként 700×‑kal több tokennel számolnak, mint amit a díjszabás feltételezett.

A felhő korszak kezdete óta most először válnak az architekturális döntések valós idejű pénzügyi döntéssé: egy prompt újratervezése margin‑esemény, egy rosszul korlátolt ügynök‑loop pedig olyan kiesés, amelyhez hitelkártya‑költség társul. A következő két év túlélői nem azok lesznek, akik a legolcsóbb modellt futtatják, hanem azok, amelyeknek az ügynökei értelmesek és tudják, mennyibe kerül „gondolkodniuk”.


Maitreyi Chatterjee szenior szoftvermérnök egy nagy technológiai cégnél. Devansh Agarwal ML mérnök egy vezető tech vállalatnál.