San Francisco-i startup, a Sapiom azt állítja, hogy jelentősen le tudta faragni egy ügyfél tokenalapú költségeit azáltal, hogy a kéréseket a leginkább költséghatékony modellekhez irányította és saját infrastruktúrán futtatott nyílt súlyú modelleket használt.
Ki, mit és mikor
- A Polsia nevű, San Francisco-i vállalat – amely automatizált, AI-ügynököket üzemeltet más vállalkozások számára – bevételi előrejelzése idén gyakorlatilag egyik napról a másikra 100 000 dollárról 10 millió dollárra ugrott, ugyanakkor tokenköltségei is megugrottak. A cég állítólag havi 1,2 millió dollárt költött Anthropic modellek használatára.
- Polsia alapítója megbízta a Sapiomot, amely tokenköltségek optimalizálására szakosodott, hogy vezessen le értékeléseket. Ilan Zerbib, a Sapiom alapító-vezérigazgatója szerint a vizsgálatok után a cég tokenfogyasztása mintegy tízszeresére csökkent: a havi költség körülbelül 100 000 dollárra mérséklődött.
- Zerbib azt mondta, hogy a jelenlegi árak mellett a frontier-modelleket kínáló szolgáltatóknál (például OpenAI és Anthropic) alkalmazott tarifák „fenntarthatatlanok”, és sok startup számára ellehetetlenítik a termék éles bevezetését még erős kereslet esetén is.
Sapiom üzleti modellje és termékei
- A Sapiom arra számít, hogy hosszabb távon csökkentheti a tokenköltségeket, és ennek finanszírozására 35 millió dolláros sorozat A tőkét próbál bevonni, amelyet a Dragonfly kockázati alap részéről Haseeb Qureshi vezet. A vállalat az év elején 15 millió dollárt gyűjtött egy seed körben, amelyet az Accel vezetett.
- Új terméke egy egységes API-kulcs alapján működő „model router”, amely automatikusan ahhoz a modellhez küldi a kérést, amely a feladatra leginkább költséghatékony. Ez közvetlen versenybe helyezi a Sapiomot az OpenRouterrel és más routing-megoldásokkal.
- A Sapiom különbözik a legtöbb routing-szolgáltatótól azzal, hogy saját szervereken, San Jose-i adatközpont racksorain futtat nyílt súlyú modelleket. A versenytársak többsége nem rendelkezik saját infrastruktúrával, inkább közvetítőként működik.
- A cég állítása szerint néhány ezernyi ügyfele van, és nem számít fel felárat a saját által biztosított modellek használatáért: mivel saját erőforrást üzemeltet, közvetlenül a számítási kapacitásért számláz.
- Emellett a Sapiom segít ügyfeleinek abban is, hogy autonóm ügynökeiket összekapcsolják a külső rendszerekkel és a gazdasággal: például fizetésfeldolgozást és SMS-szolgáltatást kínál.
Piaci kontextus és jelentőség
- A Sapiom finanszírozási körének időzítése összhangban van azzal, hogy a vállalati szintű AI-költségvetéseket a szervezetek most kezdik alaposabban átvizsgálni. A Forrester arra számít, hogy a vállalatok negyedével elhalasztják AI-kiadásaikat 2027-re. Egy KPMG felmérés júniusban több mint 2 100 felsővezető körében azt találta, hogy mindössze 7%-uk tudott egyértelmű, már meglévő megtérülést felmutatni az AI-beruházásokból.
- Az Uber operatív igazgatója májusban arról beszélt, hogy az AI-költségek „nehezebben indokolhatók” a vártnál.
- Ilan Zerbib szerint a legtöbb esetben – szerinte 95%-ban – nem éri meg a nagyon drága frontier-modell használata. Ugyanakkor arra is rámutatott, hogy alacsonyabb költségek hosszabb távon előnyösek lehetnek a frontier-modellszolgáltatóknak is, mert a megtakarítások lehetővé teszik több ügynök kialakítását, amelyek közül egyesekhez szükség lesz a legfejlettebb modellekre.
Verseny és kockázatok
- A routing és költségoptimalizálás területe erősen verseng: a felhős nagy szereplők, például az Amazon és a Microsoft, már integrálnak intelligens prompt-routingot a Bedrockba és az Azure-ba; nyílt forráskódú routerek ingyenesen elérhetők; az OpenRouter pedig hetente állítólag 25 billió (25 trillion) tokent mozgat át és kínál Auto Routert és Fusion nevű megoldást, amely olcsóbb modellek kombinálásával igyekszik megközelíteni a frontier teljesítményt.
- Egy piaci számláló mintegy 80 aktív routing-versenytársat számol.
Következtetés
A Sapiom vállalkozása arra épít, hogy a tokenalapú AI-inferencia egyik legnagyobb költségsorát hatékonyabban kezelve meghosszabbíthatja a startupok pénzügyi mozgásterét, és egyszerre versenyez a közvetítői szereplőkkel, a felhőszolgáltatókkal és az open-source megoldásokkal. A cég saját infrastruktúrája és egyesített API-routere éppúgy előnyt jelenthet, mint kockázatot abban a környezetben, ahol a routing megoldások gyorsan commoditizálódnak.
