A vállalati költségkezelő platform, Ramp, bemutatta Router nevű szolgáltatását, amely API-n keresztül teszi lehetővé különböző nagy nyelvi modellek közötti váltást és kérések irányítását. A cég közlése szerint a saját AI-használati igényeihez ezt az útválasztót már három éve belsőleg használja.
Hol és mikor érhető el, díjazás
A Router jelenleg kizárólag az Egyesült Államokban érhető el. A szolgáltatás ingyenesen használható 2026 végéig (a felhasználóknak továbbra is a modell-inferencia költségeit kell fizetniük), és a bevezetéshez kapcsolódóan 26 dollár induló jóváírást kínál. A Ramp nem közölte, hogy a jövő év után mennyi lesz a szolgáltatás díja.
Milyen modellekhez és funkciókhoz biztosít hozzáférést
A Router jelenlegi kínálata többek között az alábbi modelleket teszi elérhetővé: OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI és Z.ai. A szolgáltatás emellett különböző „stratégiákat” kínál, amelyek alapján a felhasználók szabályozhatják, hogy a kéréseket mely modellek felé irányítsa a rendszer. Például van olyan beállítás, amely a szolgáltatók flex használati szintjét részesíti előnyben, illetve olyan, amelyik legfeljebb három, a felhasználó által megadott benchmark alapján választ modellt.
Egyik gyakorlati példa az, hogy a felhasználó csupán a nehezebb feladatokat irányíthatja drágább modellekhez, vagy könnyen tesztelhet különböző modelleket anélkül, hogy kézzel kellene váltania közöttük.
Mérések és irányítási felület
A Routerhez dashboard is jár, amelyen a felhasználók nyomon követhetik a token-költést, költségeket, késleltetést, visszaesési (fallback) kísérleteket és egyéb részleteket. Ezek a metrikák segíthetnek a költségek optimalizálásában és a modellválasztás finomhangolásában.
Adatkezelés és visszatartási irányelv
Fontos megjegyezni, hogy a Router alapértelmezés szerint opt-out adatmegőrzési politikát alkalmaz: a szolgáltatás egy évre rögzíti a modellbemeneteket, kimeneteket és az eszköghívásokat. A Ramp szerint a rögzített tartalom felhasználása előtt eltávolítják belőle a személyazonosításra alkalmas adatokat (PII), ha az adatokat a termék fejlesztésére használnák.
Miért számít ez a Ramp számára
A modell-útválasztás piacára lépés a Ramp számára kettős lehetőséget rejt: egyrészt részesedést szerezhet a növekvő AI-inferencia piacon, másrészt a meglévő ügyfelei számára olyan kiegészítő szolgáltatást kínálhat, amely illeszkedik a Ramp korábbi termékeihez — például a token-felhasználás és token-költés nyomon követéséhez.
Ha a Router ugyanolyan vonzó tesztelési terepnek bizonyul, mint például az OpenRouter, a Ramp hosszabb távú kapcsolatokat építhet ki AI-laborokkal és inferencia-szolgáltatókkal világszerte. Ez a stratégia támogatná a Ramp ügyfélszerzését és további belépési pontot adna költségkezelő termékeinek értékesítéséhez.
Pénzügyi háttér
A Ramp júniusban 750 millió dollárt gyűjtött be, és a vállalatot 44 milliárd dolláros értékelésre árazta a befektetés. A Router bevezetése ennek a növekedési törekvésnek egy új irányát jelzi.
