OpenAI nyilvánosságra hozta Decisions API nevű döntéshozó modelljét, miután a terméket a vállalat fejlesztői napján, 2024. szeptember 29-én bejelentette. A Decisions API a bejelentést követő csütörtökön minden ügyfél számára elérhetővé vált. A lépés a gyors és olcsó „System One” típusú döntésmodellek piacára való belépést jelenti, amelyet az elmúlt hónapokban a TypeSafe nevű startup népszerűsített.
Mi az újdonság és hogyan készült
A Decisions API lényege, hogy az LLM-eknél gyorsabb és olcsóbb módon tud döntéseket hozni: adott opciók közül választ, és mellé megbízhatósági (confidence) értéket ad. OpenAI termékvezetője, Nikunj Handa elmondta, hogy a csapat a TypeSafe Jev modelljére reagálva nem új, kifejezetten döntésre hangolt modellt fejlesztett, hanem a ChatGPT Luna modelljét konfigurálta át úgy, hogy csökkentse az inferenciaidőt és a költségeket.
Handa szerint "a nagy áttörés a sebesség volt: a válaszidők 1–3 másodpercről 100–120–180 milliszekundumra zsugorodtak." Hozzátette, hogy a jövőben speciális tréningekkel tovább javíthatják a modelleket, de a jelenlegi megoldás „a régi Luna” átalakítása révén is működik.
OpenAI a publikus verzióban új hang- és vizuális modalitásokat is bevezetett, és regionálisan célozta az inferencia erőforrásokat a alacsonyabb késleltetés biztosítása érdekében.
Ügyfélpróbák és mérhető hatások
A vállalat korai ügyfelei — köztük a Box, Datadog, Ramp és Speak — a Decisions API-t arra használták, hogy egyes munkafolyamatokban az OpenAI nagy nyelvi modelljeit (LLM) hatékonyabb, nagyobb áteresztőképességű döntésmodellekre cseréljék. Andrew Hsu, a Speak műszaki igazgatója (a Speak AI alapú nyelvtanuló eszközöket fejleszt), azt mondta, hogy a Decisions API-val az egyes akciók közötti idő 1,4 másodpercről 0,13 másodpercre csökkent. OpenAI saját Dots hangasszisztensén is a terméket használta a válaszidők javítására.
Handa megfogalmazása szerint a további sebességnövelés új alkalmazási területeket nyit meg: „megpróbálhatjuk elérni a körülbelül 60 milliszekundumos válaszidőt, és akkor elképzelhető egy API-hívás minden egyes videókerethez”.
Verseny és benchmarkok
A piacot az elmúlt időszakban TypeSafe Jev modellje indította el, és a TypeSafe gyors növekedése miatt a startupot korábban 7,6 milliárd dollár értékelésű vállalatként említették. TypeSafe új Jev modellje képfeldolgozási támogatást és „smart-if” állításokat is tartalmaz, és a cég nemrég saját rangsorokat is közzétett. Diogo Almeida, a TypeSafe vezérigazgatója óvatos a benchmarkokkal kapcsolatban, és azt javasolja, hogy a felhasználók saját munkafolyamataikban próbálják ki a modelleket.
Nyilvános rangsorok — például az AIM System One Index és az Artificial Analysis Decision Index — különböző eredményeket mutatnak: ezeken a listákon általában a Liquid által nemrég kiadott D1 Ultra és a Base Lab Elephant-1 szerepelnek elöl. A legfrissebb Jev modell mindkét indexen versenyképes: a rangsorokban hetedik és harmadik helyen áll, míg OpenAI Decision Modelje nyolcadik és tizennegyedik helyezést ért el. Ugyanakkor a TypeSafe modellei jelenleg a legtöbbet lekérdezettnek számítanak az OpenRouteren.
Egy szórakoztatóbb benchmark a JevMan, ahol döntésmodellek Pac-Man játékban mérik magukat: ezen a listán a legújabb Jev modell az élen áll. Felix Wunderlich, az Opper AI növekedési igazgatója, amely a JevMan benchmarkot készítette, azt emelte ki, hogy a Pac-Man „érdekes teszt a megszakítás nélküli, gyors és kockázatos döntések miatt; minden pillanatban a modellnek néhány száz milliszekundumban kell dönteni.”
Mire érdemes figyelni
Bár a döntésmodellek gyors és olcsó alternatívát ígérnek az LLM-ek egyes felhasználási eseteiben, nincs egyetlen egyértelmű mérce arra, mi tesz egy modellt „jóvá”: a sokszor összehangolt optimalizáció (intelligencia, költség, kalibráció, sebesség) alkalmazásonként eltérő eredményt hoz. OpenAI előnye lehet a multimodalitásban: Handa szerint „Luna rendkívül erős” a képosztályozásban és jó kalibrációt mutat, és a felhasználók több rugalmasságot szeretnének abban, hogy a Decisions API képeket is használjon kimenetként.
Ahogy ezek a modellek egyre gyorsabbak és olcsóbbak lesznek, várhatóan egyre több rejtett, korábban kihasználatlan alkalmazási terület válik majd elérhetővé — ahogy a névadó Jev (a közgazdász említése szerint) is hangsúlyozza: a hatékonyabb erőforrás-használat terjedéséhez vezet.
Kiemelt tények: a Decisions API-t szeptember 29-én jelentették be, és a bejelentést követő csütörtökön vált széles körben elérhetővé; a válaszidők Handa szerint 1–3 másodpercről körülbelül 100–180 milliszekundumra csökkentek; Speak-nél az akciók közti idő 1,4 s-ről 0,13 s-re csökkent; TypeSafe értékelésére 7,6 milliárd dollár hivatkoztak; a különböző benchmarkokon a Jev, D1 Ultra, Elephant-1 és OpenAI modellek eltérő helyezéseket értek el.
