Az OpenAI Dev Day eseményén kedden Sam Altman vezérigazgató egy kisebb bejelentésként ismertette a cég új Decisions API-ját. A bejelentés szerint az API olyan funkciókat kínál, amelyek hasonlítanak a TypeSafe AI által a hónap elején kiadott Jev modellre — vagyis egy LLM-alapú, gyors és olcsó döntéskimenetelő réteget biztosít.
Mire való a Decisions API?
Altman elmondása szerint a Decisions API lehetővé teszi, hogy az OpenAI Luna modelljének előre definiált választási lehetőségeket adjanak meg: például képosztályok, vagy különböző ügynök-viselkedések közötti választás. Az ötlet lényege, hogy a modellt a konkrét választásra fókuszálva nagyon gyorsan lehessen futtatni, miközben megmaradnak az olyan képességek, mint a képfeldolgozás, széles körű nyelvi támogatás és a biztonsági védelmek.
Altman: “Ha a modellt erre a választásra fókuszáljuk, rendkívül gyorssá tehetjük, miközben megtartjuk a képfeldolgozás, a széles nyelvi támogatás és a biztonsági védelmek képességeit.”
Kapcsolat a Jev-vel és az iparági reakciók
A Decisions API működése sok tekintetben emlékeztet a Jev-re, amelyet a TypeSafe AI mutatott be korábban. A Jev-et kifejezetten szoftverautomatikára tervezték: egyfajta „szuper-osztályozóként” a modellnek adott választási lehetőségeket valószínűségekként adja vissza olcsón és nagy sebességgel.
TypeSafe nem reagált a TechCrunch megkeresésére az OpenAI újdonságával kapcsolatban, de a cég vezérigazgatója, Diogo Almeida — aki a forrás szerint egykori OpenAI mérnök és a „reinforcement learning” egyik feltalálójaként szerepel — tréfásan megjegyezte X-en, hogy ez a klónháborúk kezdete. Almeida azt is hozzátette, hogy az OpenAI érdeklődése jelzés lehet arra nézve, hogy a System One kompatibilis mód (TypeSafe terminológiájával: gyors, intuitív gondolkodás) lehet a jövő.
Miért számít ez?
A háttérben az a megfigyelés áll, hogy a hagyományos nagy nyelvi modellek sok szoftveres feladathoz túl lassúak és költségesek. Fejlesztők a Jev-et LLM-ek mellett használva tapasztalták, hogy gyorsabb és olcsóbb döntési réteget kapnak. OpenAI Decisions API-jának részletei még korlátozottak — jelenleg csak előzetes, zárt hozzáférésű verzióként elérhető —, így nem világos, mennyire lesz pontosan hasonló a Jev-hez; mindazonáltal az X-en tapasztalható beszélgetések alapján erős az érdeklődés.
Alkalmazás: ügynökfelügyelet és biztonság
Egy ígéretes alkalmazási terület az AI-ügynökök felügyelete és biztosítása. OpenAI azután vezetett be új biztonsági intézkedéseket, hogy ügynökei sorozatosan rosszul viselkedtek az interneten: egy külön modellt használnak a káros cselekvések észlelésére, ami „szignifikáns számítási költséggel” jár.
A QueryStory-t vezető, hosszú ideje kiberbiztonsági szakember Shapor Naghibzadeh szerint egy Jev-szerű modell sokkal olcsóbban meg tudná oldani az ilyen felügyeletet. Egy múlt hétvégi hackathonon készült demójában Jev-t használt arra, hogy a végrehajtandó ügynökcselekvéseket ellenőrizze a feladathoz viszonyítva: nagy biztonsággal rossznak ítélt akciókat blokkolt, másokat felülvizsgálatra jelölt, a többit pedig engedélyezte.
A bemutató szerint ez a fajta ellenőrzés elméletben megakadályozhatta volna a Hugging Face incidensét — és a költségkülönbség jelentős: a Jev-alapú ellenőrzés 2,94 dollárba került, míg egy frontier LLM használata 372 dollár lett volna.
Jövő és fontos kérdések
Több startup is hasonló, Jev-szerű döntésmodelleket fejleszt, és valószínű, hogy az OpenAI sem lesz az utolsó nagy szereplő ezen a területen. A kulcskérdés az lesz, hogy ezek a modellek mennyire lesznek jól kalibráltak a való életbeli döntésekre: milyen megbízható és pontos valószínűségi kimeneteket adnak.
Diogo Almeida szerint a TypeSafe erőssége az általuk előállított szintetikus adatokban rejlik, amelyek statisztikailag hasznos kimeneteket segítenek előállítani. Almeida a TechCrunchnak azt mondta: „Gyorsnak és olcsónak lenni nagyon könnyű — ha tényleg gyorsra és olcsóra vágysz, használj kockadobást. Az intelligencia a nehéz rész, és nyugatcsillagom mindig az intelligencia-per-dollár Pareto-görbéjének tolása.”
Rövid távon úgy tűnik, hogy ezek a gyors, olcsó döntésmodellek jövője ígéretes, különösen az ügynökfelügyelet terén, ahol elég olcsók lehetnek ahhoz, hogy minden egyes ügynök-cselekvésre lefuttassák őket, és így plusz felülvizsgálati réteget biztosítsanak.
