Diogo Almeida, korábbi OpenAI-kutató és az RLHF (reinforcement learning from human feedback) egyik feltalálója, aki a ChatGPT fejlesztésében is részt vett, csalódottságot érzett a nyelvi alapú modellek gyakorlati hasznosságát illetően. „Lightning in a bottle van, és mégsem hasznos” – mondta Almeida a TechCrunchnak, hozzátéve, hogy a probléma szerinte az, hogy „az optimalizálás emberi nyelvre történt… hiába vagyunk négy éve nagyon jók az emberi nyelv kezelésében, ez nem hasznos az automatizálásban, mert a számítógépek más nyelven beszélnek.”
Két évvel ezelőtt Almeida elhagyta az OpenAI-t, és megalapította a TypeSafe AI nevű startupot, amely ezt a problémát próbálja orvosolni. A cég a héten egy új, transzformer alapú modellt mutatott be, Jev néven — egy olyan modellt, amely nem LLM (nagy nyelvi modell), és nem szöveget ad vissza, hanem valószínűségeket, vagy a vállalat terminológiájával „kalibrált döntéseket”.
Miért nem használ nyelvet Jev?
A nyelv elhagyása több előnnyel jár: a modell rendkívül olcsó és gyors lesz, a kimeneteket a felhasználók előre definiálják, így megszűnik a hallucinciós kockázat, a kimeneti tokenek „ingyenesek”, és a bemeneti tokenek mérése milliárdos nagyságrendben történik, nem milliósban.
A termék iránti érdeklődés nagy volt: a TypeSafe rövid ideig nem tudta kiszolgálni az API-felhasználókat a megnövekedett kereslet miatt. Jev különösen a szoftverautomatizálás területén tűnik hasznosnak; a fejlesztők olcsóbb és robusztusabb módszerként tekintenek rá az intelligencia beépítésére a kódba.
Korai tapasztalatok és teljesítmény
Példák hitelesítik a Jev gyakorlati előnyeit: Pranit Sharma, a Vercel szoftvermérnöke elmondta, hogy korábban OpenAI Luna 5.6-ot használtak egy parancsok biztonsági osztályozására szolgáló osztályozó futtatásához. Amikor Luna-t Jev-re cserélték, a feldolgozás 5–18-szor gyorsabb lett, és pontossága is javult. Nikhil Mudholkar, a Bryo AI technológiai igazgatója Jev-et és Google Gemini-t hasonlította össze üzleti e-mailek osztályozásában: Gemini kicsivel pontosabb volt, de 10–20-szor drágább. Mudholkar számára különösen értékesek voltak Jev megbízhatósági (confidence) pontszámai: „ez az egyetlen, ami valódi valószínűséget ad vissza, ami ideálissá teszi a munkafolyamatok automatizálásához.”
Kiegészítő szerepek: ellenőrzés és modellirányítás
A Jev nemcsak LLM-ek helyettesítésére alkalmas bizonyos feladatoknál, hanem kiegészítheti is azokat: például egy LLM-ügynök viselkedésének monitorozására és jailbreak-ek megelőzésére használható. Almeida szerint az ügynökök felügyelésére szolgáló más ügynökök alkalmazása gyorsan költségessé válhat, viszont Jev alacsony költsége és gyorsasága miatt ésszerű alternatíva lehet.
Armin Ronacher, az Earendil CTO-ja, amely az open-source modell-használati keretet, a Pi-t fejleszti, megjegyezte: a Jev „átadja a hallucáció problémáját egy kicsit a felhasználónak” — vagyis a felhasználóknak kell a valószínűségi értékek alapján dönteniük (például 50% inkább kihagyandó, 95% értékes). Ronacher további hasznos eshetőségként említette a modellroutingot: megjósolni, hogy egy adott feladat igényel-e egy drágább modellt, amit LLM-mel megtéríteni költséges lenne; Jev olcsósága lehetővé teszi az ilyen valós idejű szétosztást.
Műszaki megjegyzések és elnevezés
Almeida tartózkodó a Jev pontos architektúrájával kapcsolatban; kívülállók azt feltételezik, hogy a modell egy nyílt súlyú LLM tetejére épül. A cég „System One model”-nek nevezi Jev-et, amely az intuícióra, nem a soklépcsős következtetésre fókuszál, és „kifejezetten a megfelelő feladatra” van ráhangolva. Almeida szerint Jev kizárólag szintetikus adatokkal van betanítva egy „reinforcement learning from calibrated decisions” nevű technikával.
Almeida azt mondta, hogy korai stratégiai döntésük az volt, hogy minden adatot ők állítanak elő, és szerinte ez volt élete egyik legjobb döntése: „ez jobb, mint a termékindításunk, véleményem szerint jobb, mint az RLHF.” A TypeSafe vállalat szerint a cég felépítésének nagy része egy labor, amely statisztikailag jól érthető szintetikus adatok előállításával foglalkozik.
A modell nevét William Stanley Jevonsról kapta — a 19. századi közgazdászról, akinek paradoxona azt írja le, hogy egy javak csökkenő ára növelheti annak felhasználását. Almeida reménye, hogy az intelligencia költségének csökkenése hasonlóan széleskörű elterjedéshez vezet majd: „azt gondoljuk, hogy mindenütt okos szoftver lesz, sokkal inkább a korai internet jellegű módon, mint a mai óriásalkalmazások mintájára.”
Jövő és versenytársak
Jev jelenleg egyedülálló a maga nemében, de Armin Ronacher szerint várhatóan megjelennek a versenytársak most, hogy a használhatósága nyilvánvalóvá vált. Ronacher megjegyezte, hogy ha a LLM-ek nem lettek volna ennyire olcsók és szubvencionáltak, ezt a megközelítést talán korábban is felismerték volna.
A TypeSafe tovább dolgozik további modelleken és új modalitásokon. Amikor arról kérdezték, hogy a TypeSafe egy „frontier lab”‑e, Almeida visszafogottabb megfogalmazást választott: szerinte önmagukban a félelem és a felhajtás a frontier lab fő termékei, míg ők inkább az „intelligencia” gyakorlati, használható előállítására törekednek, nem pedig vad ígéretekre vagy ideológiákra.
