Októberben a Vercel mesterségesintelligencia-modellválasztó rendszerén keresztül érkező kérések több mint negyede döntési modellekhez került. A modelltípust mindössze egy hónappal korábban vezették be, mégis gyorsan teret nyert azokban a feladatokban, ahol a gyors és olcsó választás fontosabb lehet egy nagyobb modell részletes indoklásánál.
A döntési modellek olyan nagy nyelvi modellekre épülnek, amelyek nem kimeneti tokeneket állítanak elő, hanem előre meghatározott lehetőségek közül választanak, és jelzik a döntésükbe vetett bizalom mértékét. Éles alkalmazásokban használhatók, ahol a késleltetés és a költség különösen fontos szempont.
A TypeSafe a Jev modellcsalád megjelenése után 7,5 milliárd dollár értékű vállalattá vált. A rendelkezésre álló használati adatok alapján a Jev továbbra is meghatározó: az OpenRouter szolgáltatáson keresztül az előző héten több mint 1,5 milliárd lekérdezés érkezett a TypeSafe modelljeihez.
Egyre több szereplő lép piacra
A döntési modellek viszonylag könnyen elkészíthetők, ezért a Jev megjelenését követően több tucat új változat jelent meg. Az Amazon egyik mérnöke egy hétvége alatt készített egyet, majd a nagy felhőszolgáltatók is előálltak saját megoldásaikkal. Satya Nadella, a Microsoft vezérigazgatója kedden bejelentette, hogy a vállalat azonnali széles körű használatra elérhetővé teszi a Microsoft-Decision-1.1 modellt az Azure platformon.
A kisebb cégek között az egyesült királyságbeli Sqwish 3 millió dolláros pre-seed finanszírozási kört jelentett be. A kettei fat nevű döntési modellt fejlesztő vállalatot Ushnish Sengupta és Federica Freddi alapította, akik Cambridge-ben, posztgraduális hallgatóként találkoztak. A Jev megjelenése előtt kis nyelvi modelleken dolgoztak, majd felismerték, hogy az architektúráikat döntési modellként is hasznosíthatják.
Az adatok és a gyakorlati tesztek szerepe
A modellek sikerében fontos szerepet játszanak az adatok. Diogo Almeida, a TypeSafe vezérigazgatója a TechCrunchnak elmondta: a Jev fejlesztésének legnehezebb része a modell ítélőképességének finom kalibrálása volt, statisztikailag korrigált szintetikus adatokkal. A Sqwish szintén használ szintetikus adatokat, de beépített utólagos tanítási eszközökkel is igyekszik megkülönböztetni magát: ezekkel az ügyfelek saját adataik felhasználásával javíthatják a modell döntéseit.
Ushnish Sengupta, a Sqwish vezérigazgatója szerint az ügyfelek folyamatosan feltölthetik az éles működésből származó adataikat, így a modell egyre jobbá válhat a számukra fontos feladatokban. Mint elmondta, a teszteredmények arra ösztönözhetik a fejlesztőket, hogy kipróbálják a modellt, a folyamatos finomhangolás pedig arra, hogy használatban is tartsák.
A döntési modellek rangsorolása ugyanakkor nehéz. Bár a kettei fat egyes benchmarkokon jól szerepelt, a technológia több fejlesztője szerint a valódi próba az adott alkalmazási környezetben nyújtott teljesítmény. A fejlesztők általában könnyen lecserélhetik az egyik modellt egy másikra, és összehasonlíthatják az eredményeket.
A Microsoft-Decision-1.1 fejlesztésekor is a költség, a késleltetés, a képességek és a kalibráció közötti egyensúlyra törekedtek. Achint Srivastava, a projektet vezető mérnöki alelnök szerint félrevezető lehet, ha túl nagy hangsúly kerül a benchmarkokra: az ezekre optimalizált modellek szerinte gyorsan gyengén teljesíthetnek valós vállalati használatban. A Microsoft tesztjei alapján a Microsoft-Decision-1.1 és a Jev azon kevés modell közé tartozik, amelyek a pontosság, a megbízhatóság, a sebesség és a költséghatékonyság terén egyaránt erősek, a valós felhasználást tükröző, korábban nem látott teszteken is.
Külön piac a gyors döntéseknek
Federica Freddi szerint a jövő rendszereiben a gyors, úgynevezett System One típusú intelligencia – például a döntési modell – együttműködhet a System Two típusú intelligenciával, amelyet a legfejlettebb nagy nyelvi modellek képviselnek.
Freddi úgy véli, a gyors döntések piaca önmagában is 10–50 milliárd dolláros lehetőséget jelenthet. Szerinte ez egy olyan startupnak, mint a Sqwish, központi üzleti cél, míg a legnagyobb mesterségesintelligencia-vállalatok számára mellékprojekt maradhat.



