Iparág

Mesterséges intelligenciával generált szöveg

Terjednek a személyre szabható mesterségesintelligencia-döntési modellek

A döntési modellek gyors terjedése új versenyt indított a mesterséges intelligencia piacán, ahol a Microsoft és a kisebb fejlesztők egyaránt megjelentek.

Terjednek a személyre szabható mesterségesintelligencia-döntési modellek

Októberben a Vercel mesterségesintelligencia-modellválasztó rendszerén keresztül érkező kérések több mint negyede döntési modellekhez került. A modelltípust mindössze egy hónappal korábban vezették be, mégis gyorsan teret nyert azokban a feladatokban, ahol a gyors és olcsó választás fontosabb lehet egy nagyobb modell részletes indoklásánál.

A döntési modellek olyan nagy nyelvi modellekre épülnek, amelyek nem kimeneti tokeneket állítanak elő, hanem előre meghatározott lehetőségek közül választanak, és jelzik a döntésükbe vetett bizalom mértékét. Éles alkalmazásokban használhatók, ahol a késleltetés és a költség különösen fontos szempont.

A TypeSafe a Jev modellcsalád megjelenése után 7,5 milliárd dollár értékű vállalattá vált. A rendelkezésre álló használati adatok alapján a Jev továbbra is meghatározó: az OpenRouter szolgáltatáson keresztül az előző héten több mint 1,5 milliárd lekérdezés érkezett a TypeSafe modelljeihez.

Egyre több szereplő lép piacra

A döntési modellek viszonylag könnyen elkészíthetők, ezért a Jev megjelenését követően több tucat új változat jelent meg. Az Amazon egyik mérnöke egy hétvége alatt készített egyet, majd a nagy felhőszolgáltatók is előálltak saját megoldásaikkal. Satya Nadella, a Microsoft vezérigazgatója kedden bejelentette, hogy a vállalat azonnali széles körű használatra elérhetővé teszi a Microsoft-Decision-1.1 modellt az Azure platformon.

A kisebb cégek között az egyesült királyságbeli Sqwish 3 millió dolláros pre-seed finanszírozási kört jelentett be. A kettei fat nevű döntési modellt fejlesztő vállalatot Ushnish Sengupta és Federica Freddi alapította, akik Cambridge-ben, posztgraduális hallgatóként találkoztak. A Jev megjelenése előtt kis nyelvi modelleken dolgoztak, majd felismerték, hogy az architektúráikat döntési modellként is hasznosíthatják.

Az adatok és a gyakorlati tesztek szerepe

A modellek sikerében fontos szerepet játszanak az adatok. Diogo Almeida, a TypeSafe vezérigazgatója a TechCrunchnak elmondta: a Jev fejlesztésének legnehezebb része a modell ítélőképességének finom kalibrálása volt, statisztikailag korrigált szintetikus adatokkal. A Sqwish szintén használ szintetikus adatokat, de beépített utólagos tanítási eszközökkel is igyekszik megkülönböztetni magát: ezekkel az ügyfelek saját adataik felhasználásával javíthatják a modell döntéseit.

Ushnish Sengupta, a Sqwish vezérigazgatója szerint az ügyfelek folyamatosan feltölthetik az éles működésből származó adataikat, így a modell egyre jobbá válhat a számukra fontos feladatokban. Mint elmondta, a teszteredmények arra ösztönözhetik a fejlesztőket, hogy kipróbálják a modellt, a folyamatos finomhangolás pedig arra, hogy használatban is tartsák.

A döntési modellek rangsorolása ugyanakkor nehéz. Bár a kettei fat egyes benchmarkokon jól szerepelt, a technológia több fejlesztője szerint a valódi próba az adott alkalmazási környezetben nyújtott teljesítmény. A fejlesztők általában könnyen lecserélhetik az egyik modellt egy másikra, és összehasonlíthatják az eredményeket.

A Microsoft-Decision-1.1 fejlesztésekor is a költség, a késleltetés, a képességek és a kalibráció közötti egyensúlyra törekedtek. Achint Srivastava, a projektet vezető mérnöki alelnök szerint félrevezető lehet, ha túl nagy hangsúly kerül a benchmarkokra: az ezekre optimalizált modellek szerinte gyorsan gyengén teljesíthetnek valós vállalati használatban. A Microsoft tesztjei alapján a Microsoft-Decision-1.1 és a Jev azon kevés modell közé tartozik, amelyek a pontosság, a megbízhatóság, a sebesség és a költséghatékonyság terén egyaránt erősek, a valós felhasználást tükröző, korábban nem látott teszteken is.

Külön piac a gyors döntéseknek

Federica Freddi szerint a jövő rendszereiben a gyors, úgynevezett System One típusú intelligencia – például a döntési modell – együttműködhet a System Two típusú intelligenciával, amelyet a legfejlettebb nagy nyelvi modellek képviselnek.

Freddi úgy véli, a gyors döntések piaca önmagában is 10–50 milliárd dolláros lehetőséget jelenthet. Szerinte ez egy olyan startupnak, mint a Sqwish, központi üzleti cél, míg a legnagyobb mesterségesintelligencia-vállalatok számára mellékprojekt maradhat.