Az Amazon Web Services (AWS) bemutatta a Strands Decider 2B-t, egy nyílt forráskódú döntésmodellt, amelyet TypeSafe Jev nevű megközelítése ihletett. A bejelentés ugyanabban a hétben érkezett, amikor az OpenAI is hasonló megoldást jelentett be.
Mire képes a modell?
A Strands Decider 2B gyors és költséghatékony módot kínál előre meghatározott opciók közötti választásra, és minden döntés mellé kalibrált bizonyossági (confidence) értéket ad. A modellt teljesen nyílt forráskódúvá tették, már elérhető, és elég kicsi ahhoz, hogy helyben, lokálisan futtatható legyen.
Fejlesztés és háttere
A projekt kiindulópontját Marc Brooker, Amazon distinguished engineer saját kezdemű próbálkozása adta: Brooker látva a Jev-et, elkészítette a saját változatát. Az eredeti házi projekt elég sikeresnek bizonyult — rövid ideig az első helyet érte el a Jevbench rangsorában azonos méretű modellek között —, és ezt követően AWS mérnökök rendezték, majd Strands Labs néven adták ki, amely az Amazonon belül AI-ügynökök telepítésére szolgáló eszközök és protokollok fejlesztésével foglalkozik.
Brooker szerint az ötlet az AWS ügyfeleivel folytatott beszélgetésekből nőtt ki: sok ügyfél agentikus munkafolyamatai nem igényelnek mindig teljes értékű, költséges nagy nyelvi modellt. „Ami eredetileg felkeltette az érdeklődésemet ezen modellek osztálya iránt, hogy tökéletes döntéshozóvá teszik a munkafolyamat egy lépését — 'mi a következő dolgom itt, az aktuális helyzetemből kiindulva?'” — mondta Brooker a TechCrunch-nak. Hozzátette, hogy a modell „olyan munkafolyamat-lépést ad az ügyfeleknek, amely megbízhatóbb lehet a bizonyossági pontszámok és a zárt válaszdomain miatt, valamint alacsonyabb késleltetésű és potenciálisan olcsóbb.”
Műszaki részletek
A Strands Decider a nagy nyelvi modellek „törzsére” (torso) épül: ebben az esetben a Qen3.5-2B szolgál alapként. Ahelyett, hogy szabad szöveget generálna, a modell kalibrált választást ad, tehát strukturált döntéshozatalra alkalmas. A TypeSafe Jev nevét William Stanley Jevons közgazdászról kapta, utalva arra az elméletre, hogy az adott technológia költségének csökkenése növelheti annak keresletét.
A piaci reakció és a kihívások
A Jev bemutatása óta több tucat hasonló modell készült kutatók és fejlesztők által, ami jelzi az intenzív érdeklődést az ilyen típusú, kifejezetten döntéshozatalra szánt intelligenciák iránt. Ugyanakkor felmerül a kérdés, mennyire értékesek ezek a modellek hosszabb távon.
Brooker szerint a fő kihívás a modell gyorsaságának és döntési pontosságának optimalizálása anélkül, hogy az intelligenciája sérüljön. „Nagyon gondos egyensúlyt kell találni: növelni szeretnéd a pontosságát és a kalibrációját az ilyen feladatoknál, anélkül, hogy rontanád a többnyelvű megértését vagy azt a tudást, ami által általános célúvá és hasznossá válik” — mondta a TechCrunch-nak.
Brooker emellett nem várja feltétlenül, hogy a legnagyobb, úgynevezett frontier laborok uralják ezt a területet, különösen mivel a kisebb piacokon egy érdekes megoldás kifejlesztésének költsége gyakran csak néhány száz vagy néhány ezer dollár.
TypeSafe részéről Diogo Almeida, a cég vezérigazgatója és alapítója szerényebb kilátásokról beszélt: elismeri, hogy sokan „aranylázat” látnak a témában, de szerinte alábecsülik annak nehézségét, hogy a modellek valóban okosak legyenek. „A jelenlegi hullám inkább arról szól, hogy ML-szakemberek egy menő architektúrát akarnak megvalósítani, semmint arról, hogy egy csapat mély elkötelezettséggel a hasznos intelligencia kialakításán dolgozna” — mondta Almeida a TechCrunch-nak.
Miért számít ez?
A Strands Decider 2B bemutatása jól mutatja a piaci igényt az olyan, kisebb, gyors és olcsó döntésmodellek iránt, amelyek integrálhatók agentikus munkafolyamatokba, anélkül, hogy egy teljes LLM-et kellene minden egyes lépéshez meghívni. A fejlemény azt is szemlélteti, hogy a nyílt forráskódú megoldások és a belső prototípusok gyorsan válhatnak széles körben elérhető eszközzé, különösen akkor, ha alacsony erőforrásigényűek és helyben futtathatók.
