A marketingeseknek szánt AI-eszközöket és ügynököket fejlesztő Writer csütörtökön mutatta be új zászlóshajó modelljét, Palmyra X6 néven, és egyidejűleg nagyobb frissítéseket adott ki standard agentikus harnessére. A cég szerint az új modell és a harness-optimalizációk együtt jelentősen csökkenthetik az ügyfelek tokenköltségeit.
Palmyra X6 a Z.ai nyílt forráskódú GLM-5.2 modelljén alapuló, ún. post-training variáns: a Writer szerint ez a megközelítés telepítésre kész képességeket biztosít alacsonyabb ár mellett. A vállalat becslése szerint az új modell és a harness infrastruktúrában végrehajtott változtatások együttesen alapfeladatoknál akár 50%-os költségmegtakarítást eredményezhetnek ügyfelei számára.
A Writer által kiadott frissítések különös hangsúlyt helyeznek a komplex, többlépcsős feladatok gyorsabb és kevesebb tokenhasználattal történő végrehajtására. A cég vezetői és kutatói szerint a harness optimalizálása kulcsfontosságú eszköz e cél elérésében: a harness hatékonysága megsokszorozódó előnyt jelent minden, egy szervezet által használt — jelenlegi és jövőbeni — modellen.
Ezt az állítást a Writer kutatói egy friss tanulmányban is alátámasztották: különböző modelleken végzett tesztek során apró változtatások a harness-ben átlagosan 40%-os költségcsökkenést eredményeztek. A kutatók megfogalmazása szerint sok esetben a harness változtatása megbízhatóbb módszer a költségek csökkentésére, mint maga a modellválasztás.
A cég ügyfelei számára a Palmyra X6 modell modell-agnosztikus módon kerül bevezetésre: a Writer meglévő modelljei mellett használható, illetve külső modelleket is importálhatnak Azure vagy Amazon Bedrock szolgáltatáson keresztül. Ugyanakkor May Habib, a Writer vezérigazgatója nyilatkozata szerint az ügyfelek költségcsökkentési igénye növeli a bizalmatlanságot a nagy AI-laborok iránt, amelyeknek szerinte pénzügyi ösztönzőjük van a tokenhasználat növelésére.
„A vállalati oldal számára ez a költségrobbanás példa nélküli, és a CIO-k mértéke, amellyel feladják a laborokkal való munkát, szintén példa nélküli” — mondta May Habib a TechCrunch-nak, hozzátéve, hogy szerinte az AI-laborok „nem értik igazán, hogyan segítsenek egy vállalatnak hasznot húzni az AI-ból”.
A Writer szerint a Palmyra X6 és a harness-frissítések csütörtöktől állnak rendelkezésre ügyfelei számára. A bejelentés célja, hogy segítsen a cégeknek csökkenteni az egyre növekvő AI-deployments költségeit anélkül, hogy kizárólag a modellválasztásra kellene hagyatkozniuk.
Mikor és miért számít ez
- Mi: Palmyra X6 modell és nagyobb harness-fejlesztések a Writertől.
- Mikor: a bejelentés csütörtökön történt, a funkciók azonnal elérhetővé váltak ügyfelek számára.
- Miért fontos: a cég becslése szerint alapfeladatoknál akár 50%-os költségcsökkenés; belső kutatási eredmények átlagosan 40%-os csökkenést mutattak a harness-optimalizációknak köszönhetően.
A bejelentés rávilágít arra, hogy a költséghatékonyság növelése nem csak a modellek fejlesztésén múlik, hanem az őket körülvevő infrastruktúra — a harness — finomhangolásán is.
