A LegalOn Technologies AI‑vezérelt megoldásokat fejleszt jogi és egyéb üzleti folyamatok támogatására. A vállalat a fejlesztési teljesítmény megtartása mellett mintegy 65%-kal csökkentette a napi AI‑költségeinek becsült szintjét azáltal, hogy feladathoz igazította a modellek kiválasztását, korlátozta a Fast mód alapértelmezett használatát, és költségkereteket vezetett be üzletáganként és fejlesztési fázisonként.
Mi volt a probléma?
A LegalOn korábban széles körben engedte a fejlesztők számára a fő modell, GPT‑5.5 Fast korlátlan használatát, és ezt kiterjesztette tervezésre, megvalósításra és napi munkára is. Mivel a nagy teljesítményű modellek korlátlan alkalmazása könnyen túlléphette volna az éves AI‑költségkeretet, a cégnek egyszerre kellett megtartania a produktivitást és kordában tartania a költségeket.
Hogyan oldották meg?
A vállalat AI‑powered Development Center of Excellence (AID CoE) irányításával irányelveket és mérési gyakorlatokat dolgozott ki a modellválasztáshoz. Az AID CoE tesztelte és monitorozta a különböző modelleket, az eredményeket a menedzserek továbbították a csapatoknak, így a mérnökök önállóan választhatták ki a feladathoz legalkalmasabb modellt.
A megoldás három fő eleme:
- Modellválasztás feladattípus és fejlesztési fázis szerint: a cég áttért arra, hogy ne mindig a legerősebb modellt használja, hanem a feladat komplexitásától függően válasszon a GPT‑6 Luna, GPT‑6.1 Sol és GPT‑6 Astra között.
- Fast mód alapértelmezett korlátozása: a Fast módot alapértelmezés szerint visszavették, az egyedi kéréseket csak indokolt esetben engedélyezik.
- Költségkeretek bevezetése: havi használati korlátokat vezettek be részlegek és egyének szintjén, továbbá üzletági szinten eltérő hatékonysági elvárásokat fogalmaztak meg (a meglévő, érett üzletágaknál körülbelül 20%-os költséghatékonyság‑javulást kértek, míg az induló üzleteknek tágabb költségkeretet adtak).
Milyen szerepet kaptak az egyes modellek?
A belső tesztek alapján pontosabb felosztás alakult ki:
- GPT‑6 Luna: a legkönnyebb modell; jól használható kódimplementációra egyértelmű követelmények mellett, napi automatizálások futtatására, egyszerűbb elemzések és feladatdelegálásra.
- GPT‑6.1 Sol: általános tervezésre, adatelemzésre és dokumentumkészítésre; egyszerűbb szoftvertervekhez és rutin numerikus feladatokhoz, gyorsabb eredményt igénylő helyzetekre, mint ahol Luna használata lassabb lenne.
- GPT‑6 Astra: a legnagyobb képességű modell; összetett döntéshozatalt (például architektúra‑tervezés), komplex analitikai feladatokat és többügynökös koordinációt végző szerepkört lát el.
A csapatok könnyebben kezdtek könnyebb modellekkel, és szükség szerint léptek feljebb a komplexitás növekedésével.
Eredmények
A modellek közötti váltás, a Fast mód alapértelmezett korlátozása és a célzott költségkeretek együttesen a becsült napi költségek mintegy 65%-os csökkenését eredményezték a korábbi GPT‑5.5 használathoz képest, miközben a fejlesztési sebesség megmaradt. A felnőtt üzleteknél bevezetett hatékonysági elvárások mintegy 20%-os költségjavulást céloztak, míg az új üzletek nagyobb költségkeretet kaptak növekedésösztönzés céljából.
A csapatok a Fast mód korlátozása ellenére is fenntartották a teljesítményt olyan gyakorlatokkal, mint a feladatok párhuzamos futtatása.
A következő lépések: érték mérés és tudásmegosztás
A LegalOn túl akar lépni azon, hogy pusztán a fejlesztési sebességet és az AI‑használat volumenét mérje. Yuta Tokitake, Senior Engineering Manager a LegalOn Technologiesnél, arra mutat rá, hogy bár az AI gyorsítja a fejlesztést, fontosabb kérdés, hogy ez a gyorsulás miként teremt valódi értéket az ügyfelek számára. Tokitake idézetében: "When using AI, we can track the cost of individual tasks, but the total cost of a complete piece of work—a feature release—often remains a black box. So we designed the measurement around each feature release as a single unit. By linking the customer value that release delivers to the actual AI costs invested in it, we aim to make the return on investment visible and accurate."
A cég jelenleg egy olyan metrika és mérési csővezeték kiépítésén dolgozik, amely funkciónként (feature release) összeköti az ügyfélértéket az adott fejlesztésbe fektetett AI‑költséggel, hogy láthatóvá tegye a valódi megtérülést.
Ugyancsak cél, hogy a mérnökök egyéni AI‑tudását szervezeti képességgé alakítsák: tudásbázist hoznak létre a gyakorlati tapasztalatok gyűjtésére és megosztására (például legjobb modellkombinációk tervezéshez, implementációhoz és review‑hoz), így a helyi sikereket gyorsan lehet vállalati gyakorlatokká fejleszteni.
Szervezet és toborzás
A gyakorlati tapasztalatok formálják a szervezetet és a felvételi szempontokat: a LegalOn már a toborzásnál hangsúlyt helyez az AI‑hoz kapcsolódó készségekre, mert a produktivitásnövekedés nyomán újra kell gondolni az emberi és AI‑feladatmegosztást és a munkaerő‑tervezést.
Kockázatkezelés és kormányzás
AID CoE és a biztonsági csapat közösen dolgoznak egy rugalmas keretrendszer kialakításán, amely egyszerre támogatja a kísérletezést és optimalizálja a teljesítményt, költséget és kockázatot. A cél egy olyan rendszer felépítése, amely megőrzi a csapatok szabadságát a gyakorlati kísérletezésre, ugyanakkor garantálja a gazdaságos és biztonságos AI‑használatot.
Összegzés
A LegalOn példája azt mutatja, hogy a modellek feladathoz igazítása, a funkciószintű költségmérés és a célzott költségkeretek kombinációja lehetővé teszi a jelentős költségcsökkentést anélkül, hogy a fejlesztési sebesség vagy minőség romlana. A következő fontos lépés a befektetések valódi ügyfélértékre gyakorolt hatásának mérése és az egyéni tudás szervezeti szintre emelése lesz.
