Az AI-alapú programozó ügynökök gyakran ugyanabban a kódtárban dolgoznak egymást követő munkamenetekben, mégis újra és újra felfedezhetik ugyanazokat az információkat, használaton kívüli eszközöket tölthetnek be, vagy megismételhetnek sikertelen próbálkozásokat. Mindez tokeneket fogyaszt, és növeli a modell használatának költségét.
A UC Berkeley, a Microsoft Research és a Microsoft Security nyílt forráskódú TokenEconomizer bővítménye a korábbi munkamenetek tapasztalatait használja fel a későbbi feladatok hatékonyabb elvégzéséhez. A megoldás a meglévő programozó ügynök mellett működik, az ügynök és az alapjául szolgáló modell módosítása nélkül.
Hol keletkezik a pazarlás?
A kutatók először a Claude Code működését vizsgálták a SWE-Bench 60 feladatán. A benchmark nyílt forráskódú Python-projektek valós hibajavításait tartalmazza; az egyes kódtárak feladatait egymás után futtatták.
Három visszatérő költségforrást azonosítottak. Miután egy kódtárban legalább öt feladat lezárult, az eszközhívások 30%-a olyan műveletet ismételt meg, amelyet egy korábbi feladat során már elvégeztek ugyanott. Más kódtárak előzményeivel csak 7% egyezett. Az ügynök minden körben 23 eszköz leírását kapta meg, de ezek közül 16-ot egyszer sem hívott meg. A feladatok 17%-a sikertelen volt, és ezekre jutott a kiadások 32%-a.
A kutatók három népszerű, rögzített költségcsökkentési stratégiát követő nyílt forráskódú bővítményt is teszteltek. Mindegyik csökkentette a költségeket egyes kódtárakban, másokban viszont nem. Ez arra utal, hogy a hatékony költségszabályozásnak alkalmazkodnia kell az adott projekthez.
Három módon tanul a korábbi munkából
A TokenEconomizer minden munkamenet után feldolgozza annak naplóját, és frissíti a kódtárról szerzett ismereteit. Három, az ügynök meglévő interfészeit használó mechanizmussal avatkozik be:
- Mikrokészségek: az ismétlődő mintákból egysoros, kódtárspecifikus feljegyzéseket javasol. Ezek csak akkor kerülnek be az ügynök kezdeti kontextusába, ha több munkamenet is megerősíti őket; későbbi ellentmondó tapasztalat esetén kivezeti őket.
- Eszközök szűkítése: eltávolítja azokat az eszközöket, amelyeket az előzmények alapján az ügynök várhatóan nem használ. A parancsfuttatáshoz és fájlszerkesztéshez szükséges alapvető eszközök megmaradnak, az eltávolítottak pedig szükség esetén visszaállíthatók.
- Beavatkozás hibahurkoknál: egy külön értékelő modell dönti el, hogy az ismétlődő hibákkal találkozó ügynök valóban elakadt-e, vagy még halad. Elakadás esetén az ügynök rövid, más megközelítést javasoló üzenetet kap. A nyílt forráskódú bővítmény értesíti a fejlesztőt, ha ezután is fennáll az elakadás, de nem állítja le maga a munkát.
A rendszer az új tapasztalatok alapján felülvizsgálja döntéseit. A közölt megtakarítások a TokenEconomizer saját modellhívásainak költségét is tartalmazzák.
Eredmények több feladattípuson
A kutatók hat kódtár 277 SWE-Bench-feladatán, öt különböző ügynök–modell kombinációval értékelték a megoldást. A TokenEconomizer mindegyik kódtárban előzetes munkamenet-előzmények nélkül indult.
Az átlagos feladatonkénti költség a különböző kombinációknál 18,4–30,9%-kal csökkent. A feladatsikeresség összességében nagyjából változatlan maradt, a Pass@1 mutató pedig az öt kombináció közül négynél emelkedett. A közlemény szerint a megoldás mind a 30 kódtár- és ügynök–modell párosításban teljesítményromlás nélküli megtakarítást ért el. Összehasonlításképpen a modell következtetési erőfeszítésének csökkentése hasonló vagy nagyobb megtakarítást hozott, de számottevően rontotta a teljesítményt.
A kezdeti feladatok drágábbak is lehetnek, amíg a rendszer tanul. A Claude Code-dal végzett mérésben azonban a felhalmozott költség a hatodik feladatra minden kódtárban az alapbeállítás költsége alá került. Mindhárom mechanizmus önmagában is megtakarítást eredményezett, együtt pedig nagyobb csökkenést hoztak.
A módszer egymás után végzett webfejlesztési feladatokon is működött: a Web-Bench tesztben 16,0–21,2%-kal alacsonyabb költséget mértek. Biztonsági auditálásnál, ahol minden feladat új kódtárban zajlott, a csökkenés 6,4–19,6% volt.
A bővítményhez nincs szükség saját API-kulcsra, és a megtanult információkat a fejlesztő gépén tárolja. A kutatók szerint a megközelítés lehetőséget ad arra, hogy a programozó ügynökök a korábbi munkából ne csak a feladatmegoldáshoz, hanem a számítási erőforrások hatékonyabb felhasználásához is tanuljanak.



