A Peking University kutatócsoportja, Haoran Ye vezetésével, a Harness-Zero projektben azt vizsgálta, mennyit lehet „lemásolni” egy agent harness viselkedéséből közvetlenül a modellbe. A módszer lényege harness distillation: egy kisebb modellt (Qwen3.5-9B) előbb egy specializált, automatizált harness-szal fejlesztenek, majd a harness által javított futásokat használják fel a modell finomhangolásához, végül a harness-t eltávolítják és összehasonlítják a teljes rendszert a distillált modellel.
Hogyan építették fel a kísérletet
- Először létrehoztak egy „evolved harness”-t a kicsi modellhez. Egy automatizált hurok (Kimi K3) feltérképezte, hol hibázik a kicsi modell a feladatok során, és hozzáadta a megszokott javítóelemeket: egyedi eszközöket, köztes szabályokat a kockázatos műveletek blokkolására, skills fájlokat és memóriát.
- A harness alatt végzett futásokból és egy erősebb modell (GPT-5.6 Sol) felülvizsgálatából gyűjtöttek adatot. Sol végigkövette a kicsi modell lépéseit, a harness másolatát használva jelezte, mely javaslatok jók. Ha a kicsi modell és a felügyelő eltértek, Sol a lehető legkisebb javítást alkalmazta.
- A kapott, „javított” futásokkal finomhangolták a kicsi modellt, majd eltávolították az evolved harness-t és a felügyelőt.
Eredmények
Összehasonlítva az evolved harness-szal futó modellt és a distillált modellt, a distillált modell átlagos feladatsikeressége 21 ponttal javult az eredeti, nem finomhangolt elődhöz képest. Ez nagyobb javulás volt, mint amit az eredeti kicsi modell elért a teljes evolved harness csatolásával. Ugyanakkor a distillált modell nem minden feladatban győzött: például kémiai feladatoknál — ahol molekulajelölés és validáció szükséges — 8 ponttal elmaradt a harness-szal kiegészített változattól.
Mit tudott és mit nem tudott beépíteni a modell
- A distillált modell nem futott teljesen harness nélkül: egy minimális hurok maradt, egy Bash eszközzel. A szerzők hangsúlyozzák, hogy a módszer nem szünteti meg a harness szükségességét, csak szűkíti azt.
- A mély domain-tudás (például a kémia esete), a jelölő- és validáló logika, valamint a kontextus menedzsment nehezebben adódnak át. Lépésenkénti eljárások — például ellenőrzés szerkesztés előtt, verifikáció befejezés előtt — könnyebben taníthatók be, mint a specifikus szakmai tudás.
Miért volt kulcs a „javított futásokon” való tanítás
A tanulmány bemutatta, hogy nem mindegy, milyen jelzéssel finomhangolsz:
- Ha a kicsi modellt a jobb modell saját sikeres futásaira hangolják, az eredmény nem javult.
- Ha csak arra tanítanak, hogy a kicsi modell egy nagyobb tudású rendszernél alulmarad, szintén nem javul a teljesítmény.
- Az is problémás volt, amikor a felügyelőt a teljesen helyes válaszok ismeretével adták: a modell túlilleszkedett és alig javult. A hatékony megközelítés az volt, hogy a kicsi modell által végrehajtott futásokból származó, de kis javításokkal korrigált példákkal tanítottak: a modell látta, hogy mit tett volna, és hogy milyen, még megvalósítható módosítások hoztak eredményt.
Miért történik ez általánosságban? — Kapcsolat Rich Sutton gondolatával
Rich Sutton 2019-es esszéje, The Bitter Lesson, azt állítja, hogy az évtizedek során a kézzel beépített szakértelem rövid távon segít, de hosszú távon elmarad a jól tanuló, általános módszerektől. Az agent harness-ek épp ilyen kézzel beépített ismeretek: a modelltréning viszont képes ezeket a viselkedéseket elsajátítani. Sutton második javaslata is releváns: ne annyira a kész megoldásokat építsük be, hanem azokat a meta-folyamatokat, amelyek megtalálják ezeket a komplex mintákat. A harness-eknél ez azt jelenti, hogy rögzítsük és automatizáljuk a harness építésének folyamatát.
Mit tartson meg a harness — és mi marad külsőnek
A kísérlet és más ipari tapasztalatok alapján a túl sok kézzel kódolt tudás idővel elavul. Ugyanakkor megmaradnak azok a elemek, amelyek szorosan kötődnek a konkrét eszközhöz, adathoz, felhasználói interakcióhoz és futtatási környezethez — ezeket nem könnyű általánosan betanítani egy modellbe. Példák:
- Konkrét eszközök és azok validálása
- Vállalati vagy felhasználói adatokra épülő logika
- Hosszú kontextus kezelése, állapot fenntartása több kéréssorozatra
Anthropic Opus 5.5 útmutatója is hasonló hatásról számol be: bizonyos „think carefully” jellegű instrukciókat érdemes törölni, mert a modell önállóan képes meghatározni a szükséges gondolkodási mennyiséget, viszont új harness elemeket is bevezettek — például egy rendszer promptot, ami megakadályozza, hogy az unattended agentek előbb leálljanak.
Hogyan tartsuk karban a harness-ünket, amikor a modellek folyamatosan fejlődnek
Mivel a harness-nek generációnként változnia kell, a logikus lépés az automatizáció, de ez túlzott automatizálás esetén túlfittinghez vezethet. A Google RRSI papírja azt mutatja, hogy a korlátlan automatikus evolúció növeli a teljesítményt azokra a feladatokra, amelyeken hangolták, de nem javítja a szélesebb benchmarkokat. A RRSI megoldása elsősorban dokumentációs és mérési fegyelem: minden változatról rögzíteni mely komponenshez nyúltak, mi volt a cél, mi változott, hogyan alakult a score és a költség, és hogy a változtatást megtartották-e.
Gyakorlati, kézi karbantartási hurok javaslata:
- Címkézd a futásokat mind a harness, mind a modell verziójával. Így látod, melyik változtatás hozta az eredményt.
- Naplózd minden harness-intervenciót és azt, mi történt a modell eredeti javaslatával előtte. Ez az adat nagyon értékes és gyakran eldobott.
- Új modell érkezésekor kapcsold ki sorban a harness komponenseit, és futtasd újra az értékeléseket. Tartsd meg azokat, amelyek továbbra is javítanak, a többit töröld.
- Ha nyomonkövetésre alkalmas eszközöd van (például Arize AX), futtasd ugyanazokat az agent értékeléseket harness és modell verziók között és hasonlítsd össze az eredményeket.
Összegzés
A Harness-Zero és hasonló munkák azt mutatják, hogy a modellek képesek beépíteni a harness-ek egy részét, különösen azokat a javításokat és viselkedéseket, amelyek kis módosításokkal elérhetők a modell számára. Ugyanakkor a mély domain-tudás, a komplex eszközlogika és a robusztus kontextuskezelés továbbra is a harness feladata marad. A gyakorlatban ez azt jelenti, hogy ne dobjuk el a harnessünket — de verifikáljuk, verzionáljuk, és rendszeresen tisztítsuk meg attól, amit a következő modellverzió már maga is tud helyettünk megoldani.
