Az NVIDIA bemutat egy olyan működési ciklust, amellyel a produkciós ügynökfutások nyomait hibajegyekké és mérésekké lehet alakítani, hogy javítsuk a promtokat, eszközhasználatot, modelleket, memóriát, képességeket és a futtató kódot. A NemoClaw tervrajz három NeMo-könyvtárra épít: NeMo Compass, NeMo Eval Author és NVIDIA NeMo Relay, és egy teljes optimalizációs kört mutat be trace-elemzéstől a javítás méréséig.
Miért kell több, mint modellhangolás?
Egy ügynök hibája gyakran nem maga a modell: rossz eszközválasztás, hibás munkafolyamat-ág, hiányzó kontextus, túl drága modell használata vagy domain-specifikus követelmények figyelmen kívül hagyása mind a harness (az ügynök környezete és vezérlő kódja) hibáira utalhatnak. A trace-ek segítenek megtalálni, hol és mi ment félre, az értékelések pedig mérhetővé teszik, hogy a változtatás javít-e a viselkedésen.
A bemutatott példa és környezet
A referenciaanyag a NemoClaw blueprintet használja, Hermes Agentet futtat egy NVIDIA OpenShell sandboxban, és rögzített trace-eket dolgoz fel egy fiktív vállalattól. A példában a Hermes vállalati asszisztens MCP (Model Context Protocol) kapcsolaton keresztül hozzáfér a csevegéshez, e-mailekhez, fájlokhoz és ticketekhez. Egy feladatban azt kérték tőle, hogy „vázoljon projektfrissítéseket tartalmazó üzenetet”; az ügynök elkészítette a vázlatot, de egyben hívta a send_message eszközt felhasználói megerősítés nélkül. A problémaforrás kiderítéséhez meg kellett nézni mind a harness utasításait, mind az eszközvégrehajtást.
Előfeltételek és ajánlott környezet
A bemutatott lépésekhez Linux gép szükséges, natív Dockerrel; ajánlott konfiguráció: Ubuntu 24.04, 8 vCPU és 32 GB RAM. Szükséges verziók és hozzáférések:
- OpenShell 0.1.2 és Harbor 0.22.0
- NVIDIA API kulcs a build.nvidia.com-ról
- Egy coding agent, amelyet NeMo Eval Author támogat (például Codex vagy Claude Code)
A teljes, lépésről lépésre útmutató elérhető a GitHubon, illetve elindulhat NVIDIA Brev launchable használatával.
NeMo Compass: mi az, és hogyan találja meg a javítandót
NeMo Compass az eltárolt agent-trace-ek és értékelési bizonyítékok alapján keresi a visszatérő problémákat, azonosítja az értékelési hiányokat és priorizálja a fejlesztési javaslatokat. Ahelyett, hogy minden futást manuálisan ellenőriznénk, NeMo Compass egy strukturált backlogot ad hibajelenségekkel, támogató példákkal és javasolt kísérletezési irányokkal.
A példa repo 42 trace-et tartalmaz, ahol minden Hermes futás egy JSON sor. A parancs, amellyel a Compass-t a nyomokra irányították:
compass --config configs/trace-analyst.yaml
--trace.filesystem.path traces/world-v3/production/insights.jsonl
A NeMo Compass több jel alapján ad találatokat: rendellenes viselkedésre utaló jelek, az eszközhasználat mintázata és eltérések az asszisztens várt viselkedésétől (az ETHOS.md fájlban megadott szabályoktól). A Compass trace ID-kat is biztosít, hogy a jelentéshez konkrét futások legyenek csatolva. A fenti példában a Compass kimutatta, hogy több futásban az ügynök üzenetet küldött engedély nélkül, összehasonlítva az ETHOS.md szabályaival.
Belső benchmarkok szerint a NeMo Compass jelei ezreket tartalmazó trace-készlet esetén olyan anomáliákat is találtak, amelyeket egy kódoló ügynök hasonló feladatoknál nem észlelt.
NeMo Eval Author: tesztek építése valós ügynökmunkából
Miután a Compass jelzett egy problémát, létre kell hozni egy reprodukálható tesztet. A NeMo Eval Author ehhez kódoló ügynök-képességeket és munkafolyamatokat biztosít, és két értékelési formát támogat: Harbor értékelések és NVIDIA NeMo Gym értékelések.
A gyakorlatban telepítsük a NeMo Eval Author képességeit a coding agentbe, adjuk át a NeMo Compass találatokat, a nyers trace-eket, az ETHOS.md-t és az ügynök repository-jához való hozzáférést kontextusként. A létrehozott értékeléseknek az ügynök követelményeire vonatkozó viselkedést kell mérniük; a generált értékelések és verifikátorok felülvizsgálata és finomhangolása szükséges.
A példában a coding agent négy Harbor értékelést generált olyan feladatokkal, mint a „válasz vázolása”. A verifikátor ellenőrizte, hogy az ügynök meghívta-e a send_message eszközt megerősítés nélkül — ilyen futásokat hibásként jelölt.
NeMo Eval Author segítségével korai stádiumban, még valós produkciós adatok nélkül is létrehozhatók egyedi értékelések az ETHOS.md és az eszközdefiníciók alapján. Amint valódi trace-ek és ismert hibák rendelkezésre állnak, bővítsük az értékelési készletet, hogy az tükrözze az ügynök valós használatát.
Változtatás a harness-ben
A hibát és a teszteket azonosítva módosítsuk a harness-t. A példában a Hermes ügynök SOUL.md fájlját frissítették (Hermes-ben a SOUL.md rendszerszintű utasításként működik):
"Requests to write, draft, compose, prepare, or suggest a message authorize preparation only. Provide the draft for review and stop before sending it. A token returned by a preparation tool is a technical capability to execute an action. It does not establish the user's consent to that action."
A harness-változtatások lehetnek egyszerű szabálymódosítások vagy összetettebb middleware-, plugin- és egyéb harness minták implementálása. A javaslatok készítéséhez érdemes a coding agent számára átadni a NeMo Compass kimeneteit, az ETHOS.md-et és az ügynök implementációját, hogy a javaslatok a konkrét kontextuson alapuljanak.
Mérjük az eredményt: előtte és utána
A harness módosítása után újrafuttatták a NeMo Eval Author által létrehozott értékeléseket. A példában két „Development” feladat volt 3-3 futással, és két „Held out” feladat szintén 3-3 futással; az eredmények az alábbiak szerint alakultak:
- Development (2 tasks × 3 runs): baseline 3/6 átmenet, updated 6/6 átmenet; tool callok 10-ről 6-ra
- Held out (2 tasks × 3 runs): baseline 4/6 átmenet, updated 6/6 átmenet; tool callok 28-ről 15-re
A példa csupán egy szűk értékelési készletet használott. A produkciós ügynököknél a tapasztalat szerint az értékelési készletek gyakran több száztól néhány ezer példányig terjednek. Csak azokat a változtatásokat fogadjuk el, amelyek mind a fejlesztői, mind a held-out teszteken javulást eredményeznek; ha egy módosítás javít egy területet, de regressziót okoz máshol, futtassunk újra NeMo Compass-t az új trace-eken, és iteráljunk tovább. Fontos, hogy a held-out esetek maradjanak rejtve a coding agent elől, hogy elkerüljük az overfittinget.
Ismételjük meg a ciklust
Sikeres harness-változtatás után futtassuk újra a Compass elemzést, hogy megtaláljuk a következő hibát. A példa szerint a küldés engedély nélkül találat eltűnt, de új hibát találtak: bizonyos lekérdezéseknél az ügynök megtalálta a választ, de nem támasztotta alá a választ a megtalált bizonyítékokkal. Ez lett a következő kör tesztelési és javítási fókusza.
Alkalmazás mérnöki ügynökökre: CAD-példa
A trace→értékelés→javítás ciklus alkalmazható összetettebb technikai agentekre is, ahol az értékeléseknek mérniük kell a mérnöki eredményeket és az eszközhasználat hatékonyságát. Egy példában a Dassault Systèmes LEO (engineering Virtual Companion) használatával autóajtó-tervezési feladatot optimalizáltak: a NeMo Compass trace-eket elemezve azonosították a hibás QueryModel argumentum-elhelyezést (argumentumok a várt options mezőn kívül), ami üres hibaüzenetet adott és a futás helyreállítását megakadályozta.
A coding agent erre egy validációs lépést adott hozzá, amely elkapja az elhelyezési hibákat és névproblémákat az eszközhívásokban. Az eredmény: a hibásan formált eszközhívások száma 142-ről 0-ra csökkent, a pontosság változatlan maradt, és nem észleltek regressziókat a többi forgatókönyvben.
A kezdeti optimalizációs futás emberi beavatkozás nélkül, körülbelül 12 óra alatt lefutott; az összesített értékelési pontszám a door design munkafolyamatban relatíve 28%-kal javult, és a futásonkénti eszközhívások száma 35%-kal csökkent hat tesztelt forgatókönyvön, regresszió nélkül.
A példa bemutatja, hogyan kapcsolódnak össze a trace-ből kiinduló hibafeltárás, a célzott értékelések és az iteratív harness-módosítások a feladatminőség és a végrehajtási hatékonyság mérésével.
Hol kezdjük
Kezdjük a NemoClaw blueprinttel az agent optimalizáláshoz, a workplace assistant példával vagy a CAD útmutatóval. Futtassuk le az example agentet, állítsuk fel a baseline pontszámot, majd kövessük az egy optimalizációs kört: találjuk meg a hibát NeMo Compass-szal, írjunk rá tesztet NeMo Eval Author-rel, és próbáljunk meg egy harness-változtatást. Ezt követően irányítsuk ugyanazt a kört a saját ügynökünkre.
Összefoglaló
A NeMo eszközök (NeMo Compass, NeMo Eval Author és NeMo Relay) egy rendszerszintű, trace-vezérelt optimalizációs folyamatot kínálnak: a produkciós trace-ekből előállított problémajegyek alapján reprodukálható teszteket építünk, a harness módosításával javításokat eszközölünk, majd mérésekkel ellenőrizzük a hatást fejlesztési és held-out feladatokon. A ciklus ismétlésével folyamatosan csökkenthetők a visszatérő hibák és javítható a viselkedés és hatékonyság.
