Az AI‑ügynökök jelentős hatékonyságnövekedést hoznak a bonyolult chipes tervezési munkafolyamatokban, ugyanakkor az a hajlamuk, hogy meggyőző, de hibás kimeneteket adjanak, akadályozza a gyakorlatba történő éles bevezetést. Különösen többlépcsős mérnöki folyamatoknál egy korai, észrevétlen hiba csendben végigfuthat a későbbi lépéseken és a végső terméken. Emiatt fontos az ügynökök teljes, végső kimenetekhez viszonyított értékelése, nemcsak az egyes köztes lépések külön ellenőrzése.
A NeMo Gym, az NVIDIA nyílt könyvtára a modellek és ügynökök környezeten belüli értékelésére és finomítására, erre a problémára ad eszköztárat. A NeMo Gym agentikus értékelési környezete képes feltárni a hibamódokat és követni a hibák terjedését több lépésen át. Ha doménspecifikus verifiert állítanak fel, amely a végső Liberty (.lib) fájlokat összehasonlítja ellenőrzött referenciaanyagokkal, az mérnökök számára lehetővé teszi a teljes rollout‑trajectoriák visszakövetését és az apró, korán megjelenő hibák forrásának azonosítását.
Ez a cikk bemutatja, hogyan alkalmazta a Siemens Fuse csapata a NeMo Gymet a Fuse EDA AI Agent megbízhatóságának értékelésére és javítására a karakterizációs eszközök hívásakor. A Siemens Fuse a NeMo Gymet használta az értékelések skálázására és a keletkező Liberty fájlok ellenőrzésére is: a fejlesztők végigkövették a gyakori és ritkább hibákat minden rollout során, majd ezek alapján módosították az ügynök skilljeit és a Model Context Protocol (MCP) eszközleírásokat. Ennek eredményeként a mért benchmark kompozit pontszám körülbelül 55%-ról megközelítőleg 95%-ra emelkedett a reprezentatív standard‑cell karakterizációs feladatokból álló mérésben, miközben csökkent a párbeszédek (turnök) és a kimeneti tokenek száma.
Standard‑cell karakterizáció automatizálása
A standard‑cell karakterizáció folyamata pontos időzítési, fogyasztási és zajmodellek előállítása logikai cellákra különböző működési feltételek mellett. Ez alapvető a chiptervezésben és szükséges például új process design kit (PDK) kiadása után. Egy PDK tartalmazza a SPICE‑transzisztermodelleket, tervezési szabályokat és a process‑voltage‑temperature (PVT) körülményeket; ha a foundry frissíti a PDK‑t, a korábbi karakterizációs adatsorok már nem feltétlenül írják le pontosan az eszközöket, ezért az időzítési és fogyasztási modelleket újra kell generálni és érvényesíteni minden érintett cellára a különböző bemeneti slew, kimeneti terhelés és PVT kombinációkban.
A Solido Characterization Suite ügynök automatizálja ezt a folyamatot. Az ügynök a Solido eszközeit szervezi és hívja a Siemens Fuse EDA AI Agenten keresztül; a Fuse MCP szervereket és skillleírásokat tesz elérhetővé, amelyeket általános kódházak — például Claude Code, Codex és Cursor — használnak. Az MCP interfészek gyorsított eszközöket tesznek elérhetővé mérnöki ügynökök számára, a skilllek pedig irányt adnak a karakterizációs munkafolyamatokhoz. A gyorsabb szimuláció azt jelenti, hogy az ügynökök rövidebb iterációs idő alatt végeznek, míg a NeMo Gym lehetővé teszi a megbízhatóság mérését és javítását azokban az automatizált levezénylésekben.
A Solido Characterization Suite ügynöknek több feladatot kell ellátnia: eszköz‑beállítás, nagy léptékű SPICE szimuláció, elosztott számítás, Liberty fájl generálás, hibakeresés és végső érvényesítés. Gyakran előfordul, hogy a hibák nem tiszta, nyilvánvaló hibajelzést adnak, hanem ésszerűen kinéző, de rossz kimeneteket (például hiányzó cellák, rossz küszöbértékek, hiányos sarokfeltételek). Mivel a lépések egymásra épülnek, egy korai beállítási hiba végigvándorolhat minden következő fázison, ezért egy szigorú értékelési protokoll kidolgozása kulcsfontosságú volt a produkciókész ügynök előkészítéséhez.
Értékelés és javítás NeMo Gym segítségével
A NeMo Gym a NeMo nyílt könyvtár részeként egy kontrollált értékelési ciklust integrált a standard‑cell karakterizációs folyamattal. Minden rollout számára definiálja a feladatot, az eszközöket, az állapotot és a verifiert, így az egyes próbálkozások tiszta kezdőállapotból indulnak és összehasonlítható eredményt adnak. Emellett rögzíti az ügynök gondolatmeneti nyomvonalait (thinking traces), bemeneti és kimeneti üzeneteket, valamint az eszköz‑hívásokat.
Ez lehetővé tette az iteratív optimalizációs folyamatot:
- Futtattak alapvonali roll‑outokat verzionált feladattal és verifierrel egyedi NeMo Gym környezetben.
- Megvizsgálták a trajectoriákat, a sikertelen eszköz‑hívásokat és a verifier diagnosztikákat.
- Azonosították a kétértelmű instrukciókat, felesleges lépéseket és a rossz eszközválasztásokat.
- Finomították az ügynök skilljeit és az MCP eszközleírásokat.
- Megismételték ugyanazokat a feladatokat azonos értékelési feltételek mellett.
- Összehasonlították az ellenőrzött kimeneteket és a sikeres eredményekre eső hatékonyságot.
A végső, end‑to‑end értékelés olyan hibákat tárt fel, amelyeket az egyes eszköz‑hívások önmagukban nem fedtek fel: például hiányzó cellák vagy PVT sarokfeltételek a végső Liberty fájlokban, helytelen slew küszöbök, vagy időzítési és fogyasztási értékek, amelyek a megengedett tartományon kívül esnek. Ez megerősítette, hogy a mérnöki ügynököket a végső artefaktumokra kell értékelni, nem csak az egyes lépésekre.
A verifikáló pontozás és jutalmazás
A csapat ismételhetőség érdekében verifiert írt, mely végső kompozit jutalompontszámot ad a következő metrikák alapján:
- Coverage: Az összes várt cella és PVT sarok létrejött‑e.
- Validity: A Liberty fájlok jól formáltak és használhatók‑e az érvényesítő eszközökkel.
- Relative validation: A kimenet nem hozott‑e be további hibákat a referenciához képest.
- Accuracy: A várt időzítési és fogyasztási értékek hányad része esik a megadott tolerancián belül.
- Integrity: A karakterizációs folyamat teljes eredményt adott‑e, nem pedig korábbi értékek újrahasználatát, levágást vagy átformázást mutató kimenetet.
A végső jutalom R így definiálták: R = 1[Coverage] × 1[Validity] × 1[Relative validation] × 1[Integrity] × (X_tol / X_total), ahol X_tol a tolerancián belüli értékek száma és X_total a kimeneti értékek teljes száma. Bármely bináris indikátor hibája (értéke 0) a teljes jutalmat nullára viszi, azaz a rendszer csak akkor ad pontot, ha az összes strukturális feltétel teljesül.
Az ügynök optimalizálása és eredmények
A tesztekhez a nyílt forrású GF180MCU PDK‑t használták, benchmark célokra. A mintakészlet 229 standard cellát tartalmazott 36 PVT sarokkal, és a Solido AFS‑t használták SPICE szimulációra. Egy egyedi agentikus környezetet építettek NeMo Gymben, és minden futtatásnál a teljes folyamatot két cellára és 36 PVT sarokra korlátozták — ez a kisebb alhalmaz elegendő volt az ügynöki munka finomhangolásához. Egy futtatás körülbelül 1,5–2 órát vett igénybe, és a csapat körülbelül 25 roll‑outot hajtott végre, Claude Opus 4.8‑at futtatva Claude Code környezetben, fix modellként és ügynökhöz kötött harness‑szal.
Az egymást követő értékelési körök során finomították az ügynök karakterizációs skilljeit és az MCP eszközleírásokat. Az eszközválasztás javítása érdekében egyszerűsítették az átfedő fájl‑ és shell‑interfészeket, és explicit JSON sémákat definiáltak az eszközbemenetekhez, így a karakterizációs eszközök hívása könnyebbé vált az ügynök számára.
A módosítások után a vizsgált roll‑outok átlagos kompozit verifikációs pontszáma nagyjából 55%-ról körülbelül 95%-ra emelkedett. Az optimalizált munkafolyamat kevesebb ügynök‑körrel és kevesebb kimeneti tokennel is beérte: a turnök száma 155‑ről 53‑ra csökkent (~66% csökkenés), míg a kimeneti tokenek körülbelül 81K‑ról 29K‑ra estek (~64% csökkenés).
Általánosítható módszer más mérnöki domének számára
A bemutatott értékelési módszer alkalmazható más mérnöki ügynököknél is, például EDA‑ban, CAE‑ben és egyéb mérnöki területeken. A legfontosabb tanulságok:
- A végső mérnöki artefaktumokat értékeljük, ne csak az egyes eszköz‑hívások sikerét.
- Készítsünk doménspecifikus grader/verifiert, amely felismeri a hiányzó, levágott, átformázott vagy újrahasznosított eredményeket, hogy megakadályozzuk az ügynök „cselét”.
- Gyűjtsünk sok roll‑outot, és célzottan javítsuk a megbízhatóságot skill‑ és MCP‑interface optimalizálással.
Kezdés NeMo Gymmel és elismerések
A NeMo Gym Quickstart útmutatóval lehet elkezdeni az első értékelést, majd a fenti lépéseket követve egy reprezentatív feladaton bevezetni a végső artefaktum‑definíciót, a doménspecifikus verifiert, a rollout‑hibák vizsgálatát és a skill‑ és eszközleírások finomítását.
A cikk szerzői köszönetet mondanak Gunjan Shah‑nak az NVIDIA‑tól, valamint Tim Whelernek, Lakshminarayanan Ramesh‑nek és Carl Hofmeister‑nek a Siemens‑től a kulcsfontosságú hozzájárulásokért az ügynök fejlesztéséhez és az értékelési módszertan kidolgozásához.
