A KDD Cup 2026 Data Agents versenyén az NVIDIA KGMON csapata a második helyen végzett egy olyan rendszert bemutatva, amelynek központi gondolata az volt, hogy az ügynök „hámját” kisebbé, világosabbá és könnyebben ellenőrizhetővé kell tenni. A megmérettetés olyan feladatokat adott, ahol az ügynöknek természetes nyelvű kérdésekre kellett válaszolnia heterogén adathalmazokból — SQL-adatbázisokból, CSV és JSON fájlokból, szöveges dokumentumokból, PDF-ekből és tájékoztató videókból —, és minden feladat többet igényelt egyszerű visszakeresésnél: az adatok megvizsgálása, eszközválasztás, több forráson átnyúló következtetés, végső válaszfájl előállítása és az analitikai munkafolyamatokat érintő csapdák kezelése volt a feladat.
A verseny külön feltétele volt, hogy a csapatok egy kis, rögzített nagy nyelvi modellt (LLM) használhattak az ügynök hajtására, így a fejlesztések fő optimalizációs felülete maga a hám lett. A KGMON célja az volt, hogy előfeldolgozás, korlátozott eszközkészlet, perzisztens állapot és ellenőrzés révén tegyék egyszerűbbé a feladatot a rendelkezésre álló modell számára — megoldásuk különösen hasznos lehet kisebb, nyílt modellek köré épített megbízható rendszerekhez.
Két alapelv
A rendszer megtervezését két alapelv határozta meg:
- Az akciótér szűkítése: túl sok különböző mód az adatok vizsgálatára, eszköhívásra, fájlírásra vagy hibajavításra hibákhoz vezethet. A KGMON egységesítette az adathozzáférést, szűk eszközkészletet tett elérhetővé, és megkövetelte, hogy a végső válasz egyetlen, jól meghatározott útvonalon keresztül jöjjön létre.
- Minden próbálkozás ellenőrizhetősége: a futások megbukhatnak rossz eszköhívás, hibás join, kihagyott dokumentum-szabály vagy válatformázási probléma miatt. Végrehajtási naplók, ismételt próbálkozások és pályák vizsgálata segítette a hibák azonosítását és a hám finomhangolását.
A csapat játékkönyve nem univerzális recept minden adatelemző ügynökhöz, de az általános tanulság széles körben alkalmazható: a megbízhatóság gyakran kevesebből ered — a modell nyitottságának növelése helyett a hozzá köré épített helyes hám megalkotásából.
Konkrét technikák és javaslatok
- Strukturált források egységes lekérdező felületre konvertálása
A KDD feladatok SQL adatbázisok, CSV/JSON fájlok, dokumentumok és videók kombinációját tartalmazták. A KGMON CSV és JSON fájlokat egy ideiglenes SQLite adatbázis tábláivá alakította, így az ügynök egyetlen SQL-interfészen keresztül férhetett hozzá minden strukturált adathoz.
A csapat perzisztens, egyedi Python környezete két beépített függvényt tett elérhetővé az egységesített felület vizsgálatához és lekérdezéséhez: schema() és sql(query). Ezek a függvények csökkentették az útválasztási hibákat és a felesleges köreket, így a rögzített modell több kapacitást tudott az adatokon való gondolkodásra fordítani.
Alkalmazás: normalizálja a strukturált adathozzáférést a futás megkezdése előtt — például ideiglenes SQLite, virtualizált lekérdező réteg vagy szabályozott adattárház interfész formájában.
- Sémakontextus előzetes átadása
A KGMON bevezetett egy séma-felderítő (schema-scouting) lépést a fő érvelési ciklus előtt: felderítették a táblákat, oszlopokat, lehetséges join kulcsokat, duplikált elnevezéseket, kísértetiesen hasonló mezőket, mértékegység- és nullapattarnokat, illetve sor-granularitási problémákat. Ezt a séma-kontextust a feladat elején megkapták az ügynökök, így megspóroltak egy korai felfedező kört.
Alkalmazás: adjunk egy olvasható előellenőrző lépést, amely ismerteti a táblákat, lehetséges join-okat, kulcsoszlopokat, gyanús mezőket és ambiguitásokat.
- Kis, véleményvezérelt eszközhám
A KGMON korlátozta az ügynököt néhány segédfunkcióra: sémainformáció, SQL-lekérdezés, dokumentum-keresés, próza-kivonat és válaszírás. A környezet a következő függvényeket tette elérhetővé: schema(), sql(query), write_answer(df), prose_helper(). Middleware javította a hibás hívásokat, így egy rossz eszköhívás nem szakította meg a teljes próbálkozást.
Állapotmegőrző Python környezet megtartotta a változókat eszközhívások között, ami lehetővé tette az átmeneti eredmények újrafelhasználását. Az előre definiált függvények csökkentették a boilerplate-öt, a szintaxis- és fájlkezelési hibákat.
Alkalmazás: tervezze az eszközöket a munkafolyamat igényei szerint, és távolítsa el a párhuzamos utakat — egyetlen jóváhagyott mód SQL futtatására vagy válaszfájl írására csökkenti a hibaforrásokat.
- A prózát elsőrendű bemenetként kezelni, de külön tartani a strukturált adattól
Dokumentumok, PDF-ek vagy szabályszövegek gyakran tartalmaznak küszöbértékeket, szabályokat és táblázatszerű rekordokat. A KGMON megakadályozta, hogy az ügynök közvetlenül beolvassa az egész fájlokat (open() vagy .read()), helyette korlátozott előnézeti és keresési eszközöket biztosított karakter- vagy regex-alapú visszatérésekkel.
A prose_helper egy külön LLM-hívást kapott, hőmérséklet 0-val és kikapcsolt érveléssel: ez vagy rövid választ vagy táblázatszerű rekordok kivonását adta vissza úgy, hogy a nyers dokumentumtartalom ne terhelje a fő ügynök kontextusát. Két módja volt: mode="answer" az egyedi szabályok kivonására, és mode="table" az ismétlődő rekordok SQL-táblává alakítására.
Alkalmazás: biztosítson célzott dokumentum-ellenőrző eszközt, amely idézi a forrást és nem tölti be az egész dokumentumot a fő kontextusba. Táblakivonást csak akkor használjon, ha dokumentumok ismétlődő, csatlakoztatandó rekordokat tartalmaznak.
- Videók előfeldolgozása
A néhány KDD-feladatban szerepelt tájékoztató videó. A KGMON előfeldolgozta a videókat kulcsképkockák kinyerésével, hangátirat készítésével és az átiratok kockaképekkel való igazításával, majd ezt az evidencia-csomagot adta az ügynöknek, így elkerülték a videófeldolgozás költséges lépéseit a futásidőben.
Alkalmazás: korlátozott számú videó esetén előfeldolgozás előnyös; nagyobb gyűjteménynél érdemes on-demand video-ellenőrzőt biztosítani.
- Nyomonkövetési naplók készítése
Minden próbálkozás naplózta a promptokat, eszköhívásokat, SQL-lekérdezéseket, köztes eredményeket, hibákat, javításokat, dokumentum-kereséseket és a végső választ. Egy külön elemző ügynök vagy ember átnézhette a hibás pályákat, kategorizálhatta a hibákat és rangsorolhatta a fontos fejlesztéseket.
Alkalmazás: építse be a nyomkövetést a fejlesztési munkafolyamatba; egy alügynök vagy értékelő szkript rendszerezi a hibákat és javaslatot ad a hám módosítására.
- Többszöri próbálkozás értékelése, költségek figyelése mellett
A KGMON több próbálkozással és válaszválasztással javította a lefedettséget és a megbízhatóságot: a feladatokat csoportosították válaszértékek alapján, és vitatott feladatokhoz további futásokat rendeltek. Az ismétlések segítettek megkülönböztetni a stabil válaszokat az alkalmi hibáktól az értékszintű pontozású versenyben.
Fontos azonban, hogy az ismételt próbálkozások megnövelik a token-felhasználást, a késleltetést és a számítási költséget; termelésben csak ott alkalmazzuk, ahol az eszköz, bizonytalanság vagy kockázat indokolja.
- Javító ciklusok óvatos használata
Autonóm javító ciklusok (amikor az ügynök a visszajelzés alapján módosít) gyors előrelépést hozhatnak, de túlilleszkedéshez is vezethetnek. A KGMON tapasztalatai szerint kockázatot jelenthetnek a tréningpéldák durva beégetése, ellentmondó instrukciók felhalmozása, törékeny utófeldolgozó szabályok bevezetése vagy a benchmarkon való javulás általánosíthatóság rovására történő optimalizálás.
Alkalmazás: használjon tartalék feladatokat, prompt-auditot, pályavizsgálatot és emberi jóváhagyást a változtatások élesítése előtt.
- Az emberek szerepének helyes meghatározása
A csapat emberi beavatkozást kombinált nagyarányú ügynök-experimentációval: az emberek definiálták a feladatkövetelményeket, auditálták a naplókat, irányították a korai ügynökviselkedést, elutasították a törékeny változtatásokat, és kiválasztották a visszatartandó fejlesztéseket.
Alkalmazás: az emberek döntsenek a feladattervezésről, értékelési kritériumokról, hibaelemzésről és újrahasznosítható képességekről; az ügynökök futtassanak és vizsgáljanak, de az emberek döntsék el, mely javítások maradjanak a hám részei.
Fő tanulságok
A KGMON megoldását a benchmark sajátosságai (rögzített modell, internet-hozzáférés tilalma, heterogén feladatok, értékszintű pontozás és rendelkezésre álló költségkeret) alakították. Nem minden döntés más rendszerekre vagy termelési környezetre közvetlenül adaptálandó, de a következő gyakorlatok általánosan hasznosak:
- Normalizálja az adathozzáférést a futás előtt.
- Adjon az ügynöknek kis, megbízható eszközkészletet.
- Tegye minden próbálkozást naplózhatóvá és vizsgálhatóvá.
- Értékelje a válaszokat és a végrehajtási pályákat egyaránt.
- Használjon többszöri próbálkozást szelektíven.
- Tarts meg újrafelhasználható tudást, és élesítsen változtatásokat csak validálás után.
Hogyan kezdjen hozzá
Kezdje egy ismételhető analitikai munkafolyamattal és építse meg a lehető legkisebb hámot, amely képes azt teljesíteni:
- Határozza meg a kérdést és a szükséges válaszformátumot.
- Adjon szűk eszközkészletet az adatok vizsgálatához és lekérdezéséhez.
- Rögzítse minden eszköhívást és köztes eredményt.
- Készítsen egy kis értékelőkészletet sikeres és tipikus hibamódokkal.
- Tekintse át az ügynök pályáit és finomítsa az eszközöket, promptokat és ellenőrzéseket.
Miután az alap megbízható, fokozatosan építse be a dokumentum-ellenőrzést, a megosztott tudást, a felülvizsgált javításokat és a szelektív többszöri értékelést.
Összegzés
A KGMON második helye azt illusztrálja, hogy amikor egy rögzített, kisebb LLM áll rendelkezésre, a megbízhatóság kulcsa gyakran nem a modell nagyobb rugalmassága, hanem a köré épített, jól tervezett, ellenőrizhető és szűk hám. Az eszközök egyszerűsítése, a séma-előzetesítés, a célzott dokumentum- és videófeldolgozás, valamint a részletes végrehajtási naplók együtt jelentősen növelték az eredményességet a KDD Cup 2026 feladataiban.
(A cikk a KGMON csapat által megosztott játékkönyvön alapul, amely gyakorlatias tervezési útmutatókat és példákat tartalmaz az ügynökfejlesztéshez.)
