Nvidia kutatói pénteken új kutatási eredményeket publikáltak, amelyek szerint az AI‑ügynökök hosszú távú, többlépéses feladatainál sokkal fontosabb lehet maga a „harness” — a modell köré épített futtató‑és vezérlő réteg —, mint az alapul szolgáló nyelvi modell.
A legfontosabb számok és tények
- Nvidia szerint a csoport által kialakított, memóriakezelésre optimalizált, és egy „supervisor” (felügyelő/vezető) komponenssel kiegészített egyedi harness használatával a Claude Opus 5 modell 100%-os eredményt ért el az ARC‑AGI‑3 interaktív érvelési benchmarkon. Ez a benchmark 2D játékok sorozata, amelyeknek nincs részletes instrukciója: a modellnek ki kell találnia, hogyan kell játszani és nyerni.
- Azonos modell nélkül, csak a standard harness‑szel Opus 5 csupán 30%-ot ért el; ez volt a legjobb eredmény a tesztelt modellek között akkor, ha nem alkalmaztak a Nvidia által javasolt kiegészítéseket.
- OpenAI eredetileg rosszul teljesített az ARC‑AGI‑3‑on (kevesebb mint 10%), majd saját vizsgálatai során azt tapasztalta, hogy két beállítás megváltoztatásával a modelljei pontszámai megtriplázódnak — ám egyikük sem érte el a 100%-ot, amit a Nvidia‑csapat jelentett.
Mi az a harness és miért számít?
Adel El Hallack, az Nvidia AI üzletágának termékvizigazgatója a TechCrunchnak elmondta, hogy a közvélekedés gyakran úgy tekint az ügynökökre, mint a modell API‑jára, pedig az agent több ennél: maga a modell, valamint a modell köré épített váz (a harness), a futtatókörnyezet, eszközök, könyvtárak és képességek összessége.
A hosszú távú (long‑horizon) feladatok olyan problémák, amelyek több döntés összefűzését igénylik, néha napokon át tartó műveletsor eredményeként jön létre a végleges munka. Az ilyen feladatok egyik fő kihívása, hogy az ügynök ne térjen el a céloktól, ne kezdjen el irreleváns vagy hibás felfedezésekbe, és fenn tudja tartani a memóriát és kontextust.
A Nvidia csapata szerint a supervisor komponens úgy működik, mint egy vezérigazgató: figyelmezteti vagy irányítja a munkát végző ügynököt, ha az zsákutcába tart vagy újra megpróbál olyan utakra lépni, amelyek korábban nem vezettek sikerhez.
Milyen eszközöket használnak és mi a helyzet a nyílt fejlesztéssel?
A Nvidia által fejlesztett, megerősített harness Agentic Variation Operators (AVO) néven szerepel a kutatásban; ez egy felturbózott futtatói réteg, nem pedig kereskedelmi termék. Nvidia egyébként a NeMo márkanév alatt ad ki számos eszközt és komponenset az ügynökök és harness‑ek építéséhez: van köztük kereskedelmi jellegű szoftver, de sok elem nyílt forrásból is elérhető.
Kapcsolódó kutatások és költségtényezők
A vizsgálat eredménye illeszkedik más, a témába vágó kutatásokhoz. Júliusban a Databricks publikált olyan eredményeket, amelyek azt mutatják, hogy a harness megválasztása jelentősen befolyásolja az AI‑költségeket: Ali Ghodsi, a Databricks vezérigazgatója szerint ugyanazzal a modellel különböző harness‑ek használata kétszeres költséget is eredményezhet.
Nvidia nagyobb állítása az, hogy a nyílt, konfigurálható harness‑ek — akárcsak a nyílt modellek — többlet‑irányítást biztosítanak a felhasználóknak, és elősegítik a pontosság és a biztonság növelését. El Hallack szerint egy nyílt ügynökstack, amelyben a harness, az infrastruktúra és a runtime fölött kontroll van, szükséges ahhoz, hogy az ökoszisztéma biztonságosan és hatékonyan fejlődjön.
Miért fontos ez a gyakorlatban?
A kutatás rámutat arra, hogy bár a modellválasztás jelentős, az ügynökrendszer teljesítménye erősen függ a környezetétől: a memóriakezeléstől, a visszacsatolási mechanizmusoktól és a felügyeleti rétegtől. Ez különösen fontos olyan alkalmazásoknál, ahol hosszabb, több lépésből álló munkafolyamatokat kell megbízhatóan és költséghatékonyan végrehajtani — például dokumentumszerkesztésnél, automatizált folyamatoknál vagy interaktív döntési feladatoknál.
A téma további fejleményeire érdemes figyelni, különösen a nyílt és zárt megoldások közötti biztonsági, költség‑ és teljesítménykülönbségek tekintetében.
