OpenAI együttműködött az Ironcladdal egy kutatási projektben, amelynek célja, hogy a nagy nyelvi modelleket (LLM-eket) jobban megtanítsa szakmai, többlépéses szerződéskezelési munkák elvégzésére. A partnerség során azonosítottak és kutatási feladattá alakítottak olyan, magas értékű és nehezen automatizálható munkafolyamatokat, amelyeket az ügyfelek napi szinten végeznek.
Miért fontos ez?
A cél az, hogy az ügynökök (AI agentek) ne csak egyszerű szövegalkotásra legyenek képesek, hanem specializált szoftvereket használva végrehajtsanak többlépcsős üzleti folyamatokat: üzleti szabályok érvényesítése, jóváhagyási logikák konfigurálása, sablonok és újrafelhasználható jogi klauzulák kezelése, valamint a végeredmény megfelelőségének ellenőrzése.
Az Ironclad szerepe és a feladatok
Az első partner az Ironclad volt, amely szerződéskezelési szoftverekben vezető szereplő. Az Ironclad szakemberei és OpenAI Ironclad‑felhasználói azonosítottak 11 kutatási feladatot jogi, kereskedelmi és beszerzési területeken. Példák a feladatokra:
- titoktartási megállapodások (NDA) beállítása;
- beszerzési jóváhagyási folyamatok létrehozása (például pénzügyi jóváhagyási küszöbök kezelése);
- újrafelhasználható jogi klauzulák frissítése úgy, hogy azok tükrözzék a kérelemben megadott joghatóságot.
Az OpenAI becslése szerint egy tapasztalt felhasználónak átlagosan 30–40 percet venne igénybe egy ilyen kutatási feladat elvégzése.
Hogyan végezték a képzést és értékelést?
Az Ironclad biztosította a termékének hosztolt környezeteit, ahol a modellek gyakorolhatták a feladatokat. A kutatók:
- részletes értékelési kritériumokat dolgoztak ki (feladatonként 8–50 kritérium a komplexitástól függően), hogy pontosan látható legyen, mely lépések sikerülnek és melyek nem;
- reprezentatív munkafolyamatok alapján szintetikus (szimulált) tréningfeladatokat hoztak létre a gyakorlat és a visszajelzés érdekében;
- megerősítéses tanulást (reinforcement learning) alkalmaztak, hogy a modellek gyakorlással javuljanak.
Ez a kombináció — a munkát ismerő szakemberekkel kiválasztott feladatok, részletes sikerkritériumok és egy gyakorló környezet — lehetővé tette, hogy a fejlesztés a valós ügyféligényekre fókuszáljon.
Eredmények: Astra vs. GPT‑5.6 Sol
A GPT‑6 Astra volt az első „frontier” modell, amelyet az Ironclad‑feladatokra képeztek. A kutatási értékelésben Astra átlagos pontszáma 55.0% volt az 11 feladaton, míg GPT‑5.6 Solé 41.6%.
Időhatékonyságban is javulás látszott: az OpenAI által becsült átlagos idő egy próbálkozásra GPT‑5.6 Sol esetén 37.0 perc volt, míg Astra esetén ez 19.2 percre csökkent — nagyjából 48%‑os csökkenés az egy próbálkozásra számított időben. A szervezet egy belső modellje, amely része volt Astra fejlesztésének, még magasabb, 63.7% átlagos teljesítményt ért el az adott kutatási feladatokon.
Az OpenAI kiemeli, hogy az összehasonlításnál Astra‑hoz a „Max reasoning” beállítást, Sol‑hoz pedig a „High reasoning” beállítást alkalmazták — azokat a konfigurációkat, ahol az egyes modellek a legjobb eredményt érték el.
Példa a különbségre
A közlemény két rövid klipet említ, amelyek ugyanazt a feladatot mutatják be: Astra körülbelül 94%‑ban teljesítette a feladat kritériumait egy becsült 20 perces próbálkozás alatt; GPT‑5.6 Sol ugyanazon a feladaton körülbelül 85%‑ot ért el egy becsült 32 perces próbálkozás alatt.
Korlátozások és etikai megfontolások
OpenAI hangsúlyozza, hogy az eredmények az 11 kutatási feladatra vonatkoznak, nem pedig az Ironclad összes munkafolyamatára. A bemutatott idők szimulált becslések (a modellfeldolgozási és -generálási sebesség feltételezésein alapulnak), és nem ügyfélnél mért időmegtakarítást tükröznek.
A kutatás során használt szimulált feladatok a SEC EDGAR adatbázisában nyilvánosan elérhető szerződésekből készültek, miután kiszűrték a személyes adatokat. OpenAI kijelentette, hogy nem használtak OpenAI ügyféladatokat, OpenAI belső szerződéseket vagy nem nyilvános Ironclad ügyféladatokat tréningre vagy értékelésre.
Az Ironclad munkája rávilágít egy valós problémára: a szerződéskezelési folyamatoknak egyszerre kell kezelniük kivételeket és megőrizniük az üzleti szabályokat. Ha egy ügynök elveszíti a szabályokat a folyamat közben, az korlátozza, hogy milyen feladatokat lehet rá bízni emberi felügyelet nélkül. Ezért a közlemény kiemeli, hogy az emberi ellenőrzés még mindig fontos, és a teljes szerződéskezelő platform továbbra is alapvető.
További együttműködésekre való felhívás
OpenAI meghívott kis számú szoftvercéget, hogy közvetlenül dolgozzanak együtt a kutatási és mérnöki csapataival olyan fontos, ma még megbízhatatlanul automatizálható szakmai feladatokon, amelyek a cégek számára kritikusak. A jelentkezőknek konkrét példát kell bemutatniuk: mit várnak el az ügynöktől, hol hibázik jelenleg az automatizáció, és milyen kritériumok alapján ítélnének egy eredményt sikeresnek. A partnereknek emellett rendelkezniük kell a munkát jól ismerő szakemberekkel, biztonságos tesztkörnyezettel és kutatásra biztonságosan használható adatokkal.
Összefoglalás
Az OpenAI és az Ironclad közös kutatása azt mutatja, hogy a célzott, munkafolyamat‑központú tréning és értékelés javíthatja a modellek pontosságát és sebességét komplex szerződéskezelési feladatokban. Az eredmények bíztatóak, de korlátozottak a kutatási feladatokra és a szimulált időbecslésekre; továbbra is szükség van emberi felügyeletre és teljes szerződésplatformokra a kockázatok kezelése érdekében.
