A Terminal X a Capital Memory platformon belül ügynököket hoz létre, amelyek egy befektetési cég legjobb döntéshozóinak gondolkodását kódolják le, és az ügynökök válaszait az Eval Agent nevű ellenőrző folyamattal mérik. Az Eval Agent GPT‑6.1 Sol és más OpenAI modellek segítségével dolgozik, és minden kimenetet egy 54 kritériumból álló rubrika szerint értékel.
Hogyan működik a rendszer
- A Terminal X mérnökei, köztük korábbi JPMorgan és Blackstone szakemberek, az ügyfél telephelyén töltött hetek alatt feltérképezik a céges folyamatokat és az íratlan szabályokat (például hitelvizsgálati gyakorlata vagy memo-források).
- Ezeket a döntési szabályokat százszámra készített, eszközosztály és stratégia szerint testreszabott ügynökökbe kódolják, amelyeknek alügynökeik vannak az egyes befektetési lépésekre.
- A GPT‑6.1 Sol a nagy kontextust igénylő, megítélést követelő fázisokat (befektetési tézis összegzése, kulcskérdések azonosítása, mandátumnak való megfelelés vizsgálata) kezeli. A GPT‑6 Luna a nagy volumenű, token‑hatékonyságot igénylő lépések futtatására szolgál.
- Az ügynökök az ügyfelek privát adat‑tárában futnak, feldolgoznak dokumentumokat angolul, koreaiul, japánul és kínaiul, és a tanultakat verzionált "Memory" formájában tárolják: hogyan hoz egy adott desk egy adott döntést, beleértve korábbi elemzéseket, bizottsági döntéseket és házi irányelveket.
- Minden éles lekérdezés auditálható: rögzítik a megtett lépéseket, előhívott forrásokat, a használt modellt és a mögöttes érvelést.
Milyen eredményeket hozott a GPT‑6.1 Sol
- A Terminal X szerint az Eval Agent a 54 kritérium alapján végezte az ellenőrzést, és GPT‑6.1 Sol használatakor körülbelül 25%‑kal több ajánlást fogott, amelyek eltértek egy alap által meghatározott fund mandátumtól, mint amit a következő legjobb modell talált volna.
- Az Eval Agent és a felső szintű emberi felülvizsgáló megállapodási aránya GPT‑6.1 Sol esetén 88.6% volt, szemben a következő legjobb modell 86.4%‑ával — ez 220 bázispontos javulás.
- A GPT‑6.1 Sol token‑hatékonysága nagy, hosszú kontextusú feladatoknál lehetővé tette egy mélyebb ellenőrzési folyamat felépítését azonos költségvetés mellett: a tézis előbb a fund mandátuma ellenőrzés alá kerül, majd a közelmúltbeli ügyletekhez viszonyítva validálódik; bizonytalan eseteket újrafuttatnak és egyeztetik az eredményeket.
- Ez a mélyebb felülvizsgálat olyan ügyleteket is kiszűrt, amelyeket egy egyszeri, kevésbé mély átfutás engedélyezett volna.
- GPT‑6.1 Sol ugyanakkor nagyjából 30%‑kal alacsonyabb lekérdésenkénti költségen futtatta ugyanazokat a munkafolyamatokat, hasonló sebességgel a következő legjobb modellhez képest.
Konkrét mérőszámok és használat
- Egy magántőke ügyfélnél automata due diligence és befektetési memo munkafolyamatok eredményeként jelentett évesített szintű megtakarításként 2,4 millió dollárt.
- A Terminal X eddig 1 700 firm Memory‑t épített fel, több mint 1 millió egyedi, testreszabott munkafolyamatot futtatott, és a heti aktív felhasználók száma elérte a havi aktív felhasználók 81%-át.
Eval Agent működése és tanulás a hibákból
- Az Eval Agent minden kimenetet a 54 ponton ellenőriz: helyesek‑e a számok, összehasonlítások, konszenzusok és idézetek a helyes forrásokból; állja‑e a narratíva a próbát; kötődik‑e a javaslat a house view‑hoz.
- Minden ellenőrzés pass/fail értékelést kap. A sikertelen tételekhez egy soros magyarázat jár és egy javasolt jobb forrás vagy javított szöveg, majd ez beépül egy új Memory‑be vagy munkafolyamat‑utasításként a desk szabályai közé (például hiányzó forrás, hibás komparábilis, vagy a tézis elhajlása a házi nézettől).
- Ken Lee, a Terminal X társalapítója és technológiai igazgatója ezt így foglalta össze: "Minden választ értékelnek, és amit az elemző javít, az a rendszer számára többet tanít arról, hogyan dolgozik az adott cég. Minél tovább használja egy vállalat, annál jobban gondolkodik úgy, mint a saját csapata."
Következő lépések
A Terminal X tervezi a firm Memories kiterjesztését az egyes befektetési szakemberekre is, hogy ne csak azt rögzítsék, hogyan írják le a standardokat, hanem azt is, hogyan gyakorolják azokat. Hyun, a Terminal X társalapítója és vezérigazgatója szerint: "A következő évtizedet megnyerő cégek a döntésüket adatként fogják birtokolni. A mi feladatunk, hogy ezt a döntést mérhetővé tegyük, hogy megtartható, javítható és újrahasznosítható legyen."
