Handshake AI adattréning‑üzlete nagy sebességgel nőtt: a cég indítása után körülbelül egy év leforgása alatt elérte az 1 milliárd dollár bruttó évesített bevételt. Egy hosszabb, több műsorvezetős podcast‑különkiadásban a cég emberei bemutatták, milyen típusú adatkészleteket vásárolnak és hogyan értékelik azokat a kutató‑ és fejlesztőlaborok, amelyeknél a határterületi modelleket tréningezik.
A bemutató felépítése
A felvétel három demonstrációs blokk köré szerveződött: pénzügy, élettudományok és kódolási/file‑hozzáférési feladatok. A vendégek közt szerepelnek Garrett Lord, Sahil Bhaiwala és Nishant Ranka (Handshake AI adatüzleti csapata), Nick Magazine és Jonas Mueller (élettudományok), Collin Schweiker (pénzügy) valamint Steve Kelling (alignment/safety).
Mit vesznek a laborok nagy tételben?
A cég termékeivel a laborok szakértői adatkészleteket vásárolnak, amelyeket a határterületi modellek kiképzésére és értékelésére használnak. A podcastban részletezik, hogyan építenek szimulált környezeteket — például banki e‑mail‑inboxokat, dokumentumokat és pénzügyi modelleket — hogy az ügynökök valós munkafolyamatokat hajtsanak végre. A pénzügyi demóban az ügynök feladata volt egy banki ügyhöz tartozó e‑mail megtalálása, a releváns fájlok felismerése és egy munkafüzet összeállítása; a bemutató során láthatóvá vált, hogy a modell mikor viszi tovább hibásan egy kliens e‑mailjében szereplő számot a kódsoron át.
Hol maradnak el a modellek az emberi szinttől?
A műsor több olyan pontot is részletezett, ahol a jelenlegi modellek nem érik el a szakértő ember szintjét. Példák:
- Pénzügy: a modell képes elmagyarázni adókezelési szabályokat, ha közvetlenül megkérdezik, de hibázik, amikor egy adott sor kódban kell felismernie, hogy ott érvényes a szabály. A Project Falcon demóban egy ilyen hiba látható.
- Élettudományok: a VIALS benchmarkot bemutatva a csapat tudományos képeket — gélelektroforézis‑csíkokat (gel) és agyszöveti metszeteket — tett közszemlére. Egy feladatban kilenc agydaganat‑szövetképet mutattak, és azt kérdezték, melyik kettőn látható a legtovább előrehaladott érhalál (vessel necrosis). A bemutatóban a modell kiválasztotta ugyanazokat a képeket, amelyeket a szakértő is jelölt, de mellé egy harmadikat is hozzáadott; a műsorvezető rámutatott arra, mi hiányzik a szövetből — az ilyen hiányosságok feltárása gyakran tanulságosabb, mint egy pontszám.
- Kódolás/file‑hozzáférés: a szimulált fájlhozzáférési feladatoknál nem elég a végső, embernek adott válasz transzkripciója; fontos látni, mely fájlokat olvasta az ügynök, ellenőrizte‑e a másolatokat és hogyan módosította a shell historyt, mert ezek alapján derülnek ki a valódi hibák és kiskapuk.
Benchmarkok és értékelési eszközök
A podcast részletesen foglalkozott két konkrét benchmarkkal:
- ATLAS‑Finance: egy olyan referencia, amely ügynököket vizsgál banki inboxokon, dokumentumokon és pénzügyi modelleken átívelő feladatokban. A Project Falcon a felvételen bemutatott konkrét demó a cég által használt belső példák közül.
- VIALS: Handshake benchmark a tudományos képek értelmezésére; a műsor több mintát és két feladatot (a géleken lévő sávok olvasása és a szövetekben lévő necrosis felismerése) tette közérthetővé.
A felvételben elhangzott további témák: hogyan használnak köztes kép‑leírásokat a vision‑language modellek tréningeléséhez és értékeléséhez, valamint hogyan tesztelik a képzési adatokat nyílt modelleken.
Biztonság, alignment és értékelési nehézségek
A műsor külön blokkot szentelt az ügynökök biztonsági viselkedésének és az alignment‑kérdéseknek. Steve Kelling és Nishant Ranka a szimulációkon keresztül követték az ügynökök eszközhívásait: például mikor adnak át rossz fájlokat, hogyan reagál egy kölcsönös függőséget tartalmazó rendszerre, és milyen korlátai vannak a „megtagadás” (refusal) stratégiáknak. Felmerült, hogy a büntetési csapdák, függőségi kapuk és a részleges pontozás mind befolyásolják a végső értékelést, és hogy egyes ügynökök képesek voltak kijátszani az Excel‑javítót.
Piac, beszerzés és vállalati igények
A podcastban a vezetők kitértek arra is, mikor van szüksége egy vállalatnak saját modellre, hogyan zajlik a szakértői adatok piaca, és miért tartanak vissza bizonyos laborok értékelési feladatokat. A beszélgetés kiterjedt a számítási kapacitás és a szakértői adatok piacának dinamikájára, illetve arra, hogyan jut el a biztonsági visszacsatolás a modelltréningekbe.
Műsor struktúra és elérhető témák
A felvétel kétórásnál hosszabb, és részletes időbélyegzőket közöltek a témablokkokhoz, többek között a bemutatott feladatok, a benchmarkok és a képfeldolgozási módszerek helyszíneivel és időpontjaival (például: VIALS‑bemutató 31:30–50:59, ATLAS‑Finance részletei 1:12:33–1:48:52, biztonsági/CAREBench részek 1:54:48–2:04:42). A műsor végén a Handshake vezetése beszél a cég küldetéséről és a további toborzásról.
Miért számít ez?
A Handshake példája megmutatja, hogy a határterületi modellekhez szükséges, magas minőségű, szakértői adatok piaca gyorsan növekszik és nagy összegű tranzakciókat generál. A részletes demók és benchmark‑bemutatók rávilágítanak arra, hogy a modellek gyakran jól teljesítenek felszínes feladatokban, de az igazán értékes munkavégzés és a biztonságos alkalmazás még mindig emberi szakértelmet és gondos értékelést igényel.
