A Box a fejlesztői konferenciáján csütörtökön bemutatta új funkcióját, a Box Content Retrievalt, amely az Nvidia Nemotron beágyazó (embedding) rendszerét integrálja a termék magjába. Az új megoldás célja, hogy az ügynökök (agentek) és keresőrendszerek hatékonyabban válaszoljanak a lekérdezésekre a Nemotron által létrehozott beágyazott metaadatokra támaszkodva.
Mire jó a Box Content Retrieval?
A Box szerint a felhasználók számára az eredmény gyorsabb, pontosabb és olcsóbb lekérdezéseket jelent. Kari Briski, az Nvidia generatív MI szoftverekért felelős alelnöke a TechCrunchnak azt mondta, hogy várhatóan négyszer gyorsabb válaszidők, 20%-kal kevesebb hiba és 90%-kal kevesebb tokenhasználat érhető el a rendszerrel.
A szolgáltatás az Enterprise Advance csomag minden ügyfelének elérhető lesz, és a bevezetés a következő év elején indul.
Hogyan működik a gyakorlatban?
Aaron Levie, a Box vezérigazgatója szerint az új megközelítés jelentősen növeli a keresés relevanciáját az ügynökök számára. Ahelyett, hogy az ügynök sorra elolvasna minden dokumentumot, a rendszer a dokumentumoknak csak azokat a részeit (chunks), illetve azokat a darabjait küldi vissza, amelyek a felhasználó lekérdezéséhez vagy az adott feladathoz a leginkább kapcsolódnak.
A funkció valójában az Nvidia Nemotron Embed projekt megvalósítása: ez nyílt súlyú (open-weight) beágyazó modelleket kínál a keresési és visszakeresési rendszerek teljesítményének javítására. Bár a legnagyobb kutatóintézetek gyakran nem fókuszálnak különösen az embedding modellekre, az Nvidia nyílt forráskódú modellprojektje erre külön figyelmet fordított; a Nemotron legutóbbi, júliusi kiadása a RTEB benchmarkon az első helyet érte el, amely a visszakeresés minőségét méri.
Mely felhasználók számára hasznos?
A rendszer különösen akkor lesz értékes, ha aktívabb ügynökökkel párosítják, amelyek folyékonyabban képesek dolgozni a Nemotron által előfeldolgozott adatokkal. A Box példaként ügyvédeket említett: jogi szakemberek könnyebben megtalálhatják a releváns kikötéseket és precedenseket, mivel a Nemotron beágyazások a kulcsszavaknál mélyebb, fogalmi kapcsolódásokat is képesek feltérképezni. Ez lehetővé teszi, hogy a kereső eszköz összefüggő jogi koncepciókat is felhozzon akkor is, ha különböző kifejezéseket használnak.
Mi kell a működéshez?
Bár a Nemotron modellek ingyenesen hozzáférhetők, a Box megoldása erősen épít a cég meglévő metaadataira és jogosultságkezelési rendszerére, ami megnehezíti a funkció egyszerű lemásolását. Aaron Levie a TechCrunchnak azt mondta: „valószínűleg öt különböző technológiát zsúfolunk egyetlen egyszerű API-ba.”
Összefoglalva, a Box Content Retrieval a Nemotron embeddingjeit és a Box korábbi jogosultság- és metaadat-infrastruktúráját kombinálva ígér gyorsabb, pontosabb és költséghatékonyabb lekérdezéseket — különösen olyan területeken, ahol a fogalmi keresés és a kontextus fontos, például a jogi dokumentumok feldolgozásában.
