NVIDIA bejelentette, hogy a xio-sig specifikáció kiterjesztésében a cuObject is szerepelni fog a korábbi cuFile mellett, és a cuObject kliens- és szerverkönyvtárak általánosan elérhetővé váltak. Emellett bemutatták a Scaled Accelerated Data Access (SCADA) Server SDK-t, amely lehetővé teszi tárolószolgáltatók számára, hogy olyan SCADA szervereket építsenek, amelyek GPU-kezdeményezésű kérésekre válaszolnak és adatokat szolgáltatnak RDMA-n keresztül.
Miért fontos ez az AI-infrastruktúrában?
AI-alkalmazások — például modellek tanítása, finomhangolása, inference kontextusok, eszközhívások, keresések és adatbázis-keresések — egyre nagyobb és gyorsabb adat-hozzáférést igényelnek. Sok ilyen adat fájlokban és objektumokban tárolódik helyben vagy a felhőben. A számítási gyorsítók (GPU-k, TPU-k, XPUs) számára fontos a távoli közvetlen memória-hozzáférés (RDMA), amely NIC- vagy DPU-gyorsított adatátvitelt használ (például NVIDIA ConnectX NIC vagy NVIDIA BlueField DPU) és megakadályozza, hogy az adatok a szerver CPU által vezérelt memóriáján keresztül másolódjanak. Az RDMA-alapú, „zero-copy” adatátviteli igény a gyorsabb GPU-architektúrákkal nő.
A fejlesztők eddig több különböző API-val és protokollal találkoztak szolgáltatónként, és az objektumtárolás RDMA-n való megvalósítása sem rendelkezett egységes wire-protokollal, így a megoldások gyakran szolgáltató-specifikus integrációt igényeltek vagy hagyományos hozzáférési módszerekre támaszkodtak.
cuObject a xio-sig-ben és a könyvtárak elérhetősége
A cuObject általánosan elérhető kliens- és szerverkönyvtárai egységesített lehetőséget adnak AI-alkalmazás-fejlesztőknek, nyílt forrású keretrendszer-fejlesztőknek, tárolópartnereknek és fogyasztóknak arra, hogy fájl- és objektumprotokollokon keresztül gyorsított adat-hozzáférést valósítsanak meg. A cuObject API-k és RDMA wire-protokoll segítségével objektumtároló alkalmazások és szerverek építhetők úgy, hogy az objektumadatok RDMA-n keresztül jutnak el az gyorsítókhoz, anélkül, hogy azokat a szerver CPU memóriáján keresztül másolnák — ez nagyobb sávszélességet, alacsonyabb késleltetést és csökkentett CPU-használatot eredményez.
A xio-sig jelenlegi struktúrája külön repository-szerkezetet tartalmaz cuFile és cuObject számára. A cuFile és cuObject fejlécfájlokat, a cuObject wire-protokollt, valamint a libxFile és xFilekernel implementációs kódját megosztják, miután a termékérett verem teljesíti a konformancia teszteket. A kormányzati dokumentumok jelenleg felülvizsgálat alatt állnak a várakozó Board-tagok számára.
Google Cloud, amely korábban a cuFile karbantartásában vett részt, vizsgálja a cuObject-tel való szélesebb részvételt, tükrözve a nagy teljesítményű felhő alapú fájl- és objektumtárolás iránti fókuszát. Microsoft szintén csatlakozni kíván a xio-sig igazgatótanácsához az interoperabilitás javítása érdekében.
SCADA Server SDK és a Storage-Next kezdeményezés
A Storage-Next keretében az új SCADA Server SDK lehetővé teszi, hogy tárolópartnerek olyan szervereket építsenek, amelyek GPU-alapú SCADA kliensektől érkező kéréseket fogadnak, ezeket helyi vagy távoli tárolóból teljesítik, és az eredményeket RDMA-n keresztül adják vissza. A munkában szerepel továbbá a Storage Lender Service és egy parancssori SCADA eszköz a konfiguráláshoz és telepítéshez, amelyek segítik a tároló-szolgáltató szerverek interoperabilitását a SCADA kliensekkel.
IBM Storage demonstrált egy prototípust, amelyben egy SCADA kliens kéréseket küldött az IBM Storage Scale SCADA szerverének kezdeti verziójához, amelyet a SCADA Server SDK-val építettek. Ez a bemutató azt szemlélteti, hogy a tárológyártók hogyan működhetnek együtt NVIDIA-val egy olyan ökoszisztéma kiépítésén, amely támogatja a SCADA által gyorsított, GPU-kezdeményezésű tárolóhozzáférést. Az ilyen infrastruktúra segíthet nagyméretű adatállományokhoz való hozzáférésben olyan alkalmazások számára, mint a szemantikus keresés, ajánlórendszerek és csalásfelderítés.
Kiterjedtebb iparági együttműködés
A Storage-Next kezdeményezés keretében NVIDIA több mint 40 gyártót és vevőt vezet, köztük NAND-gyártókat, vezérlőgyártókat, tárolószolgáltatókat, hyperscalereket és alkalmazásfejlesztőket, hogy meghatározzák, hogyan működjön a GPU-vezérelt tárolás, és ezeket az előrelépéseket interoperábilis, nyílt ipari szabványokká alakítsák. A SCADA a szoftverinfrastruktúra része, amely a nagy átviteli sebességű, finom szemcséjű, GPU-kezdeményezésű I/O-kat támogatja.
Hol lehet elindulni?
A xio-sig kiterjesztésével és a cuObject könyvtárak általános elérhetőségével a tárolópartnerek, szolgáltatók és fogyasztók elkezdhetik a cuObject használatát, és részt vehetnek a közösségi munkában a cuFile és cuObject interoperábilis API-kkal és protokollokkal kapcsolatban. A kapcsolódó források között megtalálhatók a xio-sig repository-jának frissítései, az NVIDIA FMS blogbejegyzései a cuFile API-król és Storage-Next-ről, a SCADA bemutatók (például az OCP Summit 2024-es NVIDIA bemutatója), valamint a kapcsolódó nyílt forrású eszközök és dokumentációk, mint a Storage Lender Service és a GPUDirect Storage (GDS) dokumentációja.
A fejlesztők és tárolópartnerek számára fontos következő lépés a xio-sig repository figyelése és a cuObject, valamint a SCADA Server SDK kipróbálása a saját környezetükben, hogy előkészítsék rendszereiket a GPU-gyorsított, RDMA-alapú tároló-hozzáférésre.
