NVIDIA, AMD és Intel közösen szerepelnek a RadixArk tőkebevonásában: a vállalat 100 millió dolláros seed fordulót zárt, amely a források szerint 400 millió dolláros értékelésen alapult. A RadixArk mögött álló technológia egyik központi eleme az SGLang nevű, nyílt forráskódú inferencia motor.
Mi az SGLang és hol használják?
A közlemények szerint az SGLangot már több mint 400 000 GPU-n telepítették, és olyan nagy szereplők használják, mint a Google, Microsoft, xAI, Oracle, NVIDIA és AMD. Az inferencia motor célja, hogy a már betanított modellek futtatását gyorsabbá és költséghatékonyabbá tegye.
Mivel segít a RadixArk?
A RadixArk megoldásai több technikai területen optimalizálnak:
- ismétlődő kontextusok újrafelhasználása,
- memóriahatékonyabb kezelési stratégiák,
- kérések hatékonyabb csoportosítása (batching),
- ugyanazon GPU-k nagyobb kihasználtsága anélkül, hogy lock-in egyetlen hardverplatformhoz történne.
Ezek a megközelítések lehetővé teszik, hogy kevesebb számítási erőforrással legyen elérhető ugyanaz a teljesítmény, vagy hogy több modellt futtassanak ugyanazon hardveren.
Miért érdekli ez a chipgyártókat?
A befektetés mögötti motivációként azonosítható, hogy a három nagy chipgyártó különböző okokból igyekszik biztosítani magának hozzáférést egy független inferencia réteghez:
- NVIDIA: jobb GPU-throughput elérése és a meglévő hardver hatékonyabb kihasználása;
- AMD: olyan alternatív út keresése, amely csökkenti a CUDA-függőséget;
- Intel: lehetőség egy komolyabb belépésre a Gaudi és más alternatív gyorsítók számára.
Egy semleges inferencia réteg hiánya kockázatot jelenthet bármelyik gyártó számára, ezért a közös befektetés „kihagyni nem szabad” stratégiaként is értelmezhető.
Következmények az AI infrastruktúrára nézve
A tranzakció jelzi, hogy az AI-infrastruktúra szerepe eltolódik a tiszta hardverversenytől a számítási vezérlés és hatékonyság irányába. A szoftverrétegek, amelyek képesek többféle hardveren működni és jobb kihasználtságot biztosítani, egyre fontosabbá válnak mind a felhőszolgáltatók, mind a chipgyártók szempontjából.
Ez a befektetés nem feltétlenül azt jelenti, hogy mindhárom gyártó hosszú távon azonos platformot támogat majd, de azt mutatja, hogy senki sem engedheti meg magának, hogy kimaradjon egy olyan semleges rétegből, amely növeli a drága szilícium értékét.
