OpenAI szerdán bemutatta első, kifejezetten inferenciára tervezett egyedi processzorát, amelyet a Broadcom-mal közösen terveztek és gyártanak. A chip hivatalos neve Jalapeño; a vállalat közlése szerint tervezésében az OpenAI saját mesterséges intelligencia modelljei is segítettek.
A partnerség létrejöttét hivatalosan októberben jelentették be, de az OpenAI saját chipes terveiről már korábban is szóbeszéd keringett, mivel a cég így csökkentené függését az Nvidia grafikus gyorsítókészleteitől. Google és Amazon is hasonló célú, „AI gyorsítónak” nevezett, saját tervezésű chipeket fejlesztett korábban.
Mire készült a Jalapeño?
A Jalapeño-t kifejezetten az inferencia folyamatára optimalizálták — vagyis arra, amikor már meglévő, betanított modelleket futtatnak felhasználói kérésekre válaszként. OpenAI a bejelentésben külön kiemelte, hogy a chip alacsony működési költséget biztosít valós idejű kódírási modellek futtatásakor.
A cég szerint a korai tesztek jelentősen jobb teljesítmény/watt mutatókat jeleznek, mint a jelenleg elérhető, állítólagos csúcskategóriás alternatívák. Ugyanakkor valószínű, hogy a nagy számításigényű feladatok — például a modellek előképzése (pre-training) — továbbra is Nvidia hardveren fognak történni.
Miért fontos ez?
OpenAI elnöke, Greg Brockman a vállalat belső podcastjában a Broadcom-mal kötött partnerség bejelentését követően arról beszélt, hogy az OpenAI mély megértéssel rendelkezik az általuk futtatott munkaterhelésekről, és célzottan olyan feladatokat keresnek, amelyeket jelenleg alul szolgálnak a meglévő megoldások, majd ezekre építve akarnak gyorsítani.
A chiptől várható költségcsökkentés különösen az inferencia-oldalon lehet jelentős: még kisebb megtakarítások is lényegesen javíthatják a működési eredményeket, mivel az inferencia sok esetben folyamatos, nagyszámú lekérést jelent.
OpenAI a bejelentésben hangsúlyozta, hogy a vállalat nemcsak a modelljeinek fejlesztésén és a termékek építésén dolgozik, hanem az őket alátámasztó infrastruktúrát — így a chiparchitektúrát, kerneljeit, memória- és hálózatrendszereit, ütemezést és telepítési megoldásokat — is tervezi. A vertikális optimalizáció révén minden réteg ugyanazt a célt szolgálja: gyorsabb, megbízhatóbb és olcsóbb modellek a felhasználók számára.
Jelen állapot
A Jalapeño jelenleg tesztelés alatt áll; az OpenAI által közölt eredmények korai jellegűek, de ígéretesek a hatékonyság javítását tekintve. A cég közleménye alapján a chip bevezetése egy újabb lépés abba az irányba, hogy az OpenAI a teljes technológiai verem mentén optimalizálja működését.
