Az OpenAI a Hot Chips konferencián kedden részletesebb információkat közölt Jalapeño nevű inferenciachipjéről, és közzétette az első mérési eredményeket. A chipet a SemiAnalysis InferenceX benchmarkján tesztelték, ahol az OpenAI szerint egyszerre több tokent szolgált felhasználónként, és nagyobb átbocsátást ért el kilowattonként, mint a jelenleg elérhető, csúcskategóriás inferenciaprocesszorok.
Mire hivatkozik az OpenAI
Richard Ho, az OpenAI hardverért felelős vezetője egy sajtóhíváson azt mondta: „A lényeg az, hogy az eredmények nagyon-nagyon jelentős teljesítményjavulást mutatnak a jelenlegi állapothoz képest. A Jalapeño több AI-munkát képes kiszolgálni energiaegységenként, miközben gyorsabb választ ad. Nagyon hatékonyan kiszolgálható vele sok ügyfél, de alacsony késleltetésre is képes.”
Az OpenAI hangsúlyozta, hogy a bemutatott összehasonlítás egy Nvidia Blackwell rendszerrel történt. Ugyanakkor Richard Ho felhívta a figyelmet, hogy mire a Jalapeño teljes bevezetésre kerül, a versenytársak is továbbfejleszthetik rendszereiket.
Bevezetési ütemterv
Ho becslése szerint a Jalapeño korlátozott, „nagyon kis volumenű” telepítése 2026 végén várható, míg a jelentősebb, nagyobb volumenű bevezetés 2027-ben következhet be.
Fejlesztés és architektúra
A Jalapeñót az OpenAI tavaly októberben jelentette be először. A chipet szoros együttműködésben fejlesztették a Broadcommal, és az OpenAI saját modelljei is segítették a fejlesztési folyamatot. A cég célja, hogy a Jalapeño többgenerációs platform legyen, amely lehetővé teszi, hogy AI-termékek, modellek, chipek és memória egységes, összehangolt fejlesztés mentén alakuljanak.
Az OpenAI szerint a teljes veremre (full-stack) kiterjedő megközelítés lehetővé tette számukra, hogy célzottan kezeljék azokat a fázisokat az inferenciában, amelyek gyakran okoznak torlódást. Különösen a prefill és a kommunikációs fázisokat célozták meg: a Jalapeño tervezésekor az volt a fő szempont, hogy ezen fázisok során fellépő késleltetéseket minimalizálják.
A cég blogbejegyzésében azt írta: „Úgy terveztük a Jalapeñót, hogy minimalizálja az adatmozgatást és a kommunikációs késéseket. Ez azt jelenti, hogy a modell állapota, beleértve a válaszgenerálás közben használt KV cache-t, kifejezetten elhelyezhető és helyben tartható, miközben a rendszer a megfelelő számítási, memóriabeli és hálózati erőforrások kombinációját aktiválja az egyes inferenciafázisokhoz.”
Miért számít ez
Az OpenAI által bemutatott eredmények alapján a Jalapeño a késleltetés és energiahatékonyság terén kínál javulást, ami fontos lehet nagy ügyfélszámú, valós idejű AI-szolgáltatásoknál. Ugyanakkor a cég maga is elismeri, hogy a versenytársak fejlesztései és a piac dinamikája befolyásolhatják a tényleges hatást, mire a chip szélesebb körben elérhetővé válik.
Összegzés
Az OpenAI Jalapeño chipje a bemutatott benchmarkok szerint ígéretes előrelépést kínál teljesítmény és energiahatékonyság szempontjából, de a széles körű hatás 2026 végéig illetve 2027-ben várható telepítési lépések függvénye.
