DeepSeek a PyTorch Conf első napján közzétette DeepInfer nevű inference-keretrendszerét és a deepseek-recipe segédkönyvtárat, amely a vállalat szerint a DeepSeek V4.1 Flash modellje mögötti production stack alapját képezi. A kiadás célja a nagy skálájú, alacsony késleltetésű inferencia támogatása: a dokumentáció és a műszaki beszámoló széles körű, a kód pedig Apache 2.0 alatt elérhető — de nem minden a teljes termékszolgáltatásból került ki nyílt forrásba.
Mire képes a DeepInfer és mit tartalmaz a kiadás
- A DeepInfer támogatja a disztribúciós inferenciát, spekulatív dekódolást, SWA Bounded Replay-t és struktúrált kimeneteket NVIDIA és Huawei Ascend platformokon. A deepseek-recipe Rust implementációt és Python bindingeket ad a különböző API-formátumok (Chat Completions, Messages, Responses) kezeléséhez.
- A kiadott motor vLLM-re épülő eredetű (DeepSeek megemlíti a vLLM, SGLang és TRRTLLM hozzájárulásait), de DeepSeek további optimalizációkat is közölt. Ugyanakkor a cég hangsúlyozza, hogy bizonyos, a szolgáltatás szempontjából stratégiai összetevők — például az általuk leírt rendkívül optimalizált KV-cache menedzsment és egyes terheléselosztási megoldások — még nem kerültek teljes mértékben nyilvánosságra, mert azok erősen kötődnek belső infrastruktúrához.
Nyilatkozott üzemeltetési adatok (DeepSeek állítása)
DeepSeek műszaki beszámolója és a nyilvános kijelentések szerint a következő, nagy számú metrikákat közölték: egyetlen klaszterükön 155 billió (155T) token/nap kiszolgálása; 96% input-cache találati arány; átlagosan 400 ms az első tokenig; 230 token/s generálási sebesség általános munkaterhelés esetén és 300 token/s kódgenerálásnál. A beszámoló említ egy $38-os óránkénti bevételt gyorsított egységenként (accelerator‑hour) csúcsidőn kívüli árakon.
Fontos megjegyezni: ezek elsődleges, DeepSeek által közzétett termelési adatok, nem pedig függetlenül auditált mérés.
Architektúra- és üzemeltetési megoldások
- A DeepInfer architektúrája elkülöníti a vision encoding, prefill és decode szakaszokat, így az egyes lépések a saját szűk keresztmetszetük szerint skálázhatók. A javasolt telepítési formák: szokványos, nyolc gyorsítós (accelerator) gépek a prefillhez, és 64–128 gyorsítós szupernode-ok dekódoláshoz.
- A prefill ütemezésénél a rendszer számítási becslés alapján osztja ki a munkát (compute tokens), így a chunk-méret változhat az időkerethez igazodva.
- A routing nem követel cache-affinitást: a prefixeket megosztott tárolóból lehet előhívni, így a kérések bármely elérhető workerhez irányíthatók.
- A decode routing figyelembe veszi a futó kérések számát és az összegyűlt KV-cache hosszát, hogy egyszerre kezelje a scheduling- és memória-nyomást.
- Expert-parallel replika stratégia csökkenti a routing-skew miatti várakozást, de többlet HBM-felhasználást eredményez; a hasznos replika mértéke munkaterhelésfüggő.
Cache-hierarchia és megőrzés
A DeepSeek leírása szerint a perzisztens blokkok KV-cache-e külön 3FS tároló klaszterben él, hozzávetőleg 100 PiB SSD kapacitással. A megadott megtartási idők: három napot tartanak meg agent-forgalomra és hét napot chatbot forgalomra. A tervezés lehetővé teszi, hogy bármely prefill worker előhívja a cached prefixet, így a cache helye nincs szoros kapcsolatban a compute helyével.
A retention és a cache‑hit arány jelentős: a 155T token/nap szám nem egyenlő 155T újonnan generált tokennel, mert a szolgáltatás token‑elszámolásába a cache‑hit tokenek is beleszámítanak. DeepSeek közölte a 96%-os input-cache találati arányt, ami alapvető kontextust ad a headline-throughput mögé.
SWA Bounded Replay technikával a hiányzó, rövid életű állapotot az utolsó 128 tokenből rekonstruálják, és a vállalat szerint ezzel nagyjából a prefill számítás majdnem felére csökken.
Független reprodukciók és összehasonlítások
A vLLM csapata reagált: elismerte a DeepInfer Apache 2.0-során tett hivatkozást, és saját reprodukciós kísérletében a decode szakaszban körülbelül 6%-on belüli throughput‑paritást ért el GB200 alatt, ha a konfigurációk megfeleltethetők. Ez azt jelenti, hogy a dekódolási teljesítmény tekintetében létezik működő, összehasonlító implementáció, de ez nem reprodukálja automatikusan a teljes szolgáltatás end‑to‑end jellemzőit (például 100 PiB cache‑műveleteket, routing-logikát vagy teljes klaszter‑szintű késleltést).
Költség- és jövedelmezőségi számítások (közlések és közösségi becslések)
DeepSeek által közölt $38/accelerator‑hour bevétel off‑peak árszinten komoly bejelentés, de a bevétel nem egyenlő profittal. A közösség által végzett back‑of‑the‑envelope számítások a következőket hozták ki a megadott produkciós számokra alapozva: ha egy prefill GPU 1.5M cache‑inkluzív input token/s‑t szolgál ki prefillel, 96% input cache‑hit mellett, és ~14,000 output token/s/decode GPU skálázás mellett (~2400 GPU felett), akkor 5–8$ teljes költség/kártya/óra mellett az inference margin meghaladhatja a 80%-ot. Ezek a számítások erősen függnek az árképzéstől, a cache‑számítástól, a teljes rendszerszintű költségtől (SSD‑flotta, CPU, hálózat, tartalék kapacitás, hibakezelés, mérnöki költségek stb.) és a munkaterhelet összetételétől.
A közösségi becslések és extrapolációk jelentős eltéréseket mutatnak a feltételezett hardverárak és a számítási modellek függvényében; fontos hangsúlyozni, hogy ezek szcenáriószámítások, nem auditált pénzügyi beszámolók.
Reakciók a közösségből
- Pozitív hangok (például Tim Dettmers) DeepSeek inferencia stackjét összehasonlítják OpenAI‑val és más szereplőkkel skálázhatóság szempontjából; más kommentelők óvatosabbak és telepítési részleteket kérnek.
- Többen rámutattak, hogy „teljesen nyílt forrású” nem jelenti azt, hogy a teljes, production‑szintű szolgáltatás reprodukálható maradéktalanul; a hiányzó infrastruktúra‑komponensek és operációs know‑how jelentős részei a reprodukciós nehézségeknek.
Összegzés
DeepSeek DeepInfer közzététele fontos lépés: a nyilvánosságra hozott kód és részletes mérnöki beszámoló hozzájárulhat a közösségi reprodukcióhoz és a nyílt megoldások gyors fejlődéséhez. Ugyanakkor a cég által közzétett, magas szintű termelési számok erősen cache‑függőek és részben a belső infrastruktúra nélkül nehezen reprodukálhatók. A vLLM és más projektek által szolgáltatott összehasonlítások azt mutatják, hogy a dekódolási szakasz teljesítménye elérhető nyílt forrású eszközökkel is, de a teljes, több‑hétnapos retentionnel és klaszter‑szintű orchestrationnel kapcsolatos állítások validálása további vizsgálatot igényel.
A DeepInfer megnyitása valószínűleg felgyorsítja a termelési inferencia‑technikák nyílt közösségi adaptációját, de a konkrét működési és költség‑előnyök függenek a telepítési feltételektől, a cache‑üzemmódtól és a valós munkaterhelés összetételétől.
(Összegyűjtött adatok: DeepSeek hivatalos közzétételei és a közösségi reprodukciós posztok — vLLM, technikai elemzések és közösségi számítások. A cikk a közzétett állításokat ismerteti; független auditálás nem történt.)
