DeepSeek nyilvánosságra hozta DeepInfer nevű inference-stackjét a PyTorch Conf első napján. A cég szerint ez a futtatórendszer hajtja a DeepSeek V4.1 Flash szolgáltatását, és a kiadott technikai anyagok szerint számos termelési optimalizálást, hosszú élettartamú prompt-cache-t és API-illesztési komponenseket tartalmaz. A közlemény és a mellékelt mérnöki jelentés nagy érdeklődést váltott ki a közösségből, különösen a skálára és költséghatékonyságra vonatkozó állítások miatt.
Mit tartalmaz a kiadás
- DeepInfer: a nagy-throughput, alacsony késleltetésre célzott inference-keret, amely támogatja a disztribuált inference-t, spekulatív dekódolást (DSpark-stílus), SWA Bounded Replay-t, MoE (szakértő) párhuzamosítást és strukturált kimenetet. A kiadás célzott acceleratorokként NVIDIA SM100 és Huawei Ascend 950 támogatását említi.
- deepseek-recipe: Rust könyvtár Python-bindingekkel, amelyek az API-formátumok (Chat Completions, Messages, Responses) körüli protokoll-konverzióért és modellek kimenetének feldolgozásáért felelnek.
A projekt tájékoztatása szerint a repositoryba kerülnek további model-specifikus implementációk és optimalizációk is, de a teljes produkciós üzemeltetési verem nem minden eleme lett publikussá téve.
Mi maradt zárva vagy függőben
DeepSeek maga is megemlíti, hogy a cég „koronagyöngyei” közül bizonyos elemek nem teljesen nyilvánosak: a legfontosabb hiányzó komponensek a teljes KV-cache menedzsment, a diszaggregációs/PD réteg és a végleges terheléselosztó megoldás. Ezek a szolgáltatási szintű orkestrációs komponensek a cég belső infrastruktúrájához kötődnek, és így a repository önmagában nem reprodukálja automatikusan a teljes DeepSeek online szolgáltatást.
A technikai állítások és a publikus számok
A DeepSeek mérnöki jelentése és a társított kommunikáció több figyelemre méltó termelési számot közöl, amelyeket a cég mint első kézből származó adatokat tesz közzé:
- 155 trillió (155T) token/nap egyetlen klaszterrel
- 96% input-cache hit arány
- átlagosan 400 ms az első token megjelenéséig
- 230 token/s generálás általános terhelésnél, kódolási munkák esetén 300 token/s
- 1.5M cache-inkluzív input token/s per prefill GPU (DeepSeek produkciós adat)
- 14k output token/s per decode GPU (jelentett szám)
- $38 bevétel/accelerator-óra off-peak árakon (a cég által közölt érték)
A közösségi elemzések és számolások rámutatnak: ezek a számok erősen cache-vezéreltek; a 155T/nap nem jelent automatikusan 155T ténylegesen újonan generált token-tartalmat, mert a számlálásba beleszámolják a cache-ből kiszolgált prefixeket is. A magas (96%) input-cache hit lényeges kontextus a headline-throughput megértéséhez.
Architektúra és kezelési elvek
A DeepInfer architektúrája külön szakaszokra választja a látás-enkódolást (vision encoding), a prefill lépést és a decode lépést, hogy mindegyik skálázhasson a saját szűk keresztmetszete szerint. Ajánlott üzembe helyezési formák:
- prefill: általános, 8-accelerátoros gépek
- decode: 64–128 acceleratoros „supernode”-ok
Főbb tervezési pontok:
- a prefill scheduling a számítási becslés (attention-compute) alapján osztja a munkát, nem pusztán a token-hossz szerint
- a cached prefixek központi, megosztott 3FS tárhelyen élnek, így a cache-affinitás nem követeli meg ugyanannak a workernek a kiszolgálást
- decode routing egyszerre figyeli a futó kérések számát és az összegyűlt KV-cache hosszát a kiegyensúlyozáshoz
- ekspert-replikáció (MoE replicas) periodikusan átrendeződik az útbeli torlódás csökkentése érdekében
- CPU oldalról aszinkron ütemezés fed át, hogy ne maradjanak üres időszeletek az accelerator-lépések között
Egy megfigyelés: a nyilvánosságra hozott Blackwell-konfigurációkban alig látszik ténsorparalelizmus (tensor parallelism), ami a kommentárok szerint egy korábbi DeepSeek-konfigurációs evolúcióhoz köthető interpretáció — nem bizonyíték arra, hogy a tensor-paralelizmus általában rosszabb volna.
Cache-hierarchia és állapotkezelés
A cache-konstrukció központi szerepet játszik abban, hogy a szolgáltatás hogyan éri el a nagy átvitelt és bevételt:
- perzisztens blokk-KV a 3FS tárolófürtben, ~100 PiB SSD kapacitással
- jelentett megtartási idők: ügynökforgalomnál 3 nap, chatbot forgalomnál 7 nap
- a persistent block cache aszinkron betöltődik, a host–device átvitelek rétegek végrehajtása mellett zajlanak
- a rövid élettartamú, sliding-window attention állapot a host memóriában marad, nem perzisztens SSD-n
- SWA Bounded Replay hiányzó rövidtávú állapotot rekonstruál legfeljebb a legutóbbi 128 token alapján, ami a DeepSeek szerint jelentősen csökkenti a prefill számítási igényt (közel félszáz százalékkal kevesebbet jelenthet összességében)
A gyakorlati hatás: az, hogy egy jelentős rész (például 96%) cache-hit, olcsóbbá teszi a szolgáltatást, de ez workload-függő: ügynökös, ismétlődő kontextusoknál különösen hatékony a megközelítés.
Reprodukálás és a vLLM válasza
A vLLM csapata reagált a kiadásra azzal, hogy vLLM alapú összehasonlító méréseket közölt: dekódolási (decode) fázisban körülbelül 6% belüli eltérést találtak DeepInfer által publikált eredményekhez viszonyítva egy GB200-on futó, összehangolt konfigurációban. Ez a reprodukció azonban a dekódolási szakaszra vonatkozik — nem reprodukálja a teljes produkciós verem 100 PiB-os cache-műveleteit, routingját vagy a klaszterviselkedést élő forgalomban.
A vLLM-eredmények és a hozzájuk mellékelt receptek javítják a reprodukálhatóságot, és érdemben árnyalják azt az állítást, hogy a DeepSeek-hez hasonló hatékonyság zártan hozzáférhető volna.
Költségek, bevétel és viták az üzleti mutatókról
A cég $38/accelerator-óra off-peak bevételt jelzett. Több közösségi számítás és kommentár próbálta ebből a bejelentésből kikövetkeztetni a működési jövedelmezőséget. Fontos szempontok:
- bevétel nem egyenlő profittal: hiányoznak explicit módon a cache-SSD flottára, CPU-kra, hálózatra, tartalék/idle kapacitásra, hibakezelésre, mérnöki/ügymenet költségekre fordított költségallokációk
- a bevétel számítását egyes kommentárok konzisztensen cache-tömeghez kötött token-mixre alapozva végezték el, ami kedvező eredményt ad (például 80–90% körüli inference-margin számítások különböző feltételezésekkel)
- korrekciók és pontosítások után a gyakorlatban megjelölt $38/óra körüli szám hozzávetőlegesen 80–95% közötti internális inference marginokra ad lehetőséget feltéve, hogy az összes többi költséget nagyon kedvezően számolják
Összefoglalva: a nyereségességre vonatkozó extrapolációk erősen érzékenyek a workload-mixre (mennyi cache vs. mennyi újgenerált token), a pontos GPU/accelerator árra és arra, hogy mely költségeket számolnak be. Nagyszabású extrapolációk (például több tízmilliárd dolláros bevétel-becslések gigawatt-szintű telepítéssel) forgatókönyvek, nem auditált pénzügyi tények.
Hardverkompatibilitás és teljesítménykülönbségek
A kiadás explicit Ascend 950 és NVIDIA SM100 támogatást említ; a közlemény és a közösségi elemzések különféle hardver-összehasonlításokat futtattak. Egyes hozzászólások arra mutattak rá, hogy a GB200 (NVIDIA) és Ascend 950DT dekódolási számok között jelentős eltérések látszanak különböző feltételezések mellett (például token/s/chip arányokban 5×–7.4× tartományban). Ezek az összevetések részben különböző mérési forrásokat és feltételezéseket kombinálnak, így nem tekinthetők tisztán egységes benchmarknak.
Közösségi reagálások és következmények
A reakciók széles skálán mozognak:
- elismerések: Tim Dettmers és mások fontosnak tartják a publikációt, egyesek összehasonlítják az OpenAI-hoz és Anthropic-hoz felfogható üzemeltetési képességeket
- kritika/deploy-szkepszis: többen megjegyezték, hogy a github repo önmagában kevés a teljes reprodukcióhoz, és a mérnöki cikkben leírt üzemeltetési részletek fontosabbak lehetnek az újraírásnál
- gyakorlati feltételezések: szereplők becsléseket tettek a szükséges GPU-számra és rack-méretekre egy hasonló szolgáltatás megépítéséhez (ezek paraméterezett forgatókönyvek)
Összességében a kiadás értékes tanulságokat és technikai recepteket ad az open-source közösségnek, de nem törli el az infrastruktúra- és üzemeltetési kihívásokat, amelyek a produkciós klaszterek nagy részét különlegessé teszik.
Miért számít ez?
A DeepInfer nyílt forráskódú megjelenése fontos lépés: egy nagyüzemi, cache-vezérelt inference-stack részleges közzététele lehetővé teszi a közösségi mérnökség számára, hogy átvegye és adaptálja a publikált módszereket. Ugyanakkor a kiadás egyúttal világossá tette, hogy a kiemelt termelési eredmények egy része infrastruktúrális és workload-specifikus feltételekkel függ össze. A további viták és független reprodukciók segítenek majd eldönteni, mennyire általánosíthatók ezek az optimalizációk más modellekre és környezetekre.
Következő lépések a közösségtől
A vLLM és más projektek által közzétett reprodukciós receptek, a DeepInfer repo további kibővítései és a közösségi mérési eredmények várhatóan pontosítják majd, hogy mely optimalizációk vihetők át könnyen, és melyek igényelnek jelentős belső infrastruktúrát. Addig is a DeepInfer mint forrásanyag értékes lesz mérnököknek és kutatóknak, akik nagy skálájú inference-architektúrák tervezésén dolgoznak.
A cikk a DeepSeek által publikált anyagokon, a hozzájuk kapcsolódó közösségi elemzéseken és a vLLM csapat nyilvános összehasonlító eredményein alapul; a DeepSeek által közölt produkciós számok első kézből származó vállalati állítások, nem függetlenül auditált mérések.
