Baseten visszatért a nyilvános viták közé a 2026-os Open Weights diskurzus csúcsán: a vállalatot Philip Kiely és Ali Taha képviselik, akik a cégnél és a szakmai közegben az „inference engineering” fogalmát hangsúlyozzák. A cég és az iparág dinamikaát idén részben az is szemlélteti, hogy Basetenhez szerződő vagy érintett szereplők közül néhány az elmúlt időszakban óriási tőkeinjekciót kapott — a cikk forrására hivatkozva Basetenhez kapcsolt szereplők részéről említették a példát egy 13 milliárd dolláros körrel, és a beszélgetés a nagyvállalati AI‑infra verseny kontextusába helyezte a kérdést.
Három éve az inference engineering kategória gyakorlatilag nem létezett; ma viszont alapvető gyakorlattá vált: nem csupán a végső lépés a tréning után, hanem önálló mérnöki diszciplína, saját kutatási problémákkal és infrastruktúrával. A központi kérdés így hangzik: „Hogyan alakítjuk át a tanulás során kapott súlyokat termékké, amely skálázhatóan gyors, megbízható és megfizethető?”
Mire figyelnek a gyakorlatban — technikák és célok
A Baseten mérnökei sorra veszik azokat a megoldásokat, amelyek gyakorlati hatással vannak a késleltetésre (latency) és áteresztőképességre (throughput):
- Cache‑aware routing és KV‑cache újrahasznosítása: ha egy hosszú, akár 200,000 tokenes kérés érkezik, először megpróbálják kideríteni, hogy a kérés vagy annak egy része korábban már megtörtént‑e, mert magas cache‑hit arány jelentős költség‑ és időmegtakarítást jelent.
- Prefill vs. decode diszaggregálása: bizonyos topológiákban külön GPU‑csoportok készítik elő az inputokat (prefill, KV‑cache), és mások végzik a dekódolást; ez skálázhatósági előnyöket hoz.
- Speculative decoding (speculatorok): kisebb, gyorsabb „draft” modellek előre jósolnak több token‑t, amelyeket a nagyobb modellel ellenőriznek; forró forgalomnál (pl. kódolás) ez magas elfogadási arányt ad és lényeges gyorsítást eredményez.
- Kvantálás (quantization): a legnagyobb veszteségességet adó optimalizáció; a Baseten kutatása és gyakorlata szerint rétegválasztással és kalibrációval a quantizálás akár a teljesítményt is növelheti anélkül, hogy romlana a logit‑eloszlás (akár a réteghibák kölcsönös kioltása miatt).
- Model retrofit, grafting: például Baseten csapata egy Kimi vizuális enkódert csatolt GLM‑5.2‑höz úgy, hogy a nyelvi modell súlyait nem módosították — a látás‑projekciót (projector) betanították, így a rendszer új képességet kapott anélkül, hogy a nyelvi teljesítmény romlott volna.
A fenti optimalizációk egymásra rakhatók: a kvantálás, a spec dec és a disaggregation együttesen többszörös gyorsulást adhatnak, és a Baseten szerint a napi termelési cél az, hogy a gyakorlatban többszörös (néha 4–10×) gyorsulást érjenek el a kiindulási, „nem optimalizált” futtatáshoz képest. Emellett gyakoriak a kisebb, de összegző hatású javítások (kernel‑javítások, jobb hálózati beállítások), amelyek dupla‑, vagy többszörös százalékokat hoznak.
Konkrét jelenségek és mérési szemlélet
- Nem minden optimalizáció veszteséges: a KV cache újrafelhasználás és routing alapvetően veszteségmentes. A kvantálás viszont lossy; minőség‑ellenőrzésre a logit‑eloszlások KL‑divergenciáját is használják, nem csak benchmark‑pontszámokat.
- Gyakoriak a rendszerszintű, determinisztikát bontó hibák: például bizonyos klasztereken előforduló, adott tokenek ismétlődő „mode collapse” jelenségek mögött lehetnek szoftveres vagy kernel‑szintű race‑feltételek, vagy hálózati/ interconnect késleltetések, amelyek másik klaszteren nem jelentkeznek.
- Mikor érdemes dedikált deploymentre váltani? Ha nagy volumenű, alacsony késleltetésű és stabil forgalmat szolgálnak ki, a dedikált példányok (rendszerint óradíjas, „box‑rental”) gazdaságosabbak és megbízhatóbbak, továbbá lehetővé teszik az ügyfélspecifikus speculatorokat és batch‑konfigurációkat.
Hardver és rendszerszint: Dynamo, Rubin és GB300
A beszélgetés kitért az NVIDIA‑s eszközök és könyvtárak szerepére: a Dynamo‑t fejlesztői eszköznek, „toolkitenak” tekintik, amely a KV‑cache és egyéb adatok mozgatását segíti a klaszterben, de önmagában nem ad automatikus óriási gyorsulást — fejlesztői integrációt igényel. A jövőben pedig a Rubin‑generációról (NVIDIA) szóló hírek, illetve a GB300‑os (nagylmemóriás) gépek felhívják a figyelmet arra, hogy a nagy modellek (például több trillió paraméteres architektúrák) futtatásához speciális, HBM‑gazdag csomagokra van szükség: egy GB300 node HBM‑kapacitása és a NVFP4 formátumok használata adja meg a gyakorlatban a nagyméretű modell egycsomópontos futtathatóságát.
Például nagy modellek — a beszélgetésben említett Kimi‑sorozat nagyságrendjei — futtatásához GB300‑os osztásokra, vagy több‑node megoldásokra van szükség; ilyenkor a KV‑cache offloading és hálózati sebesség válik kritikus tényezővé.
Mi történik a multimodális és videós modellekkel?
A videó generálásnál a fő nehézség a token‑számok és a kvadratikus attention komplexitása: rövid, 5–10 másodperces vágatoknál is több tízezres token‑méretek adódnak, a teljes attention ‑ O(n²) ‑ ezért nagyon gyorsan skálázatlan lesz. Két megközelítés:
- teljes (dense) attention és hatalmas compute (drága, gyakran zárt modellek egyeduralma),
- sparse vagy autoregresszív módszerek: autoregresszív videó ígéretes lehet a skálázhatóság szempontjából, de jelenleg az autoregresszív videók minősége gyakran gyengébb, és minőségi drift is jelentkezik, ha egymás után „kibővített” darabokat fűznek össze.
A nyílt forrású videómodellek (például Wan‑familia korábbi verziói) és a zárt rendszerek (Veo, Kling stb.) közötti minőségi különbség jelenleg nagy, ezért a film‑ és médiapiaci szereplők gyakran a zárt, drágább megoldásokat választják.
A képzés és az inference konvergenciája
Egyre erőteljesebb az összefonódás: az inference‑ből gyűjtött trace‑ek folyamatosan táplálhatják a finomhangolást és distillációt (például kvantizáció‑tudatos distilláció), a speculatorok és kernel‑profilok tréningje pedig közvetlenül javítja a szolgáltatás teljesítményét. Baseten belül már tapasztalták, hogy a modellek (például GLM‑5.2) képesek automatikus profilok készítésére és javaslatok előállítására — sőt, kísérleti környezetben modellek írtak kernel‑javaslatokat, amelyeket aztán a rendszer tovább tesztelt.
Két lehetséges út a „contiuous learning” felé: vagy a súlyok folyamatos frissítése (weight‑pushing), vagy a KV‑cache alapú, gyakorlatiasabb megoldás (KV‑cache compaction és „persistens memória” megoldások). A Basetennél a KV‑cache jellegű megközelítés tűnik ígéretesnek, mert jobban támogatja a többlépéses tudás‑használatot anélkül, hogy a modellek súlyait gyakran kellene átírni.
Összegzés — miért számít ez?
A beszélgetés és Baseten munkája azt mutatja, hogy az inference engineering ma már nem csupán „futtatjuk a modellt”, hanem aktívan tervezik és optimalizálják a teljes rendszert: hardver‑, kernel‑ és infra‑szinten, a modellektől a klaszterekig. A kombinált technikák (quantization, speculation, disaggregation, cache‑routing, hardver‑tuning) gyakorlati eredményei ma már mérhetőek: 20%, 100% vagy akár 200% javulásokról és többes gyorsításokról esik szó iparági beszámolókban, a cél pedig a nagyobb skálázhatóság, olcsóbb üzemeltetés és rövidebb válaszidő.
Baseten szereplése és Philip Kiely, valamint Ali Taha nyilvános beszélgetései (köztük a Philip által írt Inference Engineering című könyv és Ali közösségi anyagai) hozzájárulnak ahhoz, hogy az iparágban standardizálódjanak a fogalmak és a mérések, miközben továbbra is maradnak nyitott kutatási kérdések — különösen a multimodális, video‑ és folyamatos tanulási területeken.
Kulcsszemélyek és említések: Philip Kiely (Baseten), Ali Taha (Baseten). Modellek, kutatások: GLM‑5.2, Kimi K3/K2, vLLM, SGLang; eszközök: NVIDIA Dynamo; hardverek: H100, B200, GB300; koncepciók: speculative decoding, KV‑cache, quantization, disaggregation, tensor/expert/pipeline parallelism.
(Dátum: beszélgetés és a 2026 Open Weights vitasorozat ideje; a cikk a Baseten szerepét és a 2026‑os trendeket összegzi.)
