A párizsi ZML, a francia mesterséges intelligencia startup, publikusan elérhetővé tette ZML/LLMD néven az új LLM-inferencia szerverét. A cél az, hogy különböző, nyílt forrású nagy nyelvi modelleket (LLM) futtassanak eltérő típusú processzorokon — többek között Nvidia, AMD, Google TPU, Apple Metal és Intel Arc platformokon — anélkül, hogy hardveres korlátok miatt vendor lock-in jönne létre.
Mi ez és miért fontos?
Az inferencia, vagyis a promptok feldolgozása egyre hangsúlyosabbá válik az AI bevezetésében mind a vállalati, mind a fogyasztói felhasználásban. ZML alapítója, Steeve Morin szerint az inferencia optimalizálása jelenleg gyakran elmarad a szükségestől a szoftveres és architekturális akadályok miatt, ami megnehezíti a többféle chip egyidejű és hatékony kihasználását.
ZML/LLMD célja, hogy megtörje ezeket a szigeteket: a vállalat azt állítja, hogy a szerver lehetővé teszi a különböző chipek maximális — néha a gyári referenciaértékeket meghaladó — teljesítményének elérését. Ez nem csak technológiai kérdés: a többféle chip közötti választás csökkentheti a költségeket és az energiafogyasztást, ami üzleti és környezeti szempontból is releváns.
Együttműködés a feltörekvő chipgyártókkal
Morin említette, hogy a szoftver segíthet olyan új chipgyártóknak, sok közülük európai vállalat, mint az Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud és VSORA. A lényeg szerinte nem csupán a gyártók földrajzi helye, hanem az, hogy ZML képes legyen együtt dolgozni olyan megoldásokon, "amiket még sehol máshol nem csináltak meg".
Kapcsolat Nvidia-val és a versenytársak
Bár ZML ambíciói kihívó jellegűek, Morin nem látja Nvidiát ellenségként: a startup jó kapcsolatot tart az AI-chip óriással, amely szintén készül az inferencia növekvő szerepére. Ugyanakkor a piacon erős verseny is zajlik: említésre kerül például a Baseten (amelyről a cikk 13 milliárd dolláros értékelést idéz), az Inferact (a vLLM projekt készítőitől) és a RadixArk (a SGLang mögötti kereskedelmi cég). A vLLM és az SGLang részben versenyez a ZML/LLMD-vel, de Morin szerint ZML szélesebb termék- és együttműködési spektrumot céloz.
Csapat, finanszírozás és termékmodell
ZML jelenleg körülbelül 20 fős, kifejezetten gyorsan mozgó csapatként működik, ami Morin szerint hozzájárult ahhoz, hogy a párizsi startup gyorsan adjon ki új termékeket. A vállalatot Morin korábbi eredményei segítették a tőkebevonásban: Morin volt a Zenly mérnöki alelnöke, amelyet a Snapchat 2017-ben kilenc számjegyű összegért vásárolt meg. ZML így 20 millió dollárt gyűjtött be befektetőktől, köztük Harry Stebbings 20VC-jétől, >commit-tól, AALVC-től, Drysdale Ventures-tól, Xavier Niel Kima Ventures-étől, Kindred Capital-tól, LocalGlobe-tól és Puzzle Ventures-tól.
A ZML/LLMD nem nyílt forráskódú: ez eltér a ZML 2024-ben kiadott, inferencia-központú gépi tanulási keretrendszerétől, amelyet márciusban frissítettek. Ugyanakkor a szerver induláskor ingyenes termékként érkezik; a cég Morin szavai szerint most a használati adatokból akar tanulni, mielőtt bevételi modellt alkalmazna. "Inkább mérnék előbb, és csak ott kezdenénk el bevételt termelni, ahol az hatékony, semmint hogy elembertelenítő módon a növekedést fékezzük a túlzott kapzsiság miatt," foglalta össze Morin a megközelítést.
Jövő és jelentőség
Még nem világos, mikor és milyen feltételekkel válik fizetőssé a ZML/LLMD, vagy milyen mértékben terjed el a piacon. A startup részvényesi összetétele ugyanakkor mutatja, hogy a szektor szereplői figyelnek: a korai támogatók között megtalálhatók például Solomon Hykes (Dagger és Docker alapítója), a Hugging Face társalapítói Clément Delangue és Julien Chaumond, valamint a Turing-díjas Yann LeCun, aki jelenleg az AMI Labsnál dolgozik.
Morin szerint ez az eredmény is bizonyítja, hogy az európai AI startupok képesek helyben, otthonról építkezni: "ZML-t máshol nem tudtam volna csinálni, csak Párizsban" — foglalta össze.
A ZML/LLMD bevezetése így egyszerre technológiai kezdeményezés az inferencia optimalizálására és piaci kísérlet arra, hogy többféle chip használatát tegye megvalósíthatóvá és vonzóvá a költség- és energiahatékonyság jegyében.
