Poolside AI a közelmúltban részletes technikai beszámolót és új modellt publikált, Laguna S (Laguna S 2.1) néven. A cég egyik alapítója, Eiso Kant a vállalat munkamódszerét „Model Factory”-ként írja le: egy mérnöki rendszerekkel, automatizált kísérletezéssel és reprodukálható adathasználattal működő végponttól-végpontig folyamat, amelynek célja az ötlettől a megbízható kísérleti eredményig és végül a kiadásig tartó idő lerövidítése.
Mit jelent a Model Factory?
Poolside szerint a modellépítés nagy része (szerintük ~90%) mérnöki feladat: adat-, pipeline- és nagy skálájú elosztott tréningmunka. A Model Factory kulcselemei között szerepelnek:
- streaming adat a tréningbe (nem előre legyártott, nagy csomagolt datasetek másolása a klaszterekre),
- immutábilis adatréteg és verzionált kód, ami pontos reprodukálhatóságot ad,
- automatizált ügynökök (agents), amelyek kódot írnak, feladatokat indítanak, kiértékelik a checkpointokat és módosítják a csöveket,
- nagyszámú, gyors kísérlet: Poolside állítása szerint kevesebb mint 70 kutató és további mérnökök mellett havi körülbelül 10,000–20,000 kísérletet futtatnak.
Egyik gyakorlati következmény: Poolside szerint az elmúlt modelleiket öt- illetve nyolc hetes ciklusokban tudták elindítani (Laguna XS: 5 hét, Laguna S: 8 hét a tréningtől a kiadásig). Kant azt is kiemelte, hogy a megbízható infra miatt a hosszú távú üzemeltetés során gyakorlatilag nem volt éjjel-nappali ügyeleti (on-call) esemény a modell futásaiban.
Technikai döntések és kísérleti gyakorlatok
A beszámolóban kiemelt technikai elvek közé tartozik az, hogy a tréningmunka és a kísérletezés folyamatként legyen kezelve: adatmixelés konfiguráció alapján (a Poolside „Blender” szolgáltatása), adatreprodukció és minden kísérlet teljes követhetősége. A cég korábban saját tréningkódbázist írta nulláról, és említettek egy optimizer-bugot is, amelynél az epsilon kezelésének hibája stabilitási gondokat okozott - ennek kijavítása után kevesebb „juice” alkalmazása vált szükségessé.
Hardver és numerikus formátum: Laguna S esetében FP8 kvantálást használtak egyes részeknél. A Poolside említi, hogy a hálózati és MatMul-bottleneckek, valamint az RL wall-clock ideje maradnak költséges korlátok, és izgalmasnak tartják a még alacsonyabb precizitású (NVFP4 / 4-bit / ternáris) és vegyes hardvermegoldásokat.
Laguna S: méret, működés és viselkedés
Laguna S műszaki jellemzői a technikai riport alapján:
- 118 milliárd összes paraméter, ebből 8 milliárd aktív (sparse aktív paraméterek),
- a modell egy DGX Spark gépen is futtatható, és a cég szerint 30–40 token/s sebességet mértek egy Sparkon,
- a modell öt-nyolc hét alatt jutott el a tréningtől a kiadásig (a különböző verziók ciklusideje rövid),
- Poolside azt állítja, hogy a Laguna S bizonyos benchmarkokon és használati forgatókönyvekben képes felülmúlni nálánál többször nagyobb modelleket (a cikk megemlíti, hogy egy Thinking Machines kiadás közel tízszer nagyobb volt, de Laguna S bizonyos megmérettetéseken előnyre tett szert).
Külön említés: Poolside kutatói azt tapasztalták, hogy Laguna S-nél a javulások nagy része viselkedésbeli elemekből ered (kitartás, verifikáció, visszalépés hibák esetén) és nem pusztán „nyers intelligenciából”. Kant szerint ez azt sugallja, hogy kisebb modellekből is több tudást és gyakorlati képességet lehet kinyerni, mint korábban gondolták.
Reinforcement learning és a pre-training jövője
Poolside álláspontja szerint a megerősítéses tanulás (RL) szerepe korábban a post-training fázisra koncentrálódott, de a cégnél úgy vélik, hogy az RL egyre korábban jelenik meg a tréningfolyamatokban. Kant szerint a „next-token prediction” önmagában túl kevés ahhoz, hogy a web teljes tudását hatékonyan kisajtoljuk, ezért dolgoznak olyan megoldásokon, amelyek a webet a gondolkodásra hasznosabb formában használják.
Nyílt súlyok vs. nyílt kutatás, és a verseny fontossága
Eiso Kant világosan megkülönbözteti a nyílt súlyok kiadását a valóban megnyitott kutatástól: a modellek súlyainak megosztása önmagában nem biztosítja, hogy mások képesek legyenek reprodukálni a teljes munkafolyamatot. Poolside ezért részletes technikai anyagot és módszertant tett közzé, mert céljuk, hogy több alapmodell-vállalat jöjjön létre: Kant szerint jobb egy olyan világ, ahol 100 alapmodell-cég létezik, mint egy ötös oligopólium, még akkor is, ha ő lenne az egyik a nagyok közül.
A cég korábban magáévá tette az amerikai bejegyzést, de a tehetségszerzés globális politikáját követte: szándékosan nem koncentrálta kutatóit a Bay Area-re, hanem szétszórt, távoli csapatot épített (amerika, Európa, Ázsia stb.).
Finanszírozás, szabályozás és ökoszisztéma
Poolside a riport és a podcast szerint 500 millió dolláros tőkebevonást hajtott végre. Kant hangsúlyozza, hogy ugyan a technológiai kapacitás és a hardver (NVIDIA, TSMC stb.) döntő szerepet játszik, a nyílt kutatás és a verseny fenntartása fontos a demokratikus és versenyalapú fejlődéshez. Egyoldalú „AI safety” döntések veszélyeztethetik a versenyt, és akár oligopóliumot is bebetonozhatnak.
Munkakörök és befektetés a csapatba
Poolside jelenleg több területen vesz fel alkalmazottakat: kutatás (applied research, architecture), tréning, post-training, evals és mérnöki pozíciók. Kant hangsúlyozta, hogy a kisebb csapatnál nagy egyéni hatás érhető el: a Laguna-modellek megépítésében állítása szerint kevesebb mint 70 kutató és ~35 mérnök vett részt.
Miért fontos ez?
A Poolside esete azt illusztrálja, hogy a nagy modellek fejlesztése ma már nem csupán elméleti kutatás: a mérnöki rendszerek, reprodukálhatóság, streaming adat és automatizált ügynökök kombinációja alapjaiban képes felgyorsítani a fejlesztési ciklust, csökkenteni a wall-clock időt és lehetővé tenni, hogy kisebb modellek is gyakorlati, hasznos viselkedést mutassanak. A nyílt kutatásra való törekvés és a többszereplős piac melletti érvelés politikai és ipari vitákat is érint: szabályozás, hatalomkoncentráció és hardverellátás mind befolyásolják az ökoszisztéma alakulását.
Fontosabb tények és számok
- Laguna S: 118 milliárd paraméter összesen, 8 milliárd aktív (sparse) paraméter; 5–8 hét a tréningtől a kiadásig a különböző kis modellek esetében.
- Poolside csapata: kevesebb mint 70 kutató, további mintegy 35 mérnök; havi 10,000–20,000 kísérletet említenek.
- Korábbi tapasztalat: Kant korábban közel 12 millió dollárt költött kódra fókuszáló nyelvi modellekre egy korábbi cégnél.
- Tőkebevonás: Poolside említése szerint 500 millió dollár.
Következtetések
Poolside technikai jelentése és Laguna S bemutatása azt a narratívát erősíti, hogy a skálázás mellett a mérnöki kivitelezés, az adatkezelés módja, a kísérletek reprodukálhatósága és az automatizáció (ügynökök) kritikus tényezők a gyors modellfejlesztésben. Kant és a Poolside csapata emellett aktívan érvel az átlátható kutatásért és a többszereplős piac fenntartásáért — mindezt úgy, hogy közben a cég a frontvonalon skálázza modelljeit és hardverhasználatát.
