Reflection amerikai laborja a Beam névre keresztelt nyelvi modellt nyilvánosságra hozta a Hugging Face-en. A modell nyíltan elérhető Apache 2.0 licenc alatt, és kevert Mixture-of-Experts (MoE) architektúrát használ: a teljes modell 501 milliárd paramétert tartalmaz, de egy token feldolgozásakor átlagosan körülbelül 23 milliárd paraméter aktív.
Mire tervezték a Beamet?
Beam elsősorban kódolási és „agentic” (ügynök-szerű) feladatokra fókuszál, olyan csapatoknak szánják, amelyek frontier-szintű modellt szeretnének saját hardveren, infrastrukturán vagy felhőn futtatni és testre szabni. A modell egy 1 millió token hosszúságú kontextusablakot támogat, kizárólag szöveget fogad és szöveges választ ad.
Architektúra és figyelem
A dekóder 52 rétegből áll, rejtett mérete 5,120. A legtöbb réteg „sliding-window” figyelmet (512 token) használ; minden hatodik réteg és az utolsó réteg teljes kontextusra figyel. Ez 43 sliding‑window és 9 globális réteget eredményez.
- A sliding‑window rétegek RoPE pozíciókódolást alkalmaznak.
- A globális rétegek nem használnak pozíciókódolást; ehelyett a lekérdezéseket egy lassan növekvő skálázóval szorozzák, amely a kontextus növekedésével megőrzi a softmax élességét (Reflection megvalósítása: scalable‑softmax query scaling). A figyelem grouped‑query megközelítést használ 48 query fejjel és 8 key‑value fejjel, valamint RMSNorm‑ot a query‑k és key‑k normalizálására. Minden fej kimenetét egy tanulható sigmoid kapu skálázza rétegenként.
Mixture of Experts (MoE)
Az első három réteg sűrű (dense) SwiGLU MLP, a fennmaradó 49 réteg viszont 256 szakértőt (expert) tartalmazó MoE blokk. Egy expert körülbelül 39M paraméterrel rendelkezik (köztes méret 2,560), és az összes paraméter 98.4%-a az expert-eknél található. A router a DeepSeek‑V3 csoportkorlátozó sémáját követi: 256 expertet pontoz, 8 csoportba osztja (32‑32), megtartja a négy legjobb csoportot (a csoportok top két pontszámának összege alapján), majd ezekből választja ki a top 8 expertet. A tokenenként futó expertek száma 8, ezért tokenenként ~23B paraméter számítódik. Fontos: az összes 256 expert memóriahelyet foglal, így a telepítésnél a 501B modell memóriaszükséglete kell, de futási sebességben a 23B‑hez hasonló gyorsaság várható.
Maradandó (residual) áramlás és numerika
Beam eltérő súlyozással adja hozzá a rétegek kimenetét a residual streamhez: az embeddinget 1‑es lépésnek számolja, a k‑edik lépésnél a sublayer kimenetet 1/sqrt(k)-val, a meglévő streamet pedig sqrt((k-1)/k)-val súlyozza. Így a stream skálája állandó marad az elsőtől az utolsó rétegig. Több részletet FP32‑ben számítanak (pl. router, SwiGLU szorzat, normalizálások, RoPE, query scaling, softcap), a végső logitokat pedig tanh softcap ±30 között korlátozzák.
Hosszú kontextus kezelése és cache méretek
A hibrid attention megközelítés miatt csak a 9 globális réteg tartja meg a teljes szekvenciát; a 43 sliding‑window réteg rögzített 512‑token ablakot használ. Ennek következtében a KV cache növekedése tokenenként érdemben kisebb: körülbelül 36 KiB/ token a teljes architektúra esetén (BF16). Például teljes 1M token kontextusnál a cache ~208 GiB‑ot jelent BF16‑ban a transzformerek dinamikus cache formátumával; a „hasznos” növekedés a Beam hibrid séma miatt ~36.08 GiB/sequence.
Checkpointok és precision opciók
Beam elérhető BF16, FP8 és NVFP4 checkpointokban. A BF16 checkpoint safetensors formátumban közel 1 TB. Az NVFP4 a súlyok nagy részét 4 bites pontosságban tárolja Blackwell (NVIDIA) GPU‑kra optimalizálva, így a méret ~280 GB‑ra csökken. Az FP8 checkpointok inkább Hopper és Ampere generációs GPU‑khoz ajánlottak.
Teljesítmény és benchmark eredmények
Reflection megosztott különböző task‑okra mért eredményeket BF16, FP8 és NVFP4 pontosságok mellett. Néhány példa (százalékok a Reflection közlése szerint):
- AIME 2026: ~97.7–98.0% (különböző precíziók)
- LiveCodeBench: ~88.3–87.4%
- SWE Bench Pro v2‑Hard: 76.5–78.6%
- SWEBench Verified: 80.2–81.6% Ezek a táblázatos értékek több kategóriát fednek (agentic coding, reasoning, tool calling, általános képességek) és precíziók szerint eltéréseket mutatnak.
Hardver‑követelmények és ajánlott telepítési módok
A legpraktikusabb kiszolgálás az NVFP4 checkpoint használata: a Blackwell‑típusú GPU‑k (például B200/B300) natívan támogatják az NVFP4‑et. NVFP4 használatával a 1 TB BF16 súlyok ~280 GB‑ra zsugorodnak. A javasolt hardverek például:
- 2× B200 (360 GB HBM3e) elméletileg elférteti a súlyokat, de kevés hely marad activációk és KV cache számára;
- 4× B200 (720 GB) kényelmesen hosszú kontextusokra és párhuzamos kérésre;
- 8× B200 vagy 2× B300 konfigurációk is támogatottak. Ha nincs Blackwell hardvered, használhatsz Inference Providers‑t (Hugging Face integrációk: Baseten, Fireworks, Together stb.).
Day‑0 támogatás és futtatási eszközök
Beam mellé nap‑0 támogatással érkezik a transformers, vLLM és SGLang:
- transformers: egyszerű text‑generation pipeline és AutoModelForCausalLM/AutoTokenizer integrációk.
- vLLM: tensor parallel BF16 szerver példák, DFlash2 spekulatív dekódolásra
- SGLang: futtatási parancsok NVFP4‑ és FP8‑checkpointokra, spekulatív dekódolással A tokenizer tartalmaz egy response template‑et és beépített parser‑t, amely elválasztja a reasoning részt, választ és esetleges tool‑hívásokat struktúrált formában.
Tool calling és multi‑GPU elosztás
Beam saját XML‑szerű grammával írja a tool‑hívás argumentumait; a parse_response képes a tool sémák alapján típus‑konverzióra. A modell konfigurációja expert‑parallel terjesztést definiál: az experteket eszközönként bontja szét, miközben az attention, dense rétegek és LM head minden eszközön replikálódnak (~8B paraméter, 16 GB BF16). A device‑ok száma oszthatónak kell lennie az expertek számával (256).
Finomhangolás és megerősítéses tanulás (SFT, RL)
Reflection és partnerek TRL/SFT és Miles/GRPO recepteket tettek közzé:
- SFT: LoRA adapterek PEFT‑tel, például Multilingual‑Thinking adattal; LoRA SFT egy 8× B300 node‑on körülbelül 19k token/s sebességet ért el. Egy demonstrációs futás után a nyelvi követés (reasoning nyelvének megtartása) 16/16 esetben javult a LoRA SFT után a kiinduló 3/16‑hoz képest.
- RL (GRPO) Miles receptek full‑parameter és LoRA opciókkal; referencia konfigurációk többszáz H200 GPU‑val futtatható klaszterekre szabva.
Példák, demók és közösségi program
Reflection és Hugging Face több demonstrációs projektet mutatott be, például egy Beam által segített natív macOS menüsáv diktáló alkalmazást (BeamSpeak), több‑ügynökös agent kísérleteket programozási feladatokra (ProgramBench), illetve döntési modell finomhangolást incident triage‑hoz. Reflection 10,000 USD Hub‑kreditet ajánl fel a legjobb Beam‑alapú projekteknek: készíts space‑t, modellt vagy adatbázist és oszd meg a modell repo oldalán.
Összegzés
Beam egy nagy, MoE alapú, nyílt Apache 2.0 licencű modell, amely 501 milliárd paramétert és 1 millió tokenes kontextust kínál, több checkpoint és számos eszköz támogatásával (transformers, vLLM, SGLang). A modell különösen kódolási és agentic felhasználásokra van optimalizálva; telepítési és finomhangolási receptek, valamint demók és verseny ösztönzik a közösségi használatot és adaptációt.
