NaiveAI új gyors kódoló modellje magas TPS-sel, de több gondolkodó tokent használ

A kínai NaiveAI új, nyílt súlyú nyelvi modellje, a Naive‑N0.5‑Flash kifejezetten kódolási és mérnöki munkafolyamatok gyorsítására készült. A modellt a NaiveRT inferencia motorhoz párosítva maximalizálták a token/ másodperc arányt; céljuk hosszú távon az önmagát fejlesztő kutatómodell irányába ható, rekurszív önjavítás. A modell egy továbbhangolt változata Xiaomi MiMo‑V2.5 súlyainak, és többlépéses továbbedzés során alakították át DeepSeek Sparse Attention rétegekre.

Miből indultak ki?

• A kiindulási pont MiMo‑V2.5: egy 310 milliárd paraméteres, Mixture‑of‑Experts (MoE) architektúra, 15 milliárd aktív paraméterrel, amelyet 48T (48 billió) tokenen képeztek. Ez a hibrid nyelvi gerinc keveri a sliding‑window attentiont (SWA) és a globális önfigyelmet.
• NaiveAI ezt a modell‑checkpointot vette át, majd körülbelül 3.25T további tokennel továbbképzett DeepSeek Sparse Attention rétegekkel — ebből mintegy 3T volt rögzített 1M kontextushosszon és konstans tanulási rátán.

Teljesítmény‑összehasonlítás és mérési módszer

A Naive‑N0.5‑Flash ultragyors üzemmódját összehasonlították a DeepSeek V4.1 Flash 1017‑tel és a GLM‑5.3‑Flash‑szal. A szerzők azonos, app‑építő promptokkal és különböző gondolkodási ("thinking") beállításokkal futtatták a modelleket. A laboratóriumi kísérletek három nehézségi szinten mértek: 10 könnyű kérdés a MATH‑500‑ból, 10 közepes a GPQA‑Diamond‑ból és 10 nehéz a HLE‑Diamond‑ból (összesen 30 kérdés/model). Minden lekérés maximális válasz‑token limitje 256K volt. Mért metrikák: TPS (tokens per second), a befejező (completion) tokenek száma és az end‑to‑end válaszidő. A kísérleti kód elérhető a publikáció szerzőjének GitHubján.

Benchmark és intelligenciaindexek

• A DeepSeek V4.1 Flash 1017 Intelligence Index: 45
• GLM‑5.3‑Flash Intelligence Index: 43
• Naive‑N0.5‑Flash Intelligence Index: még nem elérhető

A publikált benchmarkok (GLM és DeepSeek modellek hivatalos forrásai, valamint NaiveAI technikai blogja) szerint a Naive‑N0.5‑Flash kódolási képessége a két összehasonlított modell között helyezkedik el, és vezet NL2Repo‑Benchen. Kiemelt benchmark‑értékek (publikált model cardok/technikai bejegyzések szerint):

• NL2Repo‑Bench: GLM‑5.3‑Flash 56.3, DeepSeek V4.1 Flash 1017 68.2, Naive‑N0.5‑Flash 71.9
• DeepSWE v1.1: GLM 63.4, DeepSeek 77.0, Naive 67.8
• Agent's Last Exam (ALE): GLM 26.3, DeepSeek 35.4, Naive 32.4

Fő megfigyelések — sebesség és szöveghossz

• A Naive‑N0.5‑Flash rendkívül magas átviteli sebességet jelentett: szerveroldali mérések közelítettek vagy átlépték az 1,000 token/s határt mindkét "thinking" konfigurációban. Csúcsértékként egy másodpercre körülbelül 2,100 token/s‑t mértek; ezeket inkább felső határként kell kezelni.
• Dekódolási sebességek (NaiveRT környezetben, egy 8‑GPU Blackwell node, spekulatív dekódolás): ~984 token/s a gondolkodási fázisban és ~1,816 token/s a válaszfázisban. Az elfogadási arány a draft tokeneknél 70.6% volt gondolkodás nélkül, és 43.4% gondolkodással.
• A teljes spekulatív kör (draft, verify, sampling, commit) NaiveRT‑ben ~3.4 ms, míg egy összehasonlító motorban (SGLang) ~12.3 ms — ez 72.4% csökkenés a NaiveRT javára.

Verbózitás és tokenfelhasználás

• A Naive‑N0.5‑Flash gondolkodás bekapcsolásával a nehéz HLE kérdéseknél átlagosan mintegy 108,500 befejező tokent használt — ez nagyjából 9‑szerese volt a GLM‑5.3‑Flash (high) átlagának és 11‑szerese a DeepSeek (high) átlagának.
• Az eloszlás erősen ferde: a mediánok mást mutatnak, például a Naive gondolkodással bekapcsolva a medián befejező token körülbelül 3,200 volt, miközben az átlaga több mint 51,000. Néhány extrém hosszú belső érvelési nyom tette fel az átlagot.

Válaszidők (end‑to‑end)

• A medián válaszidő az összes 30 kérdésre nézve: Naive (thinking) 3.1 s, GLM 5.3 Flash (high) 5.3 s, DeepSeek V4.1 Flash 1017 (high) 10.1 s.
• A mediánoknál jóval közelebb vannak az átlagok: Naive átlag 45.3 s, DeepSeek 45.0 s, GLM 86.9 s.
• Nehéz kérdések esetén a Naive (thinking) átlagosan lassabb volt, mint a DeepSeek (high): 89.8 s vs. 79.7 s.

Fontos korlátozások

• A minta kicsi: 10 kérdés per nehézségi szint.
• A kísérlet nem tartalmazott részletes helyességi (accuracy) értékelést. Gyors válaszok csak akkor értékesek, ha helyesek is.

Alkalmazás‑tesztek (app building)

Hat konfigurációt teszteltek: Naive‑N0.5‑Flash (thinking on/off), DeepSeek V4.1 Flash 1017 (low/high), GLM‑5.3‑Flash (low/high). Három feladat: interaktív 3D Naprendszer és Föld nézet, procedurális 3D fa növesztése, és a Ray Tracing in One Weekend könyv böngészős portja.

Főbb eredmények:

• Naprendszer: Naive (thinking) készítette a részletgazdagabb változatot (napfoltok, éjszakai városfények), DeepSeek közel volt, GLM pedig világítási problémákkal küszködött.
• Fa modellezés: DeepSeek (high) és Naive (thinking) mindketten jó eredményt adtak; Naive gondolkodás nélkül nem tudott használható appot előállítani. Mindkettőnél kisebb szélanimációs hibák voltak; GLM (high) esetén a fa erős szélben deformálódott.
• Ray tracer port: mindhárom modell gondolkodással működőképes appot adott. DeepSeek (high) volt a leghatékonyabb ray tracer, Naive helyes, de kevésbé hatékony JavaScriptet generált, GLM interfésze a legegyszerűbb.

Árazás

NaiveAI célárai: $0.10 per millió input token, $0.40 per millió output token és $0.01 per millió cache‑read token. Ez a sáv (kb. $0.20–$0.60/millió output token) hasonló más Flash‑modellek ársávjához. A végső költség nagyban függ a modelltől kért gondolkodási költségtől és a kérdés nehézségétől (a tokenfelhasználás ezért változó).

Következtetések

• Ha a fejlesztő vagy kutató a gyors iterációt értékeli magasabbra a token‑gazdaságosságnál, a Naive‑N0.5‑Flash vonzó választás lehet: kiemelkedő csúcsteljesítményt és rövidebb medián válaszidőt nyújt.
• Ugyanakkor a bonyolult feladatoknál magasabb tokenfelhasználása és néhány esetben hosszabb átlagos gondolkodási idő miatt a költség per kérdés emelkedhet.
• Mivel a minta kicsi és a pontosságot nem értékelték részletesen, érdemes további, független vizsgálatokat és beágyazott helyességi teszteket végezni, mielőtt kritikus rendszerekben élesítik.

További megjegyzések

A NaiveAI architekturális és inferencia‑optimalizációs céljai — például a spekulatív dekódolásra és sparse attentionre épülő gyors, olcsó roll‑outok — közvetlen hatással lehetnek a nagyszabású megerősítéses tanulás (RL) költségeire és sebességére. A szerzők szerint ez illeszkedik NaiveAI hosszabb távú ambíciójához: egy olyan önjavító rendszer felé, amely képes optimalizálni saját CUDA‑kerneljeit és inferenciafolyamatait.