Két évvel ezelőtti posztjában Colin Frasier bemutatott egy kísérletet, amelyben GPT-4o képességét vizsgálta: a feladat az volt, hogy összeadjon számokat, de a választ szavakban adja vissza, miközben a számok nagysága fokozatosan nőtt. Frasier a kísérlet eredményeiről egy grafikont is megosztott.
A szerzőt a poszt inspirálta arra, hogy a vizsgálatot teljesen ellenőrzött, helyi környezetben ismételje meg: egy NVIDIA DGX Spark gépen futtatott kísérletet Qwen3.8-27B modelllel.
Módszer
A bemenetként használt kép (Colin Frasier grafikona) bekerült egy Codex Remote munkamenetbe (GPT-6 Astra), és ugyanazt a kísérleti elrendezést futtatták le a Qwen3.8-27B-Q4_K_M.gguf modellel. Két fő beállítást próbáltak:
- Reasoning (láncolt gondolkodás) letiltva: minden számparra 30 próbálkozást futtattak.
- Reasoning engedélyezve: ez jóval lassabb volt, ezért itt négyzetenként csak egyetlen egyetlen próbát futtattak, azaz egy-azonnali (one-shot) vizsgálatot.
Eredmények
- A reasoning letiltott módjában a teljesítmény vegyes volt; a szerző azt írja, hogy sok hibát talált, ezért nem tartja valószínűnek, hogy a modell „csalt” külső számológéppel.
- A reasoning engedélyezett, one-shot futtatásnál a modell 169 próbálkozásból 167 esetben adta meg helyesen az összeget (szavakban). Mivel ezek egyetlen futtatások voltak, a szerző megjegyzi, hogy egy újabb futtatás más eredményt hozhatna.
Kiegészítő anyagok
A jelentés tartalmaz egy verziót, amely a nagyobb számolásoknál keletkezett részletes gondolatmeneteket (reasoning traces) is közli. Egy példabeli részlet bemutatja a helyi összeadást lépésről lépésre, például:
4,299,366,105,622 6,088,794,067,970
A modell a számokat jobbról-balra összevetve, pozíciónként összeadva dolgozta fel (egységek, tízesek, százak...), és a köztes lépéseket — például amikor 6 + 9 = 15, írjon 5 és vigyen 1-et — expliciten leírta.
Miért számít
A kísérlet megmutatja, hogy egy nagy nyelvi modell helyi, ellenőrzött környezetben is képes nagy számok összeadására szöveges válaszformában, és hogy a reasoning be- vagy kikapcsolása jelentősen befolyásolhatja a viselkedést és a futási időt. A magas one-shot helyesség (167/169) különösen érdekes az olyan alkalmazások számára, ahol rövid, egyértelmű válaszokra van szükség, ugyanakkor az ismételhetőség és a módszertani részletek további vizsgálatot igényelnek.
Címkék
mathematics, ai, generative-ai, local-llms, llms, qwen, llm-reasoning, dgx-spark
