Rikiya Takehi, Jayden Teoh, Alex Zhang és Omar Khattab "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights" címmel közöltek egy írást, amelyben azt állítják: korszerű nyelvi modellek képesek közvetlenül értelmezni és módosítani egy másik neurális háló raw súlyait — azaz a modell paramétereit leíró lebegőpontos számok sorozatát. A szerzők különösen a GPT-6 Astra példáit emelik ki, amelyekről azt írják, hogy a súlyokból meg tudják mondani, mire tanították a hálózatot, és képesek kisméretű, játékhálózatokat írni vagy súlyokat natívan szerkeszteni anélkül, hogy tanítási hurkokat futtatnának.
Mit talált a cikk?
A tanulmány két, részben összefüggő kérdést különíthet el: (1) mit tud egy LLM a raw súlyokból kiszámítás vagy eszközök futtatása nélkül, és (2) mit tud egy LLM megtanult kód vagy futtatható műveletek birtokában tenni egy másik modell frissítéséért. A cikk a "Weight-Space Programming" kifejezést vezeti be arra a jelenségre, amikor egy LLM a súlyok elemzésével maga változtatja meg egy háló paramétereit.
A szerzők bemutatnak több meglepő példát: állításuk szerint GPT-6 Astra képes a raw súlyfájlokból megállapítani, milyen feladatra volt a háló tanítva; továbbá anélkül, hogy környezeti visszacsatolást használt volna, képes volt kisméretű, játékot játszó hálózatokat létrehozni, amelyek felülmúltak PPO-val 100 millió lépést tanult hálókat. Egy másik példa szerint Astra 0.016% súlymódosítással javította a Qwen3.5-0.8B matematikai teljesítményét a MATH-500 benchmarkon 7.9%-ról 48.1%-ra, és ezzel párhuzamosan növelte az IFEval teljesítményt is.
Viták és kritikák
A papert kísérő nyilvános viták nem maradtak el. Matthew Honnibal (a spaCy szerzője) azt írta, hogy a cikk megtévesztő lehet, mert a két témát — a raw súlyok megértését eszközök nélkül és a kódalapú súlymódosítást — összemosva mutatja be. Sean Goedecke részletesen elemezte a Qwen3.5-0.8B súlyjavítási példát, és azt állította, hogy a lépések hasonlítanak arra, amit egy gépi tanuló kutató is alkalmazna.
A szerzői állítások közül az első, azaz hogy LLM-ek eszközök nélkül értelmezni tudják a súlyokból a modell viselkedését, különösen érdekesnek tűnik. Ezt a kérdést közelebbről is vizsgálják a tanulmány kísérletei.
A kísérlet: játékok felismerése súlyokból
A tanulmány szerzői négy kis méretű, 10×10-hez hasonló rácsosított verziót készítettek klasszikus játékokból: Breakout, Pong, Pac-Man és Freeway. Minden egyes játékhoz megerősítéses tanulással tanítottak egy policy-hálózatot, majd a háló súlyait (lebegőpontos számokként) szöveges bemenetként adták egy LLM-nek azzal a feladattal: döntse el, melyik játékon tanították a hálót, kizárólag a súlyok alapján, eszközök vagy kód futtatása nélkül.
A kísérlethez készült promptok és futtatási adatok elérhetők a GitHub-tárban: RikiyaT/lm_understand-logs, az exp1_which_game mappában találhatók a breakpoint/prompt.txt, freeway/prompt.txt, pacman/prompt.txt és pong/prompt.txt fájlok — a szerzők szerint a promptok a súlyokon kívül azonosak.
Helyi reprodukció: Qwen 3.8 27B a laptopon
A cikkben szereplő eredményeket részben reprodukálták függetlenül. A szerző (a cikkre reagáló felhasználó) saját eszközkészletével kipróbálta a GitHub-promptokat helyi modelleken és távoli szolgáltatásokon. Egy példa: Kimi K3.1 Pro (OpenRouter-on keresztül) a Breakout promptot 9 perc 41 másodperc alatt, 19 493 reasoning token felhasználásával helyesen azonosította.
A szerző ugyanakkor saját, laptopon futó Qwen 3.8 27B modellel is megpróbálta a feladatot. Qwen 3.8 27B-t LM Studio-ban futtatta megnövelt timeout és hosszú kontextus mellett; a legtöbb alapértelmezett 8192 tokenes kontextus problémákat okozott, ezért a környezetet módosítani kellett.
A helyi futtatás főbb adatai és eredményei:
- Pac-Man prompt: a modell 46 perc 12 másodperc alatt, 43 506 reasoning token után adott vissza választ, amelyben a játékot "egy egyszerűsített Pac-Man-stílusú rácsjátéknak" azonosította, 72% bizalommal.
- Pong prompt: sikeres azonosítás 1 óra 4 perc 54 másodperc alatt, a modell leírásában a jobb oldali függőleges ütővel vezérelt labdajátékot említette, 75% bizalommal.
- Breakout prompt: sikeres azonosítás 52 perc 25 másodperc alatt, a modell Breakout-hoz hasonló paddles/ball/brick játékként írta le a feladatot, 88% bizalommal.
- Freeway prompt: a Qwen nem adott helyes választ; tévesen Pac-Man-szerű rácsjátéknak vélte a súlyokat.
A kimenetekhez részletes, tokenizált érvelési nyomok (reasoning traces) is tartoznak, amelyek sorokba rendezett súlyértékekre, csatornákra és feltételezett agent-helyzetekre vonatkozó következtetések hosszú láncolatait tartalmazzák. Ezek a nyomok olvasva kaotikusnak és nehezen értelmezhetőnek tűnnek, de a papír és a reprodukciós próbák szerint a nyelvi modellek képesek belőlük felhasználható következtetéseket levonni.
Mi a jelentősége és mit ne vonjunk le túl gyorsan?
A tanulmány és a helyi reprodukciók azt jelzik, hogy bizonyos nagy nyelvi modellek képesek non-triviálisan információt kinyerni egy másik modell súlyaiból anélkül, hogy kódot futtatnának vagy a súlyokat ténylegesen alkalmaznák hálózati számításokhoz. Ez új perspektívát ad arra, hogy milyen belső reprezentációkat és strukturális jellemzőket képesek felismerni az LLM-ek.
Ugyanakkor a gyakorlatba ültetés és a széleskörű következtetések levonása előtt több óvatosság szükséges: a folyamat lassú (órás nagyságrendű futások és nagy mennyiségű reasoning token), a siker nem garantált minden példánál (a Freeway esete), és a legfeltűnőbb eredmények egyes esetekben kód-alapú vagy emberi irányítású lépésekkel párosulnak a tanulmányban. A vita arról, hogy ez miként befolyásolja a modellbiztonságot vagy a jövőbeni önjavító modellek lehetőségét, továbbra is nyitott.
Következtetés
A "Sparks of Weight-Space Programming" kísérletei azt mutatják, hogy a modern LLM-ek bizonyos körülmények között képesek értelmezni és akár módosítani is más modellek súlyait. Az eredmények ígéretesek, de a közösségi reakciók és a független reprodukciók rámutatnak arra, hogy érdemes külön kezelni a raw-súly-értelmezés és a kód/végrehajtás-alapú súlymódosítás kérdését. A helyi próbák — köztük a Qwen 3.8 27B-vel végzett futtatások — megmutatták, hogy ezek a képességek nem kizárólag a legnagyobb, saját üzemeltetésű modellek kiváltságai, ugyanakkor jelenleg korlátozottak és költségesek a számítási és token-szempontok miatt.
