Egy ICLR 2026-on bemutatott tanulmány, "On the Interpolation Effect of Score Smoothing in Diffusion Models", azt vizsgálja, honnan ered a diffúziós generatív modellek látszólagos kreativitása. A szerzők azt állítják, hogy a modellek újszerű mintákat előállító képessége nem véletlen hibából fakad, hanem a tanulás során bekövetkező természetes "score"-simítás (score smoothing) következménye.
Denoising: a tanulási feladat röviden
A diffúziós modell képzésekor valós mintákat (például macskaképeket) szándékosan zajosítanak addig, míg felismerhetetlenné nem válnak, majd a modellt arra tanítják, hogy lépésről lépésre visszafordítsa ezt a zajosítást (denoising). Elméletben, ha a modell tökéletesen megtanulná a zaj visszafordítását kizárólag a tanulókészlet alapján, akkor telepítéskor a tanulmányi példányok pontos másolatait adná vissza (memorization).
A gyakorlatban a diffúziós modellek rendszerint túlmutatnak a puszta memorizáláson: képesek általánosítani és új mintákat létrehozni. A szerzők egy fizikai hasonlattal írják le a denoising folyamatot: a véletlenszerű zajt gázrészecskék felhőjéhez hasonlítják, amelyet egy úgynevezett score function (SF) — a tanult "erőtér" — irányít úgy, hogy a részecskék végül értelmes alakzatot vegyenek fel. Ha a score function tökéletesen tükrözné a tanulókészletet, az erőtér a részecskéket a tanulópontokba húzná (memorization).
1-dimenziós példa: hogyan keletkezik interpoláció
A tanulmány egy egyszerű, egy dimenziós példán mutatja be a jelenséget. Tegyük fel, hogy csak két tanulópontunk van: +1 és −1. A "tökéletes" score function ennek megfelelően éles előjeltöréssel osztaná ketté a teret, a középponton hirtelen irányváltással — ennek következtében minden részecske az egyik vagy a másik pontba konvergálna (memorization).
A szerzők azonban rámutatnak, hogy a neurális hálózatok gyakorlati tanítása során a regulárizáció, például a weight decay (WD), megnehezíti az ilyen meredek, éles függvények megtanulását. A tanult score funkció ezért általában simább lesz a középső régióban: a hirtelen váltás helyett egy lágyabb lejtő jelenik meg. Ezt a jelenséget nevezik score smoothingnak. Ennek következményeként a középső területen lévő részecskék lassabban mozognak, és végül az eredeti tanulópontok közötti "interpolációs zónában" állapodnak meg — tehát új, a két pont közötti értékek jönnek létre.
A szerzők kísérletileg is vizsgálták ezt: két rétegű ReLU hálókat tanítottak, hogy illesszék a score függvényt az egy-dimenziós példára, az AdamW optimalizáló alatt különböző weight decay erősségekkel. Az eredmény konzisztens volt: erősebb weight decay simább score-t eredményezett a középső területen, tehát nagyobb hajlamot az interpolációra. A tanulmány továbbá megjegyzi, hogy még kifejezett regulárizáció nélkül is megjelenhet a simítás az implicit regulárizáció miatt, ami a gradiens alapú algoritmusok sajátossága.
Több dimenzió és a data manifold: miért lesz mégis éles a képi minőség?
A valós adatok (például nagyfelbontású képek) magas dimenziós pixeltérben helyezkednek el, melynek többsége véletlenszerű zajnak felel meg. Az értelmes, felismerhető képek csak a teljes tér kis részét foglalják el, a data manifold nevű alacsonyabb dimenziós alapon. A modell feladata a manifold felderítése és új pontok előállítása rajta — vagyis manifold recovery.
A tanulmány azt mutatja be, hogy több dimenzióban a score smoothing irányfüggő hatást gyakorol. A manifoldra merőleges („normál”) irányok mentén a tökéletes score már eleve viszonylag sima — gyakran közel lineáris — ezért további simítással ott nem sokat lehet rontani. Ezzel szemben a manifoldtal párhuzamos („tangenciális”) irányokban a simítás lassító hatást okoz, hasonlóan az 1-D példához: csökkenti a részecskék összeomlási hajlamát a konkrét tanulópontok felé. Ennek eredménye, hogy a partikulák továbbra is beérnek a jelentéssel bíró manifoldra (tehát a képek továbbra is élesek és reálisak maradnak), de a tangenciális irányokban kitöltik a tanulópontok közötti üres területeket, így újszerű, interpolált minták jönnek létre.
Következtetések és további megfontolások
A tanulmány azt sugallja, hogy a diffúziós modellek kreativitása formálisan értelmezhető következménye a neurális hálók tanulási dinamikájának: mivel a hálózatok ritkán tanulnak tökéletes, éles döntési határokat, a tanult score-ok "hidakat" hoznak létre a meglévő adatok között. Ez gyakorlati következményekkel járhat képgenerálásban vagy molekulatervezésben, ahol a modell nem csupán két megtanult példa másolatát adja vissza, hanem a két példa jellemzőit ötvözve új, érdemi mintákat javasol.
A szerzők hangsúlyozzák, hogy ez az eredmény kezdeti lépés a mechanizmus megértésében: ismeretlen marad, hogyan változik a viselkedés összetettebb adateloszlások vagy hálózati architektúrák esetén. Ugyanakkor az, hogy a jelenség szigorúbb matematikai értelemben is feltárható, lehetővé teszi a tervezők számára, hogy szándékosan olyan modelleket építsenek, amelyek jó interpolátorok maradnak — ezzel megőrizve a kreativitást, miközben csökkentik a vak memorizálás kockázatát.
Hozzájárulások és köszönetnyilvánítás
A cikk szerzői köszönetet mondanak Sreenivas Gollapudi és Ravi Kumar támogatásáért, valamint Mark Simborgnak és Kimberly Schwede-nek a blogbejegyzés előkészítésében nyújtott segítségért. A tanulmányban szereplő numerikus kísérletek kódját a szerzők nyilvánosságra hozták.
