Egy kutatócsoport új, az agy alvási folyamatairól inspirált keretrendszert javasol a nagyméretű nyelvi modellek (LLM-ek) folyamatos tanulására. A „sleep” (alvás) paradigma során a modell váltogatja az aktív, bemeneteket feldolgozó állapotot és egy offline, memóriakonszolidációs fázist, amelyben rövidtávú, gyorsan változó kontextuális ismereteket stabil, hosszú távú paraméterekbe ír át. A megközelítés célja a folyamatos adaptáció és az új tudás hosszú távú megőrzése anélkül, hogy a korábban megtanult képességek drasztikusan romlanának (catastrophic forgetting).
Miért van rá szükség?
A mai LLM-eket hagyományosan előzetesen betanítják, majd statikusan üzemeltetik: a modellek általában egy rögzített tudás-vágási dátummal (knowledge cutoff) dolgoznak, és csak az adott kontextuson belül tudnak rövidtávú információt felhasználni. A paraméterek folyamatos frissítése tűnik nyilvánvaló megoldásnak, azonban gyakran vezet a korábbi tudás elfelejtéséhez (catastrophic forgetting). A pusztán in-context learningre (ICL) támaszkodva a megszerzett tudás a kontextus lejártával elveszik. A javasolt alvási keretrendszer mindkét korlátot kezeli: egyrészt lehetővé teszi az új tények beépítését a paraméterekbe, másrészt megőrzi korábban tanult képességeket.
A sleep paradigma — két fázis
A szerzők a modell életciklusát két alapállapotra osztják:
- Aktív (wake) fázis: a modell élő interakciók során vesz fel és dolgoz fel bemeneteket, rövidtávú információkat tárolva gyors, magas frekvenciájú memóriakomponensekben.
- Alvó (sleep) fázis: a modell leállítja az új bemenetek feldolgozását és a belső erőforrásokat memóriakonszolidációra és önfejlesztésre fordítja. Az offline alvás alatt előre kiosztott Mixture-of-Experts (MoE) memóriablokkok aktiválódnak, és a modell önmagának generált gyakorló példákon keresztül frissíti numerikus súlyait.
A megközelítés nem igényel architekturális változtatást a modell „magjában”, hanem előre definiált MoE-blokkokat és tanítási szabályokat használ az offline konszolidációhoz.
A memóriakonszolidáció részletei
A memóriakonszolidáció két fő technikai komponensre támaszkodik:
- Paraméter-kiterjesztés és folyamatos memóriastruktúra
- A modell az alvás során dinamikusan növeli kapacitását: új, alacsony rangú MoE-szakértők kerülnek feloldásra és integrálásra stabil, alacsony frekvenciájú memóriablokkokként. Így az új tudás beleírható anélkül, hogy a korábbi, konszolidált paramétereket felülírná.
- Knowledge seeding (upward distillation)
- A rövidtávú, törékeny emlékek (például in-context memóriák) átkerülnek a hosszú távú paraméterekbe Generalized Knowledge Distillation (GKD) és megerősítéses tanuláson (RL)-alapuló imitációs tanulás kombinációjával.
- On-policy distillation: a bővített (student) modell token-szintű visszajelzést tanul a tanár (teacher) által önmintázott szekvenciákból származó eloszlásokból, hogy az inferencia során előálló viselkedéshez igazodjon.
- Learning to imitate (LTI): a tanulót jutalmazzák szemantikai és abszolút hasonlóság (például Levenshtein-távolság) alapján, amikor prefixeket egészít ki tanár által generált szövegből.
- Szinaptikus ritkítás
- Miután a konszolidáció megtörtént, a magas frekvenciájú, ideiglenes paramétereket visszaállítják, hogy felszabaduljon kapacitás a következő aktív munkamenethez.
Álmodás: autonóm önfejlesztő ciklus
A REM-hez hasonló „álmodó” fázisban a modell önállóan generál és kiválaszt szintetikus példákat, majd ezeken finomhangolja magát:
- Véletlenszerű szakértőválasztás: az MoE-router véletlenszerűen aktivál nem standard szakértőket a szintetikus adat generálása során, ezáltal különböző tudásdomének keverednek és rejtett mintázatok derülnek ki.
- Kurált gyakorlás: a modell álommintákat generál, majd gradiens-alapú mintaválasztással kiválasztja azokat, amelyek a legnagyobb potenciális előrelépést jelzik.
- RL finomítás: a legjobb álmokra felügyelt finomhangolást végeznek, és értékelik, hogy az öngenerált példák javítják-e a downstream teljesítményt.
Elméleti indoklás
A szerzők elméleti elemzést is adnak, amelyben a memóriasejtezés (knowledge seeding) alacsony rangú tömörítési problémaként értelmezhető: nem minden részlet másolása a cél, hanem a tömör halmaz irányainak megtalálása, amelyek a modell on-policy viselkedését és a szemantikai jellemzőket legjobban megőrzik. Az on-policy distillation csökkenti a mismatch-et a tanulás és a tényleges inferencia során előálló viselkedés között, míg a szemantikai jutalom azt befolyásolja, hogy mi érdemes megtartani. A paraméter-kiterjesztés kapacitást biztosít ezen kiválasztott emlékek rögzítéséhez anélkül, hogy korábban konszolidált tudást felülírna.
Az álmodás szakaszánál a véletlenszerűen aktivált MoE-k és a jutalom alapú mintaválasztás szélesebb gradiensirány-készletet hoz létre, illetve a leghasznosabb szintetikus példákat erősíti, ami kiegyensúlyozottabb optimalizációs tájat eredményez és stabilabb fejlődést tesz lehetővé.
Empirikus eredmények (összefoglaló számok)
A javasolt sleep-keretrendszer több feladatcsoportban is jelentős előnyöket mutatott a leírt tanulmány szerint:
- Folyamatos fordítás: ismeretlen nyelveken (például manchu és kalamang) a sleep-keretvélemény közel nulla teljesítményromlást tartott többfázisú értékelések során, míg olyan alapmódszerek, mint az ICL, Cartridges és a supervised fine-tuning (SFT) súlyos catastrophic forgetting-et tapasztaltak.
- Hosszú kontextus megértés (BABILong benchmark): a sleep módszer közel tökéletes skálázódást mutatott akár 10 millió (10M) tokenig, és felülmúlta erős bázismodelleket, köztük a GPT-4-et és a Titans modelleket az alvás közbeni konszolidációval történő paraméteres tömörítés révén.
- Faktuális tudás beépítése (SQuAD és continued pre-training — CPT): a sleep-módszer 48.9%-ot ért el egyfeladatos értékelésen és 46.2%-ot CPT-n, meghaladva a bázismodellt, a SFT-t és a Self-Adapting Language Models (SEAL) teljesítményét anélkül, hogy a meglévő reprezentációkat degradálná.
- Matematikai következtetés (AIME 24/25, HMMT 25): a sleep-kiegészített bázismodell pontossági eredményei 79.2%, 69.0% és 46.1% voltak, ami jobb, mint a SFT, a group relative policy optimization (GRPO) és az on-policy self-distillation (OPSD) eredményei.
Jelentőség és következtetések
A sleep-paradigma egy lehetséges út a folyamatosan tanuló, autonóm AI rendszerek felé. Az aktív és offline (alvó) fázisok váltogatásával a módszer lehetővé teszi, hogy LLM-ek rövid távú emlékeket felszívjanak, az új képességeket absztrahálják és stabil paraméterstruktúrákba írják, miközben csökken a catastrophic forgetting kockázata. A keretrendszer empirikus eredményei több benchmarkon is jobb megtartást és javuló következtetési teljesítményt mutattak.
Kutatók és köszönetnyilvánítás
A kutatást Ali Behrouz (Google és Cornell University), Farnoosh Hashemi (Cornell University), Adel Javanmard (Google és University of Southern California), és Vahab Mirrokni végezték. A szerzők köszönetet mondanak Yuan Dengnek és Corinna Cortesnak az áttekintésért és hasznos javaslataikért, valamint Mark Simborgnak, Kimberly Schwede-nek és Tim Herrmannnak az összefoglaló blogbejegyzés kialakításában nyújtott segítségükért.
