Carnegie Mellon University kutatói — Yuxiao Qu, Amrith Setlur, Virginia Smith, Ruslan Salakhutdinov és Aviral Kumar — egy új módszert, a Privileged On-Policy Exploration (POPE) megközelítést mutatták be, amely a GRPO megerősítéses tanulási algoritmust speciálisan előkészített adathalmazokkal párosítja. A módszer lényege, hogy nehéz, gyakran nem megoldott feladatokhoz a probléma mellé hozzáfűzik a megoldás első lépéseit (prefixet) mint „privilegizált” javaslatot, és így segítik a modell felfedezését.
Miért van szükség erre a megközelítésre?
A megerősítéses tanulás egyik fő nehézsége az exploráció: ha a modell nem talál rá a helyes lépések láncolatára, nem tudja megtanulni a megoldást. A hagyományos finomhangolásnál a modell a teljes megoldás alapján tanul, de ez gyakran a konkrét megoldások memorizálásához vezet, nem pedig általános problémamegoldó képesség kialakításához. POPE ezt a problémát úgy kezeli, hogy a megoldás kezdetét, mint utat mutató tippet adja meg, ami után a megerősítéses tanulás könnyebben talál rá a teljes megoldásra.
A módszer részletei
- A szerzők egy előképzett Qwen3-4B-Instruct-2507 modellt finomhangoltak GRPO-val, és egyedi, előkészített adathalmazt használtak.
- Három matematikai adathalmazból választották ki azokat a feladatokat, amelyeket a pretrained modell 128 próbálkozás alatt nem oldott meg helyesen; egy próbálkozás akár 32 ezer token generálását is megengedte.
- Minden kiválasztott példához kinyerték a megoldás elejét (prefixet), és fokozatosan hosszabb prefixeket adtak a modellnek — legfeljebb a megoldás hosszának negyedéig —, amíg a modell helyesen be nem fejezte a megoldást.
- A végrehajtott beavatkozás: a feladat szövegéhez hozzáfűzték a megfelelő prefixet és egy instrukciót, hogy onnan folytassa a megoldást.
- A GRPO során minden feladatot egyenlő arányban mutattak meg a modellnek prefixszel és prefix nélkül is. Ha a modell megoldotta a feladatot, a GRPO növelte azon tokenek valószínűségét, amelyek a megoldást alkották; ha nem, a valószínűséget csökkentette.
Eredmények
A POPE-val finomhangolt Qwen3-4B-Instruct-2507-et összehasonlították tipikus GRPO-val és szokásos felügyelt finomhangolással. POPE következetesen jobb teljesítményt mutatott mindkettőnél, különösen a felügyelt finomhangoláshoz képest.
- A AIME 2025 versenymatematikai adathalmazon: POPE elérte a 53.1% pass@1 és 82.6% pass@16 értékeket, míg a tipikus GRPO 49.6% pass@1 és 81.4% pass@16 eredményt ért el.
- A HMMT 2025 készleten: POPE 37.8% pass@1 és 67.5% pass@16, szemben a tipikus GRPO 31.0% pass@1 és 63.8% pass@16 értékeivel.
Korlátok és megfontolások
POPE előfeltétele, hogy a feladatokhoz rendelkezésre álljanak ismert, jó megoldások, amelyekből a prefixeket ki lehet nyerni. Olyan területeken, ahol a helyes megoldások előállítása költséges vagy nehéz, a módszer azzal a költséggel jár, hogy ilyen megoldásokhoz kell hozzáférni.
Miért számít ez?
A POPE célzottan csökkenti a megerősítéses tanulás explorációs költségeit azáltal, hogy a modellt a releváns részproblémákhoz vezeti — vagyis olyan kezdőállapotokhoz, ahonnan valóban megoldható a feladat. Ezzel kettéválasztja a tanulási folyamatot: először megtanulni folytatni egy jó részmegoldást (ii), majd megtanulni megtalálni azokat a részmegoldásokat kezdésként (i). Ez a felosztás könnyebbé teheti a nehéz feladatok tanulását, mivel a megerősítéses tanulás hatékonyabban tudja növelni a sikeres lépések valószínűségét, miután a modell már tud folytatni egy jó prefixet.
