A poszttréning két pillére: megerősítéses tanulás és felügyelt finomhangolás

A nagy nyelvi modellek (LLM-ek) poszttréningjének gyakorlata ma főleg két megközelítésre épül: megerősítéses tanulásra (reinforcement learning, RL) és felügyelt finomhangolásra (supervised fine-tuning, SFT). Mindkettőnek hosszú története van a gépi tanulásban, de az LLM-ek viselkedésének formálására alkalmazva alkotják a modern utótréning gerincét. A legtöbb poszttréningi lépés valamilyen kombinációja ezeknek a technikáknak.

Megerősítéses tanulás (RL): tanulás visszajelzésből

Az RL röviden úgy működik, hogy a modell kap egy promptot, választ generál, a választ értékelik (ez a reward, jutalom), majd a modell súlyait úgy frissítik, hogy a magas jutalmú válaszok valószínűbbé váljanak. A kul kérdés: honnan származik a jutalom?

• Verifikátorok: automatizált függvények adják a jutalmat, például egy kódfordítás-ellenőrző vagy matematikai helyességet vizsgáló teszt. Az ideális verifikátor gyors, olcsó és megbízható az adott doménen, de csak ott használható, ahol objektíven definiálható a „helyes” válasz. Sok valós feladatnál azonban a segítőkészség, árnyaltság vagy beszélgetési tónus nem programozható le egyszerűen.

• Emberi visszajelzés és RLHF: az emberek képesek finom preferenciákat adni, de nem gazdaságos minden egyes tréningpontnál. Az InstructGPT munkája alapján gyakori megoldás a reinforcement learning from human feedback (RLHF), amelyben egy külön „reward model” tanul meg emberi értékeléseket utánozni. A jutalomgépet általában páros összehasonlításokkal tanítják („Melyik válasz jobb?”), mert az emberek erre következetesebben képesek, mint abszolút pontozásra. Az InstructGPT című munka például körülbelül 33 000 promptot használt; a rangsorolások 4–9 válasz megjelenítésével hatékonyan több százezer párösszehasonlítást eredményezhetnek (nagyjából 200 000–1 200 000 összehasonlításra lehet számítani ilyen skálán).

• LLM mint bíró (RLAIF): a jutalom előállítására használhatnak LLM-eket is (reinforcement learning from AI feedback, RLAIF). Ez skálázhatóbb, és képes szubjektív minőségeket (segítőkészség, tónus) értékelni, de átörökíti a bíró modell torzításait és könnyebben kijátszható. Robosztusabb eredményt adhat, ha a bíró több meghatározott dimenzióra (pl. pontosság, tisztaság, hangnem, teljesség) külön LLM-hívást futtat, majd súlyozva egyesíti a pontszámokat. Anthropic Constitutional AI (CAI) például emberi elvekből felépített „alkotmányt” ad az LLM-nek, amellyel az AI maga generál és rangsorol összehasonlító példákat a jutalom modell tanításához.

• RL algoritmusok: a kapott jutalmat stabil, hasznos tanítási jelzéssé kell alakítani. Néhány fontos algoritmus:

  • REINFORCE: egyszerű elv — a magas jutalmú mintákat erősítjük, az alacsonyakat gyengítjük — de zajos és instabil.
  • PPO (proximal policy optimization): az OpenAI eredeti ChatGPT-munkájában használt és korábban RLHF-alapértelmezett algoritmus. Afrissítések nagyságát „levágja” (clipping), így stabilabb, továbbá az online tréning kereteit használja és egy „critic” (értékelő modell) segít baseline-t adni az előny (advantage) számításához. A hátrány a rendszer komplexitása: két modellt kell együtt tréningezni és sok mozgó részt kezelni.
  • DPO (direct preference optimization): elkerüli az RL-t és közvetlenül a páros preferenciaadatokra alkalmazott felügyelt tanulással frissíti a fő modellt. Elméletben DPO és PPO ugyanarra a optimumra konvergálhatna ideális feltételek mellett, de gyakorlatban különbségek és korlátok vannak (például DPO offline marad, nem tud felfedezni új viselkedést a fixed adatkészletből). Egyszerűsége miatt népszerű kisebb csapatoknál.
  • GRPO (group relative policy optimization): a DeepSeek által bemutatott megközelítés csoportos normalizálást használ. Több választ generál ugyanarra a promptra, és a csoporton belüli relatív jutalmak alapján határozza meg a baseline-t, így nincs szükség külön critic modellre. Ez online megközelítés marad, és köztes megoldást kínál PPO és DPO között.

RL gyakorlati problémái: zajosabb, kevésbé stabil, érzékeny hiperparaméterekre, és gyakran korlátozzák a finomhangolást KL-divergencia büntetéssel, hogy a model ne térjen el túl messze a kiindulási (például SFT) modelltől.

Felügyelt finomhangolás (SFT): tanítás demonstrációval

Az SFT egyszerű: összegyűjtesz {prompt, ideális válasz} párokat, és folytatod a next-token predikciós tréninget ezen a kurátori adatkészleten, miközben a veszteséget csak a válaszon számolod. Előnye a viszonylagos egyszerűség: nincs reward modell, critic vagy policy-gradient zaj. Hátránya, hogy a modell pontosan azt másolja, amit mutatsz; minden minőségi probléma a demonstrációban a végső modell hibája lesz.

• Emberi demonstrációk: szakértők által írt magas minőségű válaszok az arany standard. Az InstructGPT például 40 annotátort alkalmazott demonstrációk és rangsorok készítésére. Ez azonban költséges és nehezen skálázható, különösen domain-specifikus feladatoknál.

• Szingetikus adatok: LLM-ekkel generált demonstrációk nagy mennyiségben előállíthatók olcsón. A Stanford Alpaca projekt például Llama-t 52 000, text-davinci-003 által generált demonstrációval finomhangolta, és hasonló viselkedést ért el a forrásmodellhez képest egy körülbelül 250 példás szűk értékelésen. Azonban érdemes figyelni a szolgáltatók használati feltételeire: egyes modellek nem engedik kimenetük felhasználását versengő modellek tréningjére.

• Kurált adatok szintetikus transzformációval: meglévő, jó minőségű emberi tartalmak (support logok, belső dokumentációk, szakértői Q&A) átalakítása prompt–válasz párokká LLM-pipelinen keresztül. Ez valós helyzetekre alapoz, de erősen megköveteli a tisztítást és kurátori munkát.

• Rejection sampling: a modellből sok választ generálsz, megméred a minőségüket (pl. tesztcsomag, reward model vagy erősebb bíró modell), és csak a legjobbak kerülnek be az SFT-készletbe. Meta Llama 2 poszttréningjében is alkalmazták ezt. Ez skálázható, mert generálás olcsóbb, mint emberi címkézés, de a határ a modell jelenlegi képessége — ha a modell száz próbálkozásban sem tud jó megoldást adni, a szűrés nem segít.

• SFT korlátai: csak a helyes viselkedést tanítja; nem mutatja meg, mi a helytelen. Az adatkészlet stílusbeli keveredése „mode averaging”-hez vezethet, azaz a modell összekeverheti a különböző tónusokat és stílusokat.

Miért használják együtt a legjobb modellek mindkettőt?

SFT megbízhatóan hozza el az alapviselkedést (utasításkövetés, beszélgetés), és jó melegindítás (warm start) RL számára. RL képes ritka, fontos képességeket felszínre hozni, és új problémákon érési teljesítményt nyújtani, továbbá skálázható verifikátorok esetén (például programozható matekfeladatok) könnyebben javul. Például DeepSeek R1-Zero esetén a csapat azt találta, hogy RL közvetlenül az erősebb pretrainelt modellen erős következtetési képességet adhatott, de maradtak használhatósági problémák (például nyelvek keverése).

Gyakorlati pipeline tipikus lépései:

1. Pretraining: általános alapmodell.
2. SFT: a modell megtanulja az alapvető viselkedést — párbeszédet, ügynöki viselkedést, udvarias tónust.
3. RL: az SFT checkpointon tovább finomítanak jutalmak alapján (emberi preferenciák, verifikátorok, AI-bírók) a konzisztens segítőkészség, biztonság és komplex feladatok eredményesebb megoldása érdekében.

Sok csapat iterál SFT és RL között többször: SFT, majd RL, majd új SFT új adatokon, majd újabb RL. Ez checkpointolást és külön csapatok közötti átadást is segíti, bár növeli a pipeline komplexitását. Általános tapasztalat, hogy az egyes korábbi lépések minősége erősen befolyásolja a későbbi fázisok hatékonyságát.

Összegzés

Megerősítéses tanulás és felügyelt finomhangolás egymást kiegészítő eszközök a modern LLM poszttréningben. SFT adja a stabil, megbízható alapviselkedést és egyszerű implementációt; RL hozhatja ki a modellből a ritka, új képességeket és lehetővé teszi a modell ellenállóbbá tételét támadó promptokkal szemben. A legtöbb fejlesztési folyamat mindkettőt használja: SFT-vel felkészítik a modellt, majd RL-lel finomítják a konkrét célokra és preferenciákra. A választás és a sorrend a rendelkezésre álló adatoktól, számítási erőforrástól és a kívánt használati esetektől függ.