Szerző: Sharon Zhou
A poszt‑tréningről szóló cikksorozat első része.
Miért volt szükség poszt‑tréningre?
A nagynyelvi modellek (LLM) korai változatai, például a GPT‑3, nagymértékű nyers tudást halmoztak fel, de sok esetben gyakorlatilag használhatatlanok voltak a végfelhasználók számára. A poszt‑tréning az a képzés‑csomag, amelynek köszönhetően a modellek meghatározott viselkedést sajátítanak el: képesek természetes párbeszédet folytatni, eszközöket használni (például számológépet vagy kereső API‑t), biztonságosabban reagálni, és egyre összetettebb problémákat megoldani lépésről lépésre (az úgynevezett „reasoning” vagy láncolt gondolkodás révén).
A viselkedés nem csupán illedelmes válaszadást jelent: a poszt‑tréning teszi lehetővé, hogy a modell felismerje és reagáljon bizonyos token‑mintákra (például beszélgetési sablonokra), megtanuljon eszközöket meghívni és ellenőrizzen programatikus kimeneteket.
A poszt‑tréning fejlődése: GPT‑3‑tól a ChatGPT‑ig
A GPT‑3 2020 júniusában jelent meg. Ez egy nagy, 175 milliárd paraméteres modell volt, amely a pretraining (előtréning) során webről, cikkekből és dokumentumokból megtanult mintázatok alapján jósolta a következő tokent. A pretraining adathalmaza nem elsősorban párbeszéd‑átiratokból állt, ezért a modell sokszor nem a felhasználói kérdésre „emberi” módon reagált, hanem a legvalószínűbb folytatást adta egy statisztikai eloszlás alapján. Ennek következménye lehettek furcsa, listaszerű vagy oda nem illő válaszok.
Az akkori megoldás a prompt‑engineering és a few‑shot példák használata volt: a felhasználó előre adott Q&A mintákkal próbálta rávezetni a modellt a kívánt formára. Ez működött, de törékeny volt: apró változtatások a promptban — például egy plusz szóköz az „A:” után — teljesen eltérő tokenizációhoz és ezáltal drasztikusan más válaszhoz vezethettek.
A poszt‑tréning ezt a törékenységet csökkentette: a modelleket olyan token‑mintákra és beszélgetési sablonokra tanították, amelyeket termékekként fogadnak be (például a chat‑sablonok használata). Ennek köszönhetően a modellek sokkal robusztusabbá és használhatóbbá váltak, és ekkor kezdett elterjedni az a meggyőződés, hogy az AI paradigmaváltáson ment keresztül.
Pretraining és poszt‑tréning — mi a különbség?
Pretraining: a modell nyers intelligenciát szerez
- A pretraining a nagy mennyiségű, kurátori szűrésen átesett adaton a következő token előrejelzésére optimalizál. Tipikusan egy nagy korpuszon végzett, viszonylag tiszta veszteségfüggvényre (pl. perplexity) alapuló, „unsupervised” folyamat.
- A pretraining adja a tényismeretet (pl. francia forradalom), a programozási szintaxist és a matematikai alapokat. Sok kísérletet futtatnak különböző adatmixe‑kkel, architektúrákkal és hyperparaméterekkel. A teljes, úgynevezett „god run” lefuttatása több hétig, több ezer GPU‑n is eltarthat.
- A teljesítmény mérőszáma gyakran a perplexity: alacsonyabb érték jobb. Elméletileg 1‑hez közeli perplexity azt jelenti, hogy a modell majdnem biztosan tudja a következő tokent; magasabb érték nagyobb bizonytalanságot jelez.
Poszt‑tréning: a viselkedést formálja
- A poszt‑tréning jóval célzottabb adatkészleteken működik: emberi példákon, emberi rangsorokon és programatikus mérőfunkciókon alapuló visszajelzésen. Ezek határozzák meg, hogy mit tekintünk „jónak” (például segítőkész, nem káros vagy részletes lépésekben gondolkodó válaszok).
- A poszt‑tréning céljai szubjektívebbek: „légy hasznosabb”, „ne adj ártalmas útmutatást”. Emiatt a veszteségfüggvények zajosabbak, és az adatok minősége döntő.
- Skálája változó: az alapvető fine‑tuning tipikusan relatív kis erőforrást igényel (tízes‑százas GPU‑k napokig), ami gyors iterációt tesz lehetővé. Ugyanakkor ha post‑traininget a reasoning képességek kifejlesztésére használják, a poszt‑tréning compute‑igénye könnyen a teljes modell össz‑compute‑jának jelentős részét kiteheti — olykor költségben és összetettségben megközelítve a pretraininget.
Miért számít a poszt‑tréning? — használhatóság, biztonság, képesség
Használhatóság
Egy előtréninges modell olyan, mintha valakinek odaadnánk az egész Wikipédia PDF‑jét: ott van a tudás, de a végső felhasználó számára nem könnyen hozzáférhető. A poszt‑tréning megtanítja a modellt arra, hogyan szolgáltassa ezt a tudást természetes párbeszédben, több‑fordulós kontextusokban és utasításkövetés formájában — így bárki, aki le tud írni egy mondatot, használhatja a modellt anélkül, hogy prompt‑mérnöknek kellene lennie.
Biztonság
A pretraining során felhasznált adatok gyakran tartalmaznak toxikus, torz vagy félrevezető elemeket. A modellnek nincs beépített ítélőképessége; az alapján reagál, amit a minták sugallnak. A poszt‑tréning és a vele együtt alkalmazott guardrail‑ok lehetővé teszik, hogy a modell visszautasítson veszélyes kéréseket, ne generáljon véletlenszerűen káros tartalmat, és helyénvaló módon fejezze ki bizonytalanságát (például „nem tudom” vagy „kérjen szakembert”).
A biztonság és az emberi értékekhez való igazítás (alignment) területe a poszt‑tréninggel kapcsolatos fő kutatási irányok egyike. Ezen felül sok cég alkalmaz kiegészítő, egyszerűbb modelleket és ellenőrző rétegeket a bemenetek és kimenetek kiszűrésére.
Képesség
A poszt‑tréning nem csupán „illendőbbé” tesz egy modellt: javíthatja a nehéz feladatokban nyújtott teljesítményt is. Például egy előtréninges modellnek megvan a matematikai tudása egy nehéz feladathoz, de hajlamos lehet rögtön egy hibás válaszra ugrani a mintázat‑illesztés miatt. Ha a modellt arra tanítjuk, hogy több tokent adjon ki, mielőtt végleges választ ad (vagyis „hosszabban gondolkodjon”), az sokszor jobb eredményhez vezet; ezt tekintik a reasoning megtanításának egyik módjának.
Szuperhumán teljesítmény és korlátai
A poszt‑tréning bizonyos területeken emberfeletti eredményekhez vezetett. Versenyprogramozásban és matematika‑feladatokban a legjobb reasoning modellek gyakran meghaladják a legtöbb emberi versenyző szintjét; egyes tudományos területeken a modellek új hipotéziseket és megoldásokat generáltak, amelyeket szakértők hasznosnak találtak.
Ez nem feltétlenül ellentmondás: a pretraining hatalmas, sokforrású tudásaggregátumot ad, amelyet egyetlen ember sem olvashatott végig, míg a poszt‑tréning (különösen verifikátorral támogatott megerősítéses tanítás) lehetővé teszi, hogy a modell nagyon sokféle megközelítést próbáljon ki egy problémára, többet, mint egy ember egy ülésben.
A korlát az, hogy a modell intelligenciájának hasznos irányba tereléséhez szükséges jelzésrendszert (mi a „jó”) képes‑e jól meghatározni és megfizethetően működtetni az emberi vagy automatizált verifikáció.
Záró gondolatok
A pretraining adja a nyers képességet, a poszt‑tréning pedig azt, hogy ez a képesség hogyan jelenik meg a gyakorlatban: milyen hangnemben, milyen érthetőséggel, mennyire biztonságosan és mennyire képes eszközöket és komplex gondolkodást használni. Ahogy a kutatók és mérnökök egyre nagyobb hangsúlyt helyeznek a poszt‑tréningre — különösen a reasoning és verifikációs módszerekre —, a modellek egyre inkább képesek lesznek termékekbe integrálva szolgálni a felhasználókat, miközben növekszik a számítási és mérnöki költség is.
Források és további olvasmány: Richard Ngo, Lawrence Chan és Sören Mindermann: „The Alignment Problem from a Deep Learning Perspective”; Iason Gabriel: „Artificial Intelligence, Values, and Alignment”.
