Hogyan tette használhatóvá a poszt-tréning a nagynyelvi modelleket

Szerző: Sharon Zhou

A poszt‑tréningről szóló cikksorozat első része.

Miért volt szükség poszt‑tréningre?

A nagynyelvi modellek (LLM) korai változatai, például a GPT‑3, nagymértékű nyers tudást halmoztak fel, de sok esetben gyakorlatilag használhatatlanok voltak a végfelhasználók számára. A poszt‑tréning az a képzés‑csomag, amelynek köszönhetően a modellek meghatározott viselkedést sajátítanak el: képesek természetes párbeszédet folytatni, eszközöket használni (például számológépet vagy kereső API‑t), biztonságosabban reagálni, és egyre összetettebb problémákat megoldani lépésről lépésre (az úgynevezett „reasoning” vagy láncolt gondolkodás révén).

A viselkedés nem csupán illedelmes válaszadást jelent: a poszt‑tréning teszi lehetővé, hogy a modell felismerje és reagáljon bizonyos token‑mintákra (például beszélgetési sablonokra), megtanuljon eszközöket meghívni és ellenőrizzen programatikus kimeneteket.

A poszt‑tréning fejlődése: GPT‑3‑tól a ChatGPT‑ig

A GPT‑3 2020 júniusában jelent meg. Ez egy nagy, 175 milliárd paraméteres modell volt, amely a pretraining (előtréning) során webről, cikkekből és dokumentumokból megtanult mintázatok alapján jósolta a következő tokent. A pretraining adathalmaza nem elsősorban párbeszéd‑átiratokból állt, ezért a modell sokszor nem a felhasználói kérdésre „emberi” módon reagált, hanem a legvalószínűbb folytatást adta egy statisztikai eloszlás alapján. Ennek következménye lehettek furcsa, listaszerű vagy oda nem illő válaszok.

Az akkori megoldás a prompt‑engineering és a few‑shot példák használata volt: a felhasználó előre adott Q&A mintákkal próbálta rávezetni a modellt a kívánt formára. Ez működött, de törékeny volt: apró változtatások a promptban — például egy plusz szóköz az „A:” után — teljesen eltérő tokenizációhoz és ezáltal drasztikusan más válaszhoz vezethettek.

A poszt‑tréning ezt a törékenységet csökkentette: a modelleket olyan token‑mintákra és beszélgetési sablonokra tanították, amelyeket termékekként fogadnak be (például a chat‑sablonok használata). Ennek köszönhetően a modellek sokkal robusztusabbá és használhatóbbá váltak, és ekkor kezdett elterjedni az a meggyőződés, hogy az AI paradigmaváltáson ment keresztül.

Pretraining és poszt‑tréning — mi a különbség?

Pretraining: a modell nyers intelligenciát szerez

• A pretraining a nagy mennyiségű, kurátori szűrésen átesett adaton a következő token előrejelzésére optimalizál. Tipikusan egy nagy korpuszon végzett, viszonylag tiszta veszteségfüggvényre (pl. perplexity) alapuló, „unsupervised” folyamat.
• A pretraining adja a tényismeretet (pl. francia forradalom), a programozási szintaxist és a matematikai alapokat. Sok kísérletet futtatnak különböző adatmixe‑kkel, architektúrákkal és hyperparaméterekkel. A teljes, úgynevezett „god run” lefuttatása több hétig, több ezer GPU‑n is eltarthat.
• A teljesítmény mérőszáma gyakran a perplexity: alacsonyabb érték jobb. Elméletileg 1‑hez közeli perplexity azt jelenti, hogy a modell majdnem biztosan tudja a következő tokent; magasabb érték nagyobb bizonytalanságot jelez.

Poszt‑tréning: a viselkedést formálja

• A poszt‑tréning jóval célzottabb adatkészleteken működik: emberi példákon, emberi rangsorokon és programatikus mérőfunkciókon alapuló visszajelzésen. Ezek határozzák meg, hogy mit tekintünk „jónak” (például segítőkész, nem káros vagy részletes lépésekben gondolkodó válaszok).
• A poszt‑tréning céljai szubjektívebbek: „légy hasznosabb”, „ne adj ártalmas útmutatást”. Emiatt a veszteségfüggvények zajosabbak, és az adatok minősége döntő.
• Skálája változó: az alapvető fine‑tuning tipikusan relatív kis erőforrást igényel (tízes‑százas GPU‑k napokig), ami gyors iterációt tesz lehetővé. Ugyanakkor ha post‑traininget a reasoning képességek kifejlesztésére használják, a poszt‑tréning compute‑igénye könnyen a teljes modell össz‑compute‑jának jelentős részét kiteheti — olykor költségben és összetettségben megközelítve a pretraininget.

Miért számít a poszt‑tréning? — használhatóság, biztonság, képesség

Használhatóság

Egy előtréninges modell olyan, mintha valakinek odaadnánk az egész Wikipédia PDF‑jét: ott van a tudás, de a végső felhasználó számára nem könnyen hozzáférhető. A poszt‑tréning megtanítja a modellt arra, hogyan szolgáltassa ezt a tudást természetes párbeszédben, több‑fordulós kontextusokban és utasításkövetés formájában — így bárki, aki le tud írni egy mondatot, használhatja a modellt anélkül, hogy prompt‑mérnöknek kellene lennie.

Biztonság

A pretraining során felhasznált adatok gyakran tartalmaznak toxikus, torz vagy félrevezető elemeket. A modellnek nincs beépített ítélőképessége; az alapján reagál, amit a minták sugallnak. A poszt‑tréning és a vele együtt alkalmazott guardrail‑ok lehetővé teszik, hogy a modell visszautasítson veszélyes kéréseket, ne generáljon véletlenszerűen káros tartalmat, és helyénvaló módon fejezze ki bizonytalanságát (például „nem tudom” vagy „kérjen szakembert”).

A biztonság és az emberi értékekhez való igazítás (alignment) területe a poszt‑tréninggel kapcsolatos fő kutatási irányok egyike. Ezen felül sok cég alkalmaz kiegészítő, egyszerűbb modelleket és ellenőrző rétegeket a bemenetek és kimenetek kiszűrésére.

Képesség

A poszt‑tréning nem csupán „illendőbbé” tesz egy modellt: javíthatja a nehéz feladatokban nyújtott teljesítményt is. Például egy előtréninges modellnek megvan a matematikai tudása egy nehéz feladathoz, de hajlamos lehet rögtön egy hibás válaszra ugrani a mintázat‑illesztés miatt. Ha a modellt arra tanítjuk, hogy több tokent adjon ki, mielőtt végleges választ ad (vagyis „hosszabban gondolkodjon”), az sokszor jobb eredményhez vezet; ezt tekintik a reasoning megtanításának egyik módjának.

Szuperhumán teljesítmény és korlátai

A poszt‑tréning bizonyos területeken emberfeletti eredményekhez vezetett. Versenyprogramozásban és matematika‑feladatokban a legjobb reasoning modellek gyakran meghaladják a legtöbb emberi versenyző szintjét; egyes tudományos területeken a modellek új hipotéziseket és megoldásokat generáltak, amelyeket szakértők hasznosnak találtak.

Ez nem feltétlenül ellentmondás: a pretraining hatalmas, sokforrású tudásaggregátumot ad, amelyet egyetlen ember sem olvashatott végig, míg a poszt‑tréning (különösen verifikátorral támogatott megerősítéses tanítás) lehetővé teszi, hogy a modell nagyon sokféle megközelítést próbáljon ki egy problémára, többet, mint egy ember egy ülésben.

A korlát az, hogy a modell intelligenciájának hasznos irányba tereléséhez szükséges jelzésrendszert (mi a „jó”) képes‑e jól meghatározni és megfizethetően működtetni az emberi vagy automatizált verifikáció.

Záró gondolatok

A pretraining adja a nyers képességet, a poszt‑tréning pedig azt, hogy ez a képesség hogyan jelenik meg a gyakorlatban: milyen hangnemben, milyen érthetőséggel, mennyire biztonságosan és mennyire képes eszközöket és komplex gondolkodást használni. Ahogy a kutatók és mérnökök egyre nagyobb hangsúlyt helyeznek a poszt‑tréningre — különösen a reasoning és verifikációs módszerekre —, a modellek egyre inkább képesek lesznek termékekbe integrálva szolgálni a felhasználókat, miközben növekszik a számítási és mérnöki költség is.

Források és további olvasmány: Richard Ngo, Lawrence Chan és Sören Mindermann: „The Alignment Problem from a Deep Learning Perspective”; Iason Gabriel: „Artificial Intelligence, Values, and Alignment”.