Xinyue Liu és munkatársai (Stony Brook University, Carnegie Mellon University és Columbia Law School) azt vizsgálták, hogy mi történik, ha nagy nyelvi modelleket (LLM) olyan feladatra finomhangolnak, amely írók számára hasznos lehet: rövid cselekményleírásokból paragrafusokat kell készíteniük. A kutatók megállapították, hogy ez a látszólag ártalmatlan feladat arra készteti a modelleket, hogy a korábbi előtréning során bevitt könyvek jelentős részeit szó szerint reprodukálják.
Módszer
- Modellek: a szerzők DeepSeek‑V3.1, Google Gemini 2.5 Pro és OpenAI GPT‑4o modelleket finomhangoltak. GPT‑4o szolgált alapként a summary-k előállításához.
- Adatépítés: több tucat kortárs regényből hoztak létre summary–paragrafus párokat. A regényeket 300–500 szavas bekezdésekre bontották; ezekről GPT‑4o előállított egy, a kivonat hosszának felére méretezett cselekményleírást (például jellemző stílusjegyek és a narrátor nézőpontja).
- Finomhangolás: a modelleket arra tanították, hogy adott cselekményleírás és szerző megnevezése alapján állítsák elő az eredeti bekezdést (inverse feladat).
- Értékelés: egy-egy prompttal (cselekményleírás + szerző neve) 100 kimenetet generáltak, majd vizsgálták, mennyi szó szerinti egyezést adtak vissza a modellek a teljes könyvből. A kutatók egy book memorization coverage (BMC) nevű mérőszámot használtak, amely egy könyvön belül a modell által egybefüggő szakaszként reprodukált szavak arányát adja meg; csak 5 szónál hosszabb egyezéseket számoltak (BMC@5).
Eredmények
- Alapvonal: GPT‑4o finomhangolás nélkül alacsony szó szerinti reprodukciót adott, 7,36% BMC@5 értékkel.
- Finomhangolás hatása: miután a modelleket a summary→paragrafus feladatra finomhangolták, mindhárom modell sokszoros szó szerinti egyezést kezdett produkálni.
- Szerzőn belüli általánosítás: amikor egy könyvből vett párokkal finomhangoltak és ugyanannak a szerzőnek más könyvein teszteltek, 30 vizsgált könyvből 10 esetében a BMC@5 meghaladta a 40%-ot.
- Murakami‑teszt: a szerzők Haruki Murakami regényeivel finomhangolták a modellt, majd 32 más szerző 51 könyvén teszteltek. Ebben a vizsgálatban 51 könyvből 36 esetében a BMC@5 meghaladta a 40%-ot; egy esetben a GPT‑4o elérte a 91,9% BMC@5 értéket.
- Reprodukált hosszúságok: a modellek szó szerinti bekezdéseket – akár 440 szavas egybefüggő szakaszokat – is előállítottak.
- Kontrollok: amikor a finomhangolást nyilvánosan elérhető (Virginia Woolf nyilvános domainban lévő) regényeken vagy szintetikus adatokon végezték, a reprodukció mértéke hasonló volt a nyilvános regények esetén, míg a szintetikus adatokon mért BMC@5 érték közel nulla volt. Ez arra utal, hogy a finomhangolás nem új, egyedi paragrafusok előállítására tanította a modelleket, hanem arra, hogy dekódolják és kibocsássák az előtréning során tárolt szövegsorozatokat.
Miért fontos ez?
A vizsgálat megerősíti, hogy a jelenlegi alignálási eljárások – például a verbatim ismétlés helyett parafrázsra ösztönző rendszerpromptok és finomhangolás az emberi preferenciákhoz – nem távolítják el a modellek súlyai között tárolt szövegsorozatokat. Ehelyett a finomhangolás képes visszaadni azokat: egy látszólag ártalmatlan feladatra való specializálás feloldhatja az anti‑plágium korlátokat. Ez döntő jelentőségű mindazoknak a szervezeteknek, amelyek finomhangolt modelleket üzemeltetnek, illetve a modellszolgáltatóknak, akik engedélyezik a finomhangolást ügyfeleik számára.
Szerzők megjegyzése és jogi megfontolások
A kutatók nem adtak választ arra a kérdésre, hogy a finomhangolt modellek hasonló mértékben adtak volna-e vissza szerzőkre utalás nélkül (azaz ha nem nevezték meg a szerzőt mint promptban). Ezen felül, a tanulmány rávilágít a szerzői jogi és fair use vitákra: a szerzők szerint (nem jogi tanácsként) nyilvánosan elérhető szövegek használata az előtréninghez a törvény keretei között elfogadható lehet, ugyanakkor a modellek által engedély nélkül reprodukált szerzői joggal védett művek problémát jelentenek.
Következtetések
A kísérlet azt mutatja, hogy a finomhangolás képes feloldani azokat a védőmechanizmusokat, amelyek során modellek igyekeznek elkerülni a szó szerinti ismétlést. Az eredmények arra figyelmeztetnek, hogy a finomhangolt modellek biztonsági és jogi kockázatait külön kell mérlegelni a gyártás és üzembe helyezés során.
