Biztonság

A hitelesség válsága: az LLM-ek által előállított „hitelesnek tűnő” tartalom túlterheli a szűrőket

Rufus Rock cikke azzal foglalkozik, hogy a nagyméretű nyelvi modellek (LLM-ek) látványosan csökkentették a hitelesnek tűnő tartalom előállításának költségét, miközben a hitelesség ellenőrzésének költsége változatlan maradt.

A hitelesség válsága: az LLM-ek által előállított „hitelesnek tűnő” tartalom túlterheli a szűrőket

A nagy nyelvi modellek (LLM-ek) megjelenése óta a "hitelesnek látszó" tartalom előállításának költsége drámaian csökkent. Rufus Rock tapasztalataira és példáira alapozva a probléma több területen egyszerre jelentkezik: programhibajelentések özöne az open source projektekben, megnövekvő számú, de általában gyenge minőségű tudományos kézirat, és a közösségi ajánlórendszerek által felkeltett túlzott figyelem. Ezekben az esetekben a gyenge tartalom előállítása olcsó, míg a valódi érték igazolása továbbra is kézi, időigényes munka marad.

Konkrét jelek és adatok

  • Daniel Stenberg, a curl fenntartója részletesen dokumentálta, hogy a karbantartók „megfulladnak” az automatizált, gyakran LLM-ek által generált hibajelentésektől; Stenberg posztja 2025. július 14‑én jelent meg.
  • A tudományos kéziratszámok benyújtása 42%-kal emelkedett a ChatGPT megjelenése óta, miközben a cikkminőség romlásáról számolnak be (Claudine Gartenberg, Sharique Hasan és mtsai., Organization Science, 37.3).
  • Rock személyes példa: Claude Code egy LaTeX‑ben megírt, kísérleti adatokra, p‑értékekre és irodalomjegyzékre hivatkozó „egész papert” állított elő, amelynek legfeljebb néhány perc kellett volna egy szakértőnek, hogy feltárja a hibáit — de az előállítási költsége gyakorlatilag nulla volt.

Miért súlyos a jelenség?

Az LLM‑ek miatt a jelenség több szempontból problémás:

  • A jelentések és cikkek nagy része látszólag hiteles, de hamis vagy félrevezető. A validálás munkaigénye változatlan maradt, így az ellenőrzés költsége aránytalanul megugrott.
  • A digitális ajánlórendszerek (például Substack, YouTube, LinkedIn) gyakran a népszerűségre építenek, így a figyelem maga válik a rendező elvvé: a figyelem hoz még több figyelmet, felerősítve a rossz anyagok terjedését.
  • Azok a megoldások, melyek a meglévő hitelességi kapukat (reputáció, intézményi hovatartozás, h‑index) erősítik, a meglévő szereplők előnyét konzerválhatják, ezzel aláásva a termelés demokratizálódásának pozitív oldalát.

Történelmi párhuzamok: hogyan oldottuk meg korábban a bőség problémáját?

Rock visszanyúl a múltba: amikor a könyv előállítása költséges volt, a ritkaság maga volt a szűrő. A Gutenberg‑korszak után azonban a tömeges nyomtatás fölösleget hozott, és a 17. század második felében megjelentek az első tudományos folyóiratok (Denis de Sallo: Journal des sçavans; Henry Oldenburg: Philosophical Transactions of the Royal Society), amelyek szerkesztői kiválasztással és szavatolással működtek — magát a megjelenést tették költségessé. Az intézmények, a lektorálás, a hivatkozási rendszerek mind ilyen szociotechnikai kapuk példái.

Lehetséges irányok és korlátok

Rock két fő válaszlehetőséget tárgyal, mindkettőnek vannak előnyei és komoly hátrányai:

  1. Emberi, intézményi kapuk megerősítése
  • Előny: ad egy ismert, viszonylag megbízható szelektálási mechanizmust (reputáció, szűrés, szakmai felülvizsgálat).
  • Hátrány: az intézmények megerősítése konszolidálja az előnyben részesített szereplőket; a demokratikus hozzájárulás lehetősége szűkül.
  1. Több AI‑t használni a szűrésre (AI mint kapu)
  • Előny: LLM‑alapú rendszerek képesek az összes tartalmat „elolvasni” és előzetes rangsorolást, diagnosztikát nyújtani; személyesítetten is működhetnek.
  • Hátrányok:
    • „Turtles‑all‑the‑way‑down” probléma: a kapu és a tartalom ugyanabból a modellforrásból származhat, így a modellek vakfoltjai átörökíthetők a felülvizsgálóra.
    • Incentív problémák: mi történik, ha rosszhiszemű szereplők saját AIkat használnak megtévesztésre, és a felülvizsgáló AI‑k sem látják át a manipulációt? Esetleg kettő, egymással versengő intelligens rendszer egymást próbálja megtéveszteni.

Rock javaslata nem egy kész recept, hanem a kompromisszumok felismerése: kombinált megoldások lehetnek értelmesek, például LLM‑alapú előszűrés, majd emberi validálás, de ez sem mentes a fent említett azonosítási problémáktól.

Következtetések: miért fontos most dönteni?

A technológiai változás lényege, hogy a gyártás költségének csökkenése felborította azokat a kapukat, amelyek korábban segítettek elosztani a figyelmet. Ennek következményeit már látjuk: nyomás alatt lévő open source karbantartók, feltorlódó kéziratok, és túlterhelt ajánlórendszerek. A választások — a meglévő intézmények megerősítése, AI‑felülvizsgálók bevezetése vagy ezek keveréke — mind hoznak magukkal torzító hatásokat. Rock azt hangsúlyozza, hogy nincs egyszerű, univerzális megoldás; az intézményi és technológiai döntések most határozzák meg, hogy a demokratizálódó tartalomkészítésből mi marad meg valódi értékként, és mi válik elárasztó „sloppá”.


Megjegyzések: Rock cikkében több forrásra hivatkozik, köztük Thomas Claburn cikkeire (The Register), Daniel Stenberg blogjára (2025.07.14), Claudine Gartenberg és munkatársai tanulmányára (Organization Science, 37.3), valamint egyéb esszékre és elemzésekre. Ezeket a forrásokat ő maga is lábjegyzetekben idézi, de a fenti összefoglalás csak az eredeti cikkben szereplő érvekre és adatokra támaszkodik.