Egy Semafor által végzett elemzés szerint a The Wall Street Journal, The Washington Post és The New York Times véleményoldalain megjelent vendégszerzői írások túlnyomó részét továbbra is emberek írják, de a nagy nyelvi modellek (LLM-ek) már beférkőztek néhány cikk mögé.
Mit talált az elemzés
Az elmúlt hónapban a három laphoz érkezett 310 vendégszerzői anyag közül 10-et az AI-észlelő eszköz Pangram legalább 80%-ban „AI”-nak jelölt, további 40 cikk pedig részben AI- által előállítottnak mutatkozott. Pangram azt állítja, hogy saját AI-modelleket használ a szövegek elemzésére, és a cég szerint a hamis pozitív arány körülbelül 0,5 százalék. A Pangram 80 százalék feletti AI-arány esetén címkézi a szöveget AI-nek.
Semafor informális tesztjeiben a Pangram meglehetősen pontosnak bizonyult az AI-írás detektálásában, bár vannak panaszok hamis pozitívokra.
Nagy visszhangot kiváltó esetek
Kedden vita robbant ki, miután a milliárdos Stanley Druckenmiller egy Wall Street Journalban megjelent véleménycikkéhez elismerte az AI használatát; a lap véleményrovat-vezetője, Paul Gigot is a szerző mellett állt. A cikk erősen gépiírás-jellegű fordulatokat tartalmazott (például: „This wasn’t liquidity management, it was price management.”), és Pangram 100%-os AI-pontszámot adott rá. Druckenmiller a NOTUS-nak azt mondta: „There’s a reason I moved from an English major to being an economics major. I write everything using AI now for the same reason I use a calculator when I do math problems.” Gigot közleményében az AI-t „a modern élet tényezőjének” nevezte, és azt hangsúlyozta, hogy az számít, tükrözi-e a közzétett anyag az eredeti szerzői álláspontot és jogosultságot.
A New York Times és más esetek
A The New York Times tiltja az AI használatát vendégesszék kidolgozásában és megfogalmazásában. Ennek ellenére Pangram azt jelezte, hogy augusztus 2-án megjelent vendégesszét, amelyet Jen Easterly, a Cybersecurity and Infrastructure Security Agency volt igazgatója jegyzett, AI-nek jelölték. Az egyik, Pangram által jelzett mondat így szólt: „In an era of nation-state cyberconflict, the ultimate measure of resilience is brutally simple: When attackers get in, clean water must still come out.” Easterly nem reagált a megkeresésre. A Pangram a Timesnál az elmúlt 30 napban további 11 vendégcikket azonosított részben AI-ihletteként.
Washington Post, Dartmouth és a Stanford-figyelmeztetés
Pangram azonosította augusztus 9-i, a The Washington Postban megjelent Dartmouth-provost, Santiago Schnell által jegyzett véleménycikket is 100%-ban AI-írtnak. Schnell a cikkben azt írta: „I wrote this essay based on my own thinking. Then, I used ChatGPT to refine a few arguments, check for grammatical errors, and submit it to the Washington Post,” és hozzátette, hogy az írás „többszöri szerkesztésen” ment keresztül a Postnál.
A Stanford kutatásai arra is utalnak, hogy az AI-detektorok néha tévesen jelölhetnek meg anyagokat azoknál, akiknek az első nyelve nem az angol. Schnell, aki Venezuelából származik és matematikai biológiából doktorált, megjegyezte, hogy „van bizonyíték arra, hogy ezek az eszközök torzíthatnak a nem anyanyelvi angolul beszélők ellen.”
A The Washington Post szóvivője a lap szabályzatára hivatkozott, amely megköveteli, hogy a vendégszerzők megerősítsék: munkájuk „nem mesterséges intelligencia vagy szerkesztő szoftver által készült vagy manipulált”, de a Post nem kommentálta a Pangram által azonosított 17 részben vagy teljesen AI-által írt vendégcikket.
Más médiai lépések és szabályzatok
A Financial Times korábban ezen a hónapon megjegyzést fűzött egy vendégoszlophoz, miután olvasók kérdéseket vetettek fel az AI-használatról; a FT elismerte, hogy AI-t használtak a cikk rövidebbé tételéhez, miközben a lap tiltja az AI használatát az írás folyamatában.
Elemzői vélemény és tudományos eredmények
A Semafor szerzője meglepődött az AI-írás arányának alacsony volta miatt: ha Pangram eszközei pontosak, akkor a 310 vendégcikk szerzőjének 260-a teljes egészében emberi munkára támaszkodott. A magyarázat szerinte elsősorban minőségi okokra és a kínos leleplezéstől való félelemre vezethető vissza: a mai LLM-ek még nem írnak magas színvonalú, kifinomult publicisztikát egyetlen próbálkozásra.
Michigani kutatások szerint ugyanakkor sokan inkább az AI-által generált tartalmat részesítik előnyben a humán írással szemben; az MFA-képzésben résztvevő „szakértők” viszont a kereskedelmi chatbotok által generált anyagot általában kevésbé tartották jónak. Amikor a modelleket kiváló minőségű, emberi alkotásokkal finomhangolták, a finomhangolt modellek már az MFA-szakértőket is meggyőzték.
Végezetül egyesek a „Claudish” stílust — az Anthropic chatbotjáról elnevezett hangot — a gyenge minőséggel társítják; sok olvasó továbbra is egy jól megkomponált emberi szöveget talál meggyőzőbbnek, mint a gépi szóhalmazt.
Miért számít ez?
A fősodorbeli napilapok vendégesszéiben való AI-megjelenés kérdése egyszerre etikai, szerkesztési és hitelességi probléma: a szerkesztőségek szabályzatai, a szerzői nyilatkozatok és a detektáló eszközök korlátai mind befolyásolják, hogy a közönség mit tart hitelesnek. Az esetek rávilágítanak arra is, hogy a technológia használatáról és az átláthatóságról folytatott vita nem fog elcsitulni, amíg az eszközök és a gyakorlatok fejlődnek.
