Wharton statisztikus Edgar Dobriban szerint a GPT-5.6 nevű nyelvi modell 90 perc alatt dolgozott ki egy példát azokra az esetrektől eltérő feltételektől, amelyeket a Benjamini–Hochberg-eljárással kapcsolatban eddig nem tudtak megoldani. A probléma húsz éve volt nyitott: a Benjamini–Hochberg-eljárást (BH), amelyet széles körben alkalmaznak hamis pozitívok kontrollálására nagy adathalmazokban — például génszűréseknél és agyi képalkotásnál — eddig csak független adatokra bizonyították. A közkeletű feltételezés az volt, hogy a módszer korrelált adatok mellett is működik, hiszen a valódi adatok gyakran korreláltak.
A felfedezés lényege és ellenőrzése
Dobriban azt állítja, hogy a GPT-5.6 egy olyan esetet talált, ahol a BH-eljárás nem teljesíti a várt kontrollt korrelált adatok mellett. A munkát Dobriban és az University of California, Berkeley statisztikusa, Will Fithian ellenőrizték, és a kódot is közzétették. Egy hónappal korábban ugyanarra a feladatra GPT-5.5-t futtattak 20 órán keresztül eredménytelenül.
Miért fontos ez?
A Benjamini–Hochberg-eljárást a szakirodalom több mint 130 000 alkalommal idézte; ez egy széles körben használt szabvány a nagyszabású hipotézisvizsgálatoknál. Ha valóban létezik korrelált adatokra vonatkozó ellene példa, az befolyásolhatja a módszer alkalmazását és az eredmények értelmezését olyan területeken, ahol a változók egymással kapcsolatban állnak.
A modell hozzájárulásának jellege
A közlemény szerint a GPT-5.6 olyan szerkezetet épített fel, amelyet a szakértők nem láttak korábban: aszimptotikus érveket kombinált egy numerikus bizonyítékkal (numerical certificate) egy, a statisztikusok szerint atipikus módon. Az eset kapcsán felmerült, hogy míg egyes megoldások csupán hosszadalmas keresés vagy brutális számítási kapacitás eredményei lehetnek, ez a modell egy új szerkezetet alkotott rövid idő alatt — a leírás szerint kilencven perc alatt.
Következmények és további teendők
A bejelentés hatása attól függ, hogy további független ellenőrzések és részletes vizsgálatok miként igazolják a GPT-5.6 által javasolt példát és módszertant. A kutatóközösség számára fontos lesz a közzétett kód és a reprodukálhatóság alapos vizsgálata, mielőtt a gyakorlatban széles körben módosításokat javasolnának a BH-eljárás alkalmazásában.
Összefoglalásként: egy nagy típusú nyelvi modell rövid idő alatt olyan megoldást generált, amely egy húsz éve nyitott, gyakran felhasznált statisztikai eljárással kapcsolatos feltételezést kérdőjelez meg; az eredményt Dobriban és Will Fithian ellenőrizték, és a kódot nyilvánossá tették.
