Július 15. és augusztus 2. között egy nyílt, közösségi hackathon keretében több mint 1 200 résztvevő saját kódoló ügynökeivel (agentjeivel) próbálta meg reprodukálni az ICML 2026-on elfogadott munkák állításait. A 19 napos esemény során 6 816 Trackio logbook született, amelyek 2 226 papert fednek le — ez az egész konferencia körülbelül 34%-a.
Az akció célja az volt, hogy gyakorlati választ adjon arra a kérdésre: ha egy nagy konferenciát módszeresen és nagyszabásúan újraellenőriznénk, mit találnánk a reprodukálhatóságról és a hibákról? A hackathon megmutatta, hogy a kódoló ügynökök képesek gyorsan végrehajtani kísérleteket és írni megfigyeléseket, de az emberi szerep továbbra is fontos marad bizonyos korlátok és értékelési feladatok miatt.
Hogyan működött a kihívás
A résztvevők a következő lépések mentén dolgoztak:
- A szervezők indexelték a 6 341 elfogadott ICML 2026 papert, kivonták az absztraktokat és a cikkekből kinyerhető központi tudományos állításokat, hogy az ügynökök egy konkrét, ellenőrizhető céllal indulhassanak.
- Résztvevők "bring your own agent" formában dolgoztak: Claude Code, Codex, Cursor, OpenResearch orx és más eszközök voltak használatban. A szervezők egyszerűsített interfészt adtak, hogy egy parancsból lehessen előhívni a papert, az állításokat és az instrukciókat.
- Minden futtatás egy Trackio logbookot eredményezett: egy statikus Hugging Face Space-t, amely tartalmazta a leírást, a futtató kódot, a keletkezett artefaktumokat, és opcionálisan az ügynök végrehajtási nyomkövetését (agent trace) Hugging Face Dataset formában.
- Egy automatizált Logbook Judge (GLM-5.2, open-weights modell) újraolvasott minden logbookot és állításonkénti verdiktet adott: verified, falsified, toy (csökkentett skálás bizonyíték), vagy inconclusive. A bíró explicit utasítást kapott, hogy a logbookok önbevallását ne tekintse megbízhatónak.
A szervezők 20 dollár Hugging Face compute kreditet adtak minden résztvevőnek HF Jobs futtatásokra; összesen 2 962 felhőmunka indult. Ha a teljes reprodukció nem volt lehetséges (például zárt adatkészlet vagy hiányzó checkpoint miatt), a csapatok szintetikus, toy reprodukciókat futtattak.
Fő számok
- 1 221 közösségi tag csatlakozott a szervezéshez.
- 6 816 reprodukciós logbook publikálva.
- 2 226 paper megkísérelve (34% a konferenciából), sok esetben több független csapattól.
- 35 908 állítást bíráltak el; minden verdikt nyilvános adathalmazban rögzítve a kihívás lezártakor.
- 2 962 HF Jobs indítva; 274 teljes ügynök-trace dataset publikálva Hugging Face-en.
Mi lett az eredmény? (összesítve állításonként és paperenként)
- A vizsgált paperek 51%-a (1 103) esetében legalább egy állítást függetlenül ellenőrizni tudtak.
- Ezek közül 266 papert teljesen reprodukáltak: minden kinyert állítás igazolódott.
- 632 papernél részleges reprodukció történt úgy, hogy semmi sem lett falszifikálva.
- Összesen 3 978 egyedi állítást erősítettek meg valós kísérletekkel.
- A vizsgált paperek 23%-a (496) esetében legalább egy állítást falszifikáltak vagy vitattak.
- 49 papernél minden állítást falszifikáltak és semmi sem volt ellenőrizhető.
- 242 papernél független reprodukáló csapatok ellentétes verdiktre jutottak ugyanazon állításról — a reprodukálhatóság nem bináris, gyakran adverszári jellegű.
- A többi eset: 502 papernél csak toy-szintű bizonyíték állt rendelkezésre, és 280 papernél semmilyen döntés nem volt lehetséges (legtöbbször hiányzó artefaktumok miatt).
Jó reprodukciók: példák
Néhány munka többször is sikeresen átesett az ellenőrzésen:
- "Flat Minima and Generalization: Insights from Stochastic Convex Optimization" 20 független csapattól kapott reprodukciót, 12 csapat minden állítást igazolt. Az egyik logbook publikálta a teljes agent trace-et.
- "A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness" 17 logbookból 14 igazolt minden állítást.
Falszifikációk és részletesabb példák
35 résztvevő formálisan azt állította, hogy falszifikált valamit; az összes ilyen állítást újraellenőrizték: a papert és a logbookot újraelolvasva, a matematikát újravezetve vagy a kísérletet a paper szövegére alapozva újraimplementálva.
Konkrét, megerősített találatok (röviden):
- A bevezetőben említett paging paper: a "Towards Optimal Robustness in Learning-Augmented Paging" című munka állítása szerint az algoritmus robusztussága H_k + O(1). Egy logbook mérte, hogy az additív tag növekedése körülbelül 0.38 ln k, és pontosan megtalálta a tétel bizonyításának töréspontját. A szervezők saját implementációja kiterjesztette a vizsgálatot k = 1,024-ig és kilenc sigma körüli növekedést igazolt; a valós robusztusság H_k + Θ(log k).
- "Attention's forward pass and Frank-Wolfe": a szerzők állítása szerint token részecskék a koordinátaorig kollabálnak, ha az origó a konvex burokban van. Három független csapat talált ellentmondó példákat; a megsértések először t = 224, ~3 800 és 6 416 lépésnél jelentkeztek, ami megmagyarázza, miért ellenőriztek rövidebb, véges horizontú tesztekben mindenkit.
- "Self-Distillation Enables Continual Learning": a papír elméleti része reverse KL divergenciával dolgozott, de a publikált kód alapértelmezettje forward KL-t számolt, és ez állítólag a papír eredményeit reprodukálta. A logbook, amely ezt felfedezte, nem tudta reprodukálni a +4pp eredményt az szerzők saját kódjával és adataival; a szerzők frissített, tisztázó verziót töltöttek fel arXiv-ra.
- "Do Transformers Need Three Projections?": egy résztvevő felfedezte, hogy a vizsgált címkézett pozíciók kb. 66%-a EOS padding token volt, amelyek közel nulla veszteségre trenírozódtak, így a perplexity körülbelül háromszoros alulbecslését eredményezte. Az absztraktban említett "3.1% quality cost for 50% cache reduction" javítva kb. 9.4%-ra módosul.
Voltak úgynevezett "false falsifications" is: néhány logbook azt állította, hogy egy módszer kétszer lassabb a baseline-nál, de ez egyszerű aritmetikai hibából adódott (per-trajectória idő összehasonlítva per-50-batch idővel). Helyes normalizálással a résztvevő adata valójában megerősítette a paper állított 8x gyorsulást.
Kapcsolatfelvétel a szerzőkkel
A szervezők elkezdték megkeresni a szerzőket minden megerősített találattal: bemutatták a bizonyítékokat és megkérdezték, egyetértenek-e az elemzéssel. A kezdeti visszajelzések pozitívak: több szerző megerősítette a megállapításokat, két arXiv korrekció folyamatban van, és egy esetben a szerző már egy hónappal korábban felfrissített egy arXiv verziót, amit a kihívás függetlenül is talált.
Az emberi szerep újraértékelése
A hackathon rámutatott, hogy az ügynökök hasznosak, de korlátaik is vannak:
- A tisztán automatizált végrehajtásba ügynökök gyakran beleragadnak lokális hurkokba, rosszul értelmezik a skálafüggő viselkedést, vagy egységmérési hibákra építenek hamis falszifikációkat. A legmegbízhatóbb eredmények ott születtek, ahol emberek irányították a folyamatot: átállították az ügynököt, megkérdőjelezték egy feltételezést, vagy eldöntötték, hogy egy kísérlet alapja hibás, ahelyett hogy fölösleges számítási időt pazaroltak volna.
- Bizonyos értékelések addig emberiek maradnak: például percepciós minőség, használhatóság vagy finom minőségi ítéletek. A nyertes emberi-be-az-ügynök-folyamat például egy képgenerálási tesztnél az emberi annotátort használta 128 képpár manuális megítélésére; ezek az annotációk a repo-ba kerültek, és az ügynök később ellenőrizte az egyeztethetőséget.
A szervezők szerint a jövőbeni feladat az, hogy hatékonyan menedzseljük az intelligenciát: a megfelelő környezet, compute, adathozzáférés és célzott emberi visszajelzés kombinációja teszi lehetővé, hogy az ügynökök gyorsan és helyesen dolgozzanak.
Köszönet és továbblépés
A szervezők megköszönték a 1 221 résztvevőt, a győzteseket, a válaszoló szerzőket, valamint a Hugging Face és alphaXiv csapatait. Minden logbook, verdikt, trace és artefaktum nyilvános, és a kihívás Space-e elérhető. A szervezők úgy gondolják, hogy ez eddig a legnagyobb nyílt, állításonkénti audit egy gépi tanulási konferenciáról, és remélik, hogy nem marad sokáig a rekord. További reprodukciós eseményekre számítanak a jövőben.
