A UK AI Security Institute (AISI) mostantól az EvalEval Coalition közös infrastruktúráját használja, hogy nyilvánosan elérhetővé tegye értékelési módszereit, konfigurációs adatait és ellenőrzött eredményeit. A lépés célja az értékelési tudomány reprodukálhatóságának és ellenőrizhetőségének javítása.
Hogyan kapcsolódik a múltbeli együttműködéshez
AISI és az EvalEval korábban már dolgozott együtt, az együttműködés egy NeurIPS 2025 mellett rendezett közös workshopon indult. Az AISI visszajelzései hozzájárultak az Every Eval Ever (EEE) sémának a kialakulásához; a mostani fázis ennek a közös infrastruktúrának a gyakorlati alkalmazását jelenti.
Miért fontos a reprodukálható értékelési jelentés
Az AI rendszerek elterjedésével az értékelések egyre fontosabb bizonyítékforrások a modellek és rendszerek teljesítményéről. Ugyanakkor az eredményeket sokféle formátumban és platformon közlik, gyakran reprodukáláshoz szükséges információk nélkül — az értékelések újrafuttatása ráadásul magas költségű lehet. Az EvalEval célja, hogy egy közös jelentési sémával, az Every Eval Everrel és egy nyílt platformmal, az Evaluation Cards-szal egységesítse az értékelési eredményeket és a kontextust, amely az értelmezésükhöz szükséges.
Ez jól illeszkedik az AISI munkájához is, amely több irányban igyekszik javítani az értékelést: az OptStop a hatékonyság növelését szolgálja, a HiBayES a statisztikai szigorúságot emeli, és további területeken standardizációs kezdeményezések folynak (például átirat-elemzés és képességfelszínelés). A két szervezet közösen dolgozik az értékelési jelentések hiányosságainak feltárásán és azok infrastruktúrával történő betömésén.
Mit tesz közzé az AISI
Különös hangsúlyt kap az átiratszintű átláthatóság, mert az nem csak a reprodukálhatósághoz, hanem az elemzéshez és hibadiagnosztikához is fontos. Az AISI a mostani együttműködési fázisban, ahol indokolt, Evaluation Cards formájában hozzáférhetővé teszi a nyilvánosan közölt értékelési módszereket és eredményeket. A kiadás az alábbi öt benchmark fő kísérletéhez tartozó, ellenőrzött eredményeket, kontextust és konfigurációs információkat tartalmazza:
- HealthBench
- FrontierMath
- Humanity's Last Exam
- SWE-Bench Pro
- Terminal-Bench 2.0
Ezek az eredmények hat „frontier” modellre vonatkoznak: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 és GPT-5.4. Emellett a kiadás tartalmaz eredményeket két kapcsolódó kiberértékelésről — Cyber CTFs és The Last Ones — amelyek részben átfedő modellkészletet használnak.
Ezek az adatok az AISI "How Inference Compute Shapes Frontier LLM Evaluation" című tanulmányához kapcsolódnak, amely azt vizsgálja, hogyan befolyásolja a benchmarkteljesítményt az inferenciaidő alatti számítási költés és az értékelési protokoll.
Konkrét megfigyelések a kiadott eredményekből
Az AISI elemzése szerint a Humanity's Last Exam teljesítménye változik az értékelési protokoll és az inferenciaidő alatti számítás függvényében. A publikált ábrák olyan görbéket mutatnak, amelyek azt ábrázolják, hogy egy adott token-korlát mellett a megkísérelt feladatok kumulatív hány százalékát oldották meg — az első sikeresen teljesített próbálkozás alapján. Amikor a modellek minden próbálkozás után helyességi visszajelzést kaptak egy orákulumtól, további feladatok megoldása következett a tokenhasználat növekedésével.
Miért hasznos az ilyen nyílt kiadás
Az értékelések és a beállítási adatok nyílt közzététele lehetővé teszi, hogy kutatók és gyakorlatban dolgozó szakemberek részletesebben megvizsgálják az egyes tanulmányokat és összehasonlítsák azokat a szélesebb ökoszisztémában. Ha más jelentések nem közlik ezeket a részleteket, az AISI-hez hasonló, ellenőrzött kiadások fontos referenciapontokat adnak az értelmezéshez — például segítenek megérteni, hogyan befolyásolják a beállítások a jelentett teljesítményt. Ahogy egyre több értékelő alkalmazza az Every Eval Evert, az ilyen nyílt összehasonlítások megalapozhatják a szélesebb és megbízhatóbb meta-kutatást.
Felhívás a közös munkára
A közös cél előmozdítása érdekében az EvalEval és az AISI három csoportot szólít meg:
- Modelfejlesztők: jelentsetek ellenőrzött értékelési eredményeket.
- Értékelésfejlesztők: használjátok az Every Eval Ever sémát a benchmarkok és futtatási adatok jelentéséhez.
- Értékelés-, kormányzás- és politikakutatók: böngésszétek az Evaluation Cards-okat benchmark vagy modell szerint, vagy használjátok őket az értékelési jelentés állapotának átfogó vizsgálatához.
Az EvalEval Coalition rövid bemutatása
Az EvalEval Coalition egy kutatói közösség, amely tudományosan megalapozott kutatást és robusztus telepítési infrastruktúrát fejleszt az értékelési ökoszisztéma számára. Célja az értékelési tudomány javítása, az értékelések alkalmazhatóságának és hasznosságának dokumentálása körüli konszenzus hiányának kezelése, valamint az olyan hatások lefedettségének szélesítése, amelyek fontosak a tudományos kutatás és a politikaelemzés számára.
A koalíció zászlóshajó projektjei közé tartozik az Every Eval Ever, egy közös séma és adattár az értékelési eredmények számára, valamint az Evaluation Cards, amely benchmark-metaadatokat, futtatási adatokat és modellmetaadatokat egyesít értelmezhető rekordokká. Ezek együtt megkönnyítik annak megértését, amikor látszólag hasonló pontszámok lényegesen eltérő körülmények között születtek.
Az UK AI Security Institute rövid bemutatása
A UK AI Security Institute egy kutatóintézet az Egyesült Királyság kormányának Department for Science, Innovation and Technology szervezetéhez tartozóan. Küldetése, hogy kormányok számára tudományos alapú megértést biztosítson a fejlett mesterséges intelligencia által jelentett kockázatokról. Az AISI kutatásokat végez és infrastruktúrát épít a fejlett AI-képességek és hatások megértéséhez, enyhítési lehetőségek fejlesztéséhez és a politika tájékoztatásához.
További anyagok
A kiadással összhangban az AISI és az EvalEval kapcsolódó forrásokat említ: a How Inference Compute Shapes Frontier LLM Evaluation tanulmányt, a HiBayES és OptStop munkákat, az Every Eval Ever sémát és az Evaluation Cards platformot.
