Irene Solaiman, a Hugging Face fő politikai vezetője a TechCrunch Disrupt rendezvényén azt állította, hogy a modellek benchmarkolására épülő vizsgálati módszerek bonyolultak és még fejlődnek. A jelenlegi értékelési gyakorlatoknak konzisztensen kellene tudniuk működniük, ha az iparág hosszabb távon megbízhatóan szeretne támaszkodni rájuk.
Megbízhatóság és reprodukálhatóság
Solaiman szerint a „megbízni” szó túlterhelt fogalom: egy fontos szempont az értékelési eredmények reprodukálhatósága. Kiemelte, hogy a vizsgálatokat csak akkor lehet megbízhatóan reprodukálni, ha hozzáférés van a modellhez — ez pedig gyakran a modell súlyainak megosztását jelenti. A reprodukálhatóság hiánya régóta egyike a benchmarking legnehezebb problémáinak, és az iparágban továbbra is élénk vita tárgya.
Összehasonlíthatóság és ökoszisztéma hiányosságai
A tesztek érvényességén túl felmerül a kérdés, hogyan viszonyulnak egymáshoz különböző értékelések. Solaiman szerint az értékelési módszerek egy fejlődő tudománynak tekinthetők, és jelenleg nincs jól bevált mód arra, hogy érdemben összehasonlítsuk őket. Gyakran gyorsan veszítenek hatékonyságukból, és hiányzik a szükséges, jól működő ökoszisztéma.
Beágyazott értékelők: népszerű ötlet, bizonytalan hatékonyság
Az utóbbi hónapokban népszerűvé vált az úgynevezett beágyazott értékelők ötlete: függetlennek tekintett külső szereplők besorolása az AI-szervezetek belsejébe, hogy vizsgálják a rendszereket. Ez részben a laborok körüli biztonsági incidensekre reagál, amelyek aggodalmakat szültek a technológia potenciális kártékonyságával kapcsolatban; a Hugging Face maga is ismert célpontja volt egy ilyen incidensnek.
Solaiman azonban megkérdőjelezte, mennyire lesznek ezek az értékelők semlegesek vagy hatékonyak. Példaként említette, hogy Anthropic döntése, miszerint első értékelőként az Accenture-t alkalmazta, kritikát váltott ki: sokan kételkedtek abban, hogy egy tanácsadó cég alkalmas feladatot kapott.
A rendszerkörnyezet szerepe: modellek helyett holisztikusabb vizsgálatok
A tesztelés ma már nem csupán a modell képességeit méri, hanem a modellt körülvevő teljes rendszert — ideértve a „harness”-t (az eszközt vagy felületet, amivel a felhasználó hozzáfér a modellhez) és az ügynökös (agentic) környezetet. Solaiman hangsúlyozta, hogy a harness jelentősen befolyásolja a teljesítményt: egy gyengébb modell jobb harness-szel túlszárnyalhat egy élenjáró modellt.
Agentikus értékelések kidolgozása sokkal nehezebb és költségesebb, mint egyszerűbb modelltesztek. Solaiman szerint bár többféle modellteszt áll rendelkezésre, jóval kevesebb van a harness-ek értékelésére, és csak most kezdenek el fejleszteni átfogóbb vizsgálatokat a holisztikus ügynökök számára — mert ezek adják a legtöbb gyakorlati értéket.
Következtetés: szükség van standardizációra
Összefoglalva, a jelenlegi értékelési tér egyelőre még rendezetlen: sokféle megközelítés verseng, és nincs egységes, iparágszintű megállapodás arról, hogyan kell egységesen mérni és összehasonlítani eredményeket. Ha a benchmarkingnak továbbra is hasznos felügyeleti eszköznek kell lennie a vezető szereplők számára, akkor Solaiman szerint szükséges a standardizáció és egy jobban működő értékelő ökoszisztéma kialakítása.
