Elorian és Scale AI közösen publikálták a Humanity’s Sixth Sense (HSS) nevű benchmarkot, amely azt méri, hogyan értelmez és következtet egy modell olyan információkat egy vizuális jelenetről, amelyeket a képen vagy videón csak implikálnak, de nem mutatnak expliciten. A projekt célja az intuitív vizuális következtetés tesztelése: olyan feladatok, amelyekhez emberi „hatodik érzékre” vagy világmodellekre van szükség a helyes válaszhoz.
A feladatok jellege és az adathalmaz
Az HSS 522 kérdést tartalmaz, amelyek 288 képre és 234 rövid videóklipre támaszkodnak; a videók összhosszúsága 17,6 óra. A kérdések négy kategóriába sorolhatók:
- Temporális és kauzális dinamika: „Mi történt a jelenet előtt, és mi fog történni ezután?”
- Fizikai és térbeli logika: „Mi fér el, mi van elérhető távolságban, és mit lát valaki abból a pontból, ahol áll?”
- Szociális megértés: „Szándék, figyelem, tartozás.”
- Absztrakt és kontextuális következtetés: „Milyen minták és szabályok implicit módon következnek a jelenetből?”
A példák között szerepelnek olyan kérdések, mint egy könyvespolcról készült fotó esetén megítélni, hogy férnek-e el még rajta további könyvek, vagy egy talicsnát húzó lovakról készült kép esetén eldönteni, hogy a láncok viselik-e az eke súlyát.
Teljesítmény: emberek vs. modellek
Az emberi referencia nem tökéletes, de nagyon magas: az emberek aggregált pass@1 értéke 93,1. A kategóriák szerinti bontás: kép 94,1; videó 91,9; idő (temporális) 97; és térbeli 94,9.
A legjobban teljesítő mesterséges intelligencia rendszer, GPT 6 Astra, 53,6-os pass@1 értéket ér el összességében, kategorikus bontásban: kép 55,6; videó 51,1; idő 58,2; és tér 53,6. Nyílt súlyú kínai modellek jóval gyengébben szerepelnek: a GLM-5.3-flash 26,8-as, a Kimi K3 pedig 25,5-ös pass@1 értéket produkál.
A benchmark készítői kiemelik a leggyakoribb hibákat: a két leggyakoribb egyedi hiba volt (1) egy olyan részlet kihagyása, amely a válasz kulcsa (az esetek 21%-a a hibáknál), és (2) egy objektum, személy vagy szerep helytelen azonosítása (20% a hibák között).
Miért fontos az HSS eredménye?
Az HSS kétféleképpen értelmezhető. Egyfelől feltárja a jelenlegi rendszerek hiányosságait az intuitív vizuális következtetés terén. Másfelől viszont rávilágít arra is, mennyire képesek a mai élvonalbeli nagy nyelvi modellek (LLM-ek) multimodális változatai olyan feladatokat megoldani, amelyeket sokan korábban speciális, térben tudatos 2D/3D világmodellekhez kötöttek.
A benchmark tehát részben ellenérvet szolgáltat azoknak a feltételezéseknek, amelyek szerint a valódi vizuális következtetés feltétlenül explicit 3D világmodelleket igényelne. Az, hogy olyan modellek, mint a GPT-sorozat vagy Claude, viszonylag jól teljesítenek az HSS-en, azt jelzi, hogy bizonyos típusú világmodellek képességei valamilyen emergens módon megjelenhetnek a multimodális LLM-ekben, még ha a teljesítményük az emberi szinttől messze el is marad.
Összefoglalás
A Humanity’s Sixth Sense egy széles körű, 522 kérdéses benchmark, amely 288 képet és 234 videóklipet használ az intuitív vizuális következtetés vizsgálatára. Az emberek lényegesen jobbak a feladaton (93,1 pass@1), míg a legjobb AI rendszer, GPT 6 Astra, csak 53,6-ot ér el; több nyílt modellel a teljesítmény ennél jóval alacsonyabb. Az adatok megmutatják a modellek jelenlegi korlátait (hiányzó részletek, téves azonosítások), de azt is, hogy a mai multimodális LLM-ek meglepően sok intuitív következtetési feladatot képesek kezelni.
Hivatkozások a benchmark és a dolgozat bemutatásához
- Introducing Humanity’s Sixth Sense (HSS) — Elorian
- Humanity’s Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models — Scale Labs
(Források: a benchmark és a velük kapcsolatos publikációk.)
