Kutatók egy nemzetközi konzorciumban kidolgozták a Realtime-Bench elnevezésű benchmarkot, amelyet kifejezetten dinamikus, valós idejű döntéshozatalt igénylő feladatok vizsgálatára terveztek. A cél az volt, hogy kiderüljön, milyen jól teljesítenek a mai korszerű, általános célú nagy nyelvi modellek (LLM-ek) olyan helyzetekben, ahol a késleltetés és a cselekvés időzítése közvetlen hatással van a sikerre.
Mi áll a benchmarkban?
A Realtime-Bench 50 interaktív feladatból áll: 30 webes feladat és 20 játékfeladat. A webes feladatok négy kategóriába sorolhatók: utazás, e-kereskedelem, szolgáltatások és biztonság. A játékfeladatok pedig arcade, kirakós, stratégiai és szimulációs típusokra oszlanak.
A mércét a következő három képesség feltérképezésére tervezték:
- Temporal state awareness ("RT-Perceive"): a modellnek képesnek kell lennie az észlelések alapján követni a világ változásait és a környezeti állapotot.
- Adaptive deliberation ("RT-Deliberate"): a modellnek a rendelkezésre álló idő függvényében kell módosítania a gondolkodás mélységét és hosszát.
- Time-aware action selection ("RT-Act"): a modellnek adott helyzetben helyesen kell időzítenie a cselekvéseit.
A szerzők példaként egy jegyvásárlási helyzetet írnak le: az ügynöknek nyomon kell követnie az elérhetőséget (RT-Perceive), csökkentenie kell a további mérlegelést, ha a vásárlási ablak bezárul (RT-Deliberate), és mérlegelnie kell, hogy várjon-e az esetleges akciókra vagy vásároljon, amíg még van jegy (RT-Act).
Mérések és időzítési feltételek
A benchmark három különböző időzítési feltételt használ:
- Wall clock: valós világ szerinti késleltetések mérése, hogy a modellek hogyan teljesítenek a tényleges hálózati és inferencia-latencia mellett.
- Paused clock: az idő tetszőlegesen megállítható, így a benchmark a modellek alapvető képességeit mérheti késleltetési nyomás nélkül.
- Token clock: a környezet szimulált ideje token-generációnként halad előre; ha a modell több token fogyaszt, az késlelteti a cselekvés végrehajtását függetlenül a tényleges inferencia-latenciától.
Kik készítették a benchmarkot?
A Realtime-Bench fejlesztésében részt vettek kutatók a következő intézményekből: University of Texas at Austin, Ohio State University, University of Illinois at Urbana-Champaign, NVIDIA, Northwestern University és Steadyworks.
Milyen modelleket teszteltek és milyen eredmények születtek?
A szerzők számos, a gyakorlatban is használt nagy modellel végeztek vizsgálatokat, többek között az OpenAI-tól: GPT-6-Astra, GPT-5.6 Sol, GPT-Realtime-2 és OpenAI Decisions; az Anthropic-tól: Claude Fable 5.1 és Claude Opus 5; a Google-tól: Gemini 3.8 Flash, Gemini 3.1 Flash Live és Gemini 3.8 Live; valamint Jev 1.13 és kínai modellek, például Deepseek V4.1 és Moonshot AI Kimi-K3.
A legfontosabb megállapítás: a "wall clock" környezetben a legjobb eredményt az OpenAI GPT-6 Astra (high) érte el, amely 36%-os átmenési arányt (pass rate) ért el. Ezzel szemben a "paused clock" feltételnél azok a modellek, amelyek jobb érvelési képességekkel rendelkeznek, közelebb kerülnek a 70% vagy akár 80% sikerességhez.
Miért fontos ez?
A Realtime-Bench eredményei azt jelzik, hogy bár a modern LLM-ek erősek offline vagy időkorlát nélküli feladatokban, jelentős hiányosságok vannak, amikor a döntéseket valós idejű késleltetések mellett kell meghozni. A viszonylag alacsony fal-clock (valós idő) eredmények jól mutatják, mely területeken nem várható még megbízható autonóm teljesítmény — például online aukciók, valós idejű játékok vagy más alacsony késleltésű interaktív szolgáltatások.
A szerzők elérhetővé tették a benchmarkot és a lista (leaderboard) állását, valamint a részletes tanulmányt: "Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?" (arXiv), amelyek további technikai részleteket és összehasonlításokat tartalmaznak.
Következtetés
A Realtime-Bench egy célzott, gyakorlati mérőeszköz arra, hogy feltárja az LLM-ek korlátait a valós idejű interakciók terén. Az eredmények óvatos megközelítést indokolnak az olyan alkalmazásoknál, amelyeknél a latencia és a pontos időzítés kritikus a sikerhez.
