Mirac Suzgun és munkatársai a Stanford University és a Together AI felhőplatform közreműködésével azt vizsgálták, hogyan teljesítenek nagy nyelvi modellek (LLM‑ek), ha a feladat napi hírekre vonatkozó kérdések megválaszolása webes keresőeszköz használatával.
A tesztek célja az volt, hogy elkülönítsék a pontos válaszadást befolyásoló lépéseket: (i) a jól megfogalmazott kérdés fogadását, (ii) egy releváns dokumentum visszakeresését, és (iii) a dokumentumból való ténykinyerést. A szerzők hangsúlyozzák, hogy ezek közül bármelyik hibája rontja a végeredményt — például hibás név szerepeltetése a kérdésben, a szükséges tényt nem tartalmazó cikk visszakeresése, vagy a dokumentum nyelvében való gyenge jártasság.
Módszer
A kísérletsorozat naponta zajlott 2026. február 9. és február 22. között. A kutatók BBC News cikkeken alapuló kérdéseket tettek fel hat nyelven: arab, angol, francia, hindi, orosz és török.
A vizsgált modellek és konfigurációk: Google Gemini 3 Flash és Gemini 3 Pro, xAI Grok 4, Anthropic Claude 4.5 Sonnet, valamint OpenAI GPT‑5 és GPT‑4o mini — mindegyik a webes kereséshez kapcsolódó eszközökkel.
Minden nap a Gemini 3 Flash generált 25 darab, többválasztós kérdést nyelvenként (összesen 150 kérdés naponta). A kérdések tartalmaztak időbeli kontextust (például „Today is February 10, 2026…”) és öt lehetséges választ; a helyes válasz igazolható részlet (szám, helyszín, idézet stb.).
A modelleket három beállítással tesztelték: (a) az eredeti, ötös többválasztós kérdésekre, (b) módosított kérdésekre, amelyek egyetlen hamis premisszát vezettek be (például helytelen szereplő, ütemezés vagy részlet) és hozzáadták az "insufficient information to answer" (nem elég információ a válaszadáshoz) választ, valamint (c) az eredeti kérdésekre válaszok nélkül (azaz rövid szabad szavas válaszadás).
Hibakategóriák osztályozásához többségi szavazást alkalmaztak Claude Opus 4.7, GPT‑5.4 és Gemini 3 Pro modelleken; a hibák nyolc kategóriába kerültek, például visszakeresési hiba, a releváns forrásban eltérő részletek szerepelnek, elégtelen megértés vagy téves idővonal.
Eredmények
- Általános teljesítmény: a modellek jól szerepeltek a jól megfogalmazott angol kérdéseken. A négy legjobb modell 90% fölötti pontosságot ért el az eredeti többválasztós feladatokon: Gemini 3 Flash 95,6%, Grok 4 95,0%, Gemini 3 Pro 93,7% és Claude 4.5 Sonnet 90,4%.
- A rangsor alsó felében GPT‑5 85%-ot, GPT‑4o mini 69%-ot ért el az eredeti többválasztós feladatoknál. Szabad szavas válaszadásnál a pontosságok minden modellnél 11–22 százalékponttal csökkentek, miközben a relatív sorrend megmaradt.
- Nyelvi különbségek: minden modell legrosszabb teljesítményt a hindi kérdéseken produkálta (átlag 79,3%). A modellek gyakran idéztek angol nyelvű forrásokat (például angol Wikipédia) még akkor is, ha a kérdés más nyelven volt feltéve, különösen hindiben.
- Hibák oka: a hibák leggyakoribb oka a visszakeresési hiba volt (38,8%). A második leggyakoribb kategória az volt, amikor egy témailag releváns, ám „okos, de hibás” részleteket tartalmazó forrást hoztak vissza, amely nem válaszolta meg pontosan a kérdést (32,7%).
- Hamis premisszák: megváltoztatott kérdéseknél, amelyek hamis előfeltevést tartalmaztak, Grok 4 teljesített a legjobban 70%-os pontossággal. GPT‑5 csupán 19%-os pontosságot ért el ilyen kérdésekre, ami megközelítette a véletlenszerű találgatás szintjét a hat lehetséges válasz esetén.
Következtetés és jelentőség
A tanulmány szerint a webes keresővel kiegészített LLM‑ek jó alapot adnak tényalapú információkeresésre, de a végeredmény nagymértékben függ attól, hogy (i) helyes és jól megfogalmazott kérdést kapnak, (ii) releváns dokumentumokat találnak meg, és (iii) sikeresen kinyerik a szükséges tényeket a megtalált forrásból. Mivel a hibák többsége visszakeresési problémára vezethető vissza, a szerzők szerint a teljesítmény javítása szempontjából a keresési indexelés, a források rangsorolása és a nem angol nyelvű lekérdezések kezelése fejlesztései hozhatják a legnagyobb előrelépést — legalábbis az időszerű információkra vonatkozó kérdések esetében, ahol a modellek megméretezése önmagában kevésbé hatékony.
A szerzők megjegyzik, hogy az ügynökalapú (agentic) felhasználásra tervezett webes keresők növekvő és izgalmas területet jelentenek, és további hely van jobb webes keresők építésére, amelyek kifejezetten ilyen ügynökök igényeit szolgálják.
Részletek: tesztelt modellek és időablak
- Tesztidőszak: 2026. február 9–22.
- Forrásalap: BBC News cikkek hat nyelven (arab, angol, francia, hindi, orosz, török).
- Vizsgált modellek: Google Gemini 3 Flash, Google Gemini 3 Pro, xAI Grok 4, Anthropic Claude 4.5 Sonnet, OpenAI GPT‑5, OpenAI GPT‑4o mini.
- Leggyakoribb hibaok: visszakeresési hibák (38,8%), releváns de pontatlan források (32,7%).
(Adatok és százalékok a tanulmány szerzőinek napi méréseiből származnak.)
