A Hacker News egyik hozzászólója, wren6991 azt állította, hogy a fejlett nyelvi modelleket mérő tesztek „telítődtek”. Példaként egy játékos, abszurd promptot mutatott be: különböző korszakos (frontier) modelleket kért meg arra, hogy generáljanak SVG-képet egy marsi járdán közlekedő, halpánttal díszített tatuzóról (angolul: armadillo in fishnet tights jaywalking on Mars). A hozzászóló közzétette a használt llm parancsokat és egy linket a megjelenítést mutató eszközhöz.
Mi hangzott el pontosan
A Hacker News felhasználó wren6991 így foglalta össze kritikáját: „The benchmark is saturated. Frontier models are tested with an armadillo in fishnet tights jaywalking on Mars.”
Ezután a kommentben a szerző megosztotta a konkrét parancsokat, amelyeket több modellhez futtatott:
- llm -m claude-opus-5.5 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars'
- llm -m gpt-6.1-sol 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars'
- llm -m gemini-3.8-flash 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars'
- llm -m mistral/mistral-large-4 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars'
A kommentben hivatkozott link egy Markdown-alapú SVG-renderelő eszközre mutatott, amely a modellek alapértelmezett gondolkodási (reasoning) szintjeit szemléltette.
Miért számít ez?
A hozzászólás kritikája arra utal, hogy a jelenlegi benchmarkok nem feltétlenül mérik jól a modellek valódi képességeit, mert a vizsgálatoknál gyakran szokatlan vagy trivialis feladatokat használnak, amelyek nem értékelik megfelelően a mélyebb megértést vagy a gyakorlati alkalmazásokat. A példaként hozott, humoros prompt jól illusztrálja, hogy a kutatás és összehasonlítás során előfordulhat túlzottan excentrikus tesztelés is.
Következtetés
A wren6991 hozzászólása nem kínál konkrét alternatív benchmarkokat, csupán azt emeli ki, hogy a jelenlegi mérőeszközök telítettsége figyelmeztető jel lehet: a frontier modellek összehasonlításához alaposabb, célzottabb és reprezentatívabb tesztekre lehet szükség.
