Kutatás

Mesterséges intelligenciával generált szöveg

Pénzügyi kerettel javították gépi tanulási eredményeiket a vizsgált AI-ágensek

Kutatók kifejlesztették a FrontierML nevű tesztrendszert, amely azt méri, mennyire hatékonyan fordítanak pénzügyi erőforrásokat a mesterségesintelligencia-ágensek gépi tanulási feladatok megoldására.

Pénzügyi kerettel javították gépi tanulási eredményeiket a vizsgált AI-ágensek

A FrontierML nevű új benchmark azt vizsgálja, mennyire képesek a mesterségesintelligencia-ágensek pénzügyi keretet gépi tanulási teljesítménnyé alakítani. A kutatók 21 összetett feladaton tesztelték a rendszereket, és azt találták, hogy az erősebb ágensek megbízhatóan javították eredményeiket, amikor több pénzt fordíthattak számítási kapacitásra és adatokra.

Feladatok és pénzügyi keretek

A hosszabb munkafolyamatokat igénylő feladatokat vezető AI-laborokban, új laboratóriumokban és egyetemi intézményekben végzett valós munka ihlette. Hat területet fednek le: nagy nyelvi modellek tanítását, hatékonyságot, képi és hangfeldolgozást, számítógép-használatot, alkalmazott természetesnyelv-feldolgozást, valamint matematikát és játékokat.

Minden ágens ugyanabból a helyzetből indult: feladatonként egy 12 órán át használható, CPU-alapú elkülönített környezetet, 10, 50 vagy 200 dolláros keretet, néhány validációs mintát és egy feladatleírást kapott. Az ágensek maguk választhatták ki az architektúrát és az adatforrásokat, megvalósíthatták a tanítást, számítási kapacitást foglalhattak, értékelhették a tanítás közben mentett modellváltozatokat, és optimalizálhatták a következtetést.

A megoldások jelentősen eltértek egymástól. Egy képernyőképek előállítására irányuló feladatnál a legjobb eredményt elérő ágens LoRA-eljárással hangolt finomra egy diffúziós modellt. Más, szintén jól teljesítő megközelítésekben egy nagy nyelvi modell rajzolóprogramot írt, amelynek kimenetét ezután renderelték. A vizsgált futások 28 százalékában az ágensek újonnan tanított részeket adtak előtanított modellekhez, vagy teljesen új modellt tanítottak.

Eredmények és ellenőrzés

Az ágensek egy, a modelljüket kiszolgáló következtetési szervert adtak be, amelyet egy hálózattól fizikailag elkülönített H100-as gépen futtattak. A túlillesztés mérséklésére csak korlátozott számú validációs mintát kaptak; az értékelés egy nagy, az ágensek számára nem látható, a validációs adatoktól eltérő eloszlású tesztkészleten történt.

A kutatók a 21 feladaton elért átlagpontszám változásával mérték, mennyit ért a további pénz. Az emberi kutatóból álló viszonyítási alap 10 dolláros kerettel 56 pontos, 200 dollárral 66,1 pontos javulást ért el. A legjobban teljesítő rendszer, az Opus 5.5 esetében a javulás 45,4, illetve 58,8 pont volt. A legmagasabban rangsorolt nyílt súlyú modell, a Kimi K3.1 Pro 10 dollárral 25,5, 200 dollárral 29,6 pontos javulást ért el.

Az eredmények azt jelzik, hogy a korszerű AI-ágensek egyre több gépi tanulási kutatási részfeladatot képesek önállóan megszervezni, és a rendelkezésükre álló erőforrásokat eredményesen felhasználni. A benchmark egy olyan lehetséges jövőre is rámutat, amelyben AI-rendszerek más rendszereknek vagy szolgáltatásoknak szervezik ki az összetett munka egyes részeit.