OpenAI célja, hogy a mesterséges általános intelligencia (AGI) minden ember javát szolgálja. A szervezet most bemutatta a LifeVal elnevezésű értékelést, amely azt méri, hogyan teljesítenek a modellek a hétköznapi élet gyakorlatias feladataiban — azokon a területeken, ahol a ChatGPT több mint egymilliárd heti felhasználója segítséget várhat.
Mi a LifeVal és miért fontos?
A LifeVal célja, hogy túlmutasson a hagyományos, tudásalapú értékeléseken, és valódi, cselekvésorientált képességet mérjen: mennyire képesek a modellek gyakorlatban segíteni döntések meghozatalában, mindennapi felelősségek kezelésében és kézzelfogható eredmények elérésében. OpenAI szerint az emberek nem csupán tanácsot vagy beszélgetést várnak; egy személyes asszisztensnek képesnek kell lennie olyan műveletek végrehajtására is, amelyek ténylegesen elintéznek feladatokat.
Hogyan választották ki a mérendő feladatokat?
A LifeVal feladatkörének kialakításához OpenAI két nagy, időfelhasználást nyomon követő tanulmányt használt alapul: az American Time Use Survey-t és a Multinational Time Use Study-t. Ezek az adatkészletek részletes katalógust biztosítanak arról, hogyan töltik az emberek mindennapjaikat különböző demográfiai csoportokban, napszakokban és évszakokban.
Ezekre a forrásokra építve OpenAI egy új, demográfiai szempontból reprezentatív felmérést is készített 3 995 válaszadó bevonásával. Minden vizsgált feladathoz több kérdést tettek fel, hogy azonosítsák, mely területeken várnak leginkább segítséget a személyes asszisztenstől. Ennek eredményeként a LifeVal feladatok lefedik a legfontosabb területeket: gondozás, egészség, oktatás, háztartási adminisztráció, személyes pénzügyek, vásárlás és állami szolgáltatásokhoz való hozzáférés.
Példák a mindennapi munkafolyamatokra és a modellek teljesítményére
A bemutatott példák olyan gyakorlati feladatokat mutatnak, ahol a modellek képesek konkrét megoldásokat ajánlani vagy lépéseket előkészíteni:
- Óvodák összehasonlítása az új lakhely közelében, a legmegfelelőbb jelöltek rövidlistázása és beiratkozási részletek rendszerezése.
- Közösségi árvízfelkészítés önkéntes erőinek szervezése és egyszerű cselekvési terv készítése a rászoruló szomszédok helyszíni értékeléséhez.
- Otthon keresése Luzerne megyében a megadott költségvetés, külön lakrész és rövid iskolai fuvarozási idő figyelembevételével, valamint az adásvételi dokumentum hozzáadása ellenőrzésre.
- Nagymama és egy családtag egyszerű, távoli közös nézésre alkalmas megoldás előkészítése tartalék opcióval a stream kiesése esetére.
- Családtag új cukorbetegségi diagnózisához gyakorlati gondozási és étkezési terv összeállítása első heti menüvel, emlékeztetőkkel és kérdésekkel az ellátó csapat számára.
Ezeken túl a LifeVal tesztjei között szerepelnek például:
- Szenzoros foglalkozás megtalálása és lefoglalása a kisgyermek igényeihez és a család időbeosztásához igazítva.
- Autószerviz esedékességének ellenőrzése és időpontfoglalás útra kelés előtt.
- Halal élelmiszerek rendelése három kedvenc ételhez a megadott költségvetésen belül, tételes rendelés exportálása táblázatba.
- Elveszett eljegyzési gyűrű pótlása fénykép és gyémánt-értékelés alapján.
- Egy zsebméretű eszköz keresése és megrendelése a telefon, e-könyv-olvasó és kézi játékkonzol helyettesítésére.
Fejlődés az elmúlt egy évben
OpenAI közlése szerint az elmúlt évben a modelleket gyorsabbá, képességben gazdagabbá és jobban összehangolttá tették a böngészőhasználat, számítógép-használat és csatlakozók (connectors) feladataiban. Ezek a fejlesztések kibővítik azt a feladattípust, amelyben a modellek hatékonyan segíthetnek, és előrelendítik a ChatGPT-t a puszta csevegőeszköztől egy valódi, cselekvőképes személyes asszisztens irányába.
Miért számít ez hosszabb távon?
OpenAI érvelése szerint ahhoz, hogy az AGI mindenki javát szolgálja, nem elég a tudás és a kutatási teljesítmény mérésére koncentrálni. Lényeges mérni és javítani azt is, hogy a modellek mennyire tudnak segíteni az embereknek a mindennapi döntésekben és feladatok elvégzésében. A LifeVal egy lépésnek tekinthető ebben az irányban: célja a gyakorlati hasznosság értékelése és a modellek ezen a téren történő folyamatos fejlesztése.
Összefoglalás
A LifeVal keretrendszerével OpenAI megpróbálja összehangolni a modellek fejlesztését azzal, ami a felhasználók napi életében valóban számít. A módszer kombinálja a nagymintás időfelhasználási adatokat és egy reprezentatív, közel 4 000 fős felmérést, és konkrét, mindennapi munkafolyamatokon méri a modellek teljesítményét. A vállalat szerint a modellek már most erős eredményeket mutatnak számos LifeVal-feladaton, és az elmúlt év fejlesztései közelebb viszik a technológiát ahhoz, hogy valósan hasznos, cselekvőképes személyes asszisztensként működjön.
