Két amerikai közgazdász, Robert Novy‑Marx és Mihail Velikov egy új tanulmányban ismerteti, hogyan lehet nagyméretű nyelvi modellek (large language models, LLM-ek) segítségével teljes tudományos cikkeket előállítani emberi beavatkozás nélkül. A szerzők a pénzügyi közgazdaságtan keretében dolgozták ki és tesztelték az automatizált kutatási folyamatot.
Módszer és fontos számok
- A kutatók először mintegy 30 000 számviteli mutatót gyűjtöttek össze.
- Statisztikai szűréssel ezek közül 96 mutatót azonosítottak, amelyek ígéretesek lehetnek pénzügyi kutatások számára.
- Egy LLM‑alapú rendszerrel minden egyes azonosított mutatóról automatikusan létrehoztattak egy tudományos dolgozatot.
Minden generált tanulmány tartalmazott egyedi előfeltevéseket, előrejelzéseket és irodalmi hivatkozásokat, továbbá megfelelt a tudományos publikációk formai és tartalmi elvárásainak.
Eredmények: előnyök és hiányosságok
A szerzők minőségi értékelést is végeztek a mesterséges intelligencia által előállított dokumentumokon. Megállapították, hogy:
- több dolgozat érdekes és releváns gazdasági összefüggéseket mutatott be;
- egyes esetekben azonban előfordultak kitalált (hamis) hivatkozások;
- a folyamat felgyorsítja olyan nagyméretű adatbázisok feldolgozását, amelyeket hagyományos módszerekkel nehéz hatékonyan kezelni.
A tanulmány arra is felhívja a figyelmet, hogy a mesterséges intelligencia alkalmazása ugyanazt a problémát rejtheti magában, amelyet néha emberi kutatóknál is látunk: az eredmények ismeretében utólag megfogalmazott előfeltevéseket (post‑hoc hypothesising).
Mit jelent ez az akadémiai közösség számára?
A szerzők esettanulmánya rávilágít arra, hogy az LLM‑ek képesek átalakítani a tudományos kutatás munkafolyamatait: felgyorsítják a hipotézisgenerálást és a dokumentáció előállítását, miközben új kockázatokat hoznak magukkal. Különösen aggályos a hamis hivatkozások problémája, amely alááshatja a tudományos kommunikáció megbízhatóságát.
A Defacto elemzése szerint nem valószínű, hogy a mesterséges intelligencia rövid távon teljesen helyettesíteni tudja a kutatókat, ugyanakkor figyelemre méltó, hogy milyen professzionális első benyomást kelthetnek az automatizáltan készített tanulmányok.
Következtetés
Az LLM‑ek alkalmazása a tudományos kutatásban jelentős előnyöket (sebesség, skálázhatóság) kínál, ugyanakkor komoly etikai és módszertani kihívásokat is felvet. A kutatói közösségnek és a kiadóknak egyaránt érdemes fejleszteniük az ellenőrzési mechanizmusokat, hogy a hasznos automatizálás mellett csökkentsék a hamis információk kockázatát.
