Vals, egy 2024-ben alapított startup, azzal a céllal lépett a piacra, hogy korszerűsítse az AI-modellek értékelésére használt benchmarkokat. A vállalat szerint a hagyományos, gyakran nyilvános és akadémiai tesztek nem tartanak lépést a legújabb, nagy képességű modellekkel, ezért könnyen kijátszhatók vagy félrevezető eredményeket adhatnak.
Miből áll a Vals megközelítése?
A Vals nem a modellek általános tudására koncentrál, hanem arra, mennyire képesek komplex, iparágspecifikus munkák elvégzésére. A cég zárt tesztanyagokat használ — az egyes vizsgák konkrét tartalmát nem teszik közzé — így csökkentik annak kockázatát, hogy a szolgáltatást igénybe vevők kifejezetten a tesztre tanítsák modelljüket. A cél az, hogy ne csak a pozitív eredményeket mérjék, hanem feltárják a lehetséges káros következményeket is, például azt, ha a modellek „szabadon működnének” a világban.
Milyen területeket fednek le a tesztek?
A Vals konkrét iparági feladatokkal dolgozik, például jog, pénzügy és kódolás területén. Emellett kiterjesztették a portfóliót kevésbé hagyományos, de kritikus területekre is: rekurzív önfejlesztés, mentális egészség, kiberbiztonság, bio-biztonság, illetve a fegyveres konfliktusok joga (például a Genfi Egyezmény alkalmazásának vizsgálata).
Üzleti modell és növekedés
A vállalat ügyfelei fizetnek a modellek értékeléséért; Vals ezt hasonlítja ahhoz, mintha egy diák fizetne az SAT vizsgáért a College Boardnál. Az értékelések szolgálnak hibakeresésre és fejlesztési iránymutatásra, továbbá egyre gyakrabban befolyásolják a vállalati döntéseket, például új modellek beszerzését.
A startup kevéséves története alatt gyors növekedést ért el: a cég múlt hónapban 40 millió dollárt vont be egy Andreessen Horowitz vezette sorozat A-ban, korábban pedig seed fordulót szerzett, amelyet 8VC és Bloomberg Beta vezetett. A cég azt közölte, hogy a jelenlegi bevétele nyolcszorosa a tavalyinak. A létszám is emelkedett: az év elején nyolc alkalmazottal indultak, azóta 25-re nőttek, és további 10–15 fő felvételét tervezik. Emellett programot indítottak, amely kormányzati ügynökségek számára nyújt modellértékelést.
Alapító és filozófia
A Vals egyik társalapítója Rayan Krishnan, aki 25 éves; korábban a Palantirnál töltött gyakornoki időt, és egyetemi évei alatt a Stanfordon a Microsoftnál és a Stanford mesterséges intelligencia laborján dolgozott. Krishnan szerint a benchmarkoknak azt kellene bizonyítaniuk, hogy a modellek valóban képesek-e azokat a munkákat elvégezni, amelyeket a cégek állítanak róluk, és a Vals célja, hogy ez a mérési rendszer váljon az iparág új aranyszabványává.
Miért számít ez?
Ahogy az AI-modellek egyre inkább beépülnek az üzleti és közéleti működésbe, a pontos, iparágspecifikus értékelés fontosabbá válik: nem csak a termékminőség miatt, hanem azért is, mert ezek az értékelések hatással lehetnek arra, hogyan kommunikálnak a vállalatok a befektetők és a hatóságok felé. Krishnan úgy véli, hogy az ilyen benchmarkok egyre nagyobb szerepet kapnak majd a nyilvános beszámolókban és a társaságok AI-hoz kapcsolódó befektetési döntéseiben.
Jövőbeli tervek
A Vals tervei között szerepel egy nagyobb irodába történő költözés és a csapat bővítése. A cég továbbra is bővíti a vizsgált területeket, hogy lefedje azokat a kockázatokat és képességeket, amelyeket a hagyományos benchmarkok gyakran figyelmen kívül hagynak.
Összességében a Vals ambíciója, hogy egy zárt, iparágspecifikus értékelési rendszerrel hitelesebb, gyakorlatiasabb és megbízhatóbb mércévé váljon az AI-modellek teljesítményének megítélésében.
