Anthropic a tudományos blogjában azt állítja, hogy az AI-ügynökök jól teljesítenek programozási feladatokban, de biológiai adatkinyerésnél akadoznak — és ennek oka nem a modellek „intelligenciája”, hanem az adatok és az API-k kialakítása. A biológiai adatbázisokat emberek webböngészéséhez optimalizálták, nem automatizált ügynökök közvetlen lekérdezéséhez; emiatt a határmodell-alapú rendszerek instabil eredményeket adtak vírus-szekvenciák visszakeresésekor.
Mi történt pontosan
Anthropic bemutatott egy kísérletsort, amelyben ugyanazzal a prompttal próbáltak vírusadatokat lekérdezni. A modellek egy Ebola-feladaton 266 találattal indultak, majd ugyanattól a prompttól 106-tal, végül 5-tel tértek vissza — azaz az eredmények nagy szórást mutattak ugyanazon lekérdezés ismétlésekor. Amikor a kutatók bevezették a gget virus nevű eszközt, amely determinisztikusabb, adatkinyerést végző felületet biztosít, minden vizsgált modell 90% fölé javult, és eltűnt az olcsóbb és drágább modellek közötti teljesítménykülönbség.
Miért fontos ez
A cég állítása szerint az iparág reflexe az, hogy a következő, még „okosabb” modellre várjanak. Az Anthropic eredményei viszont arra mutatnak, hogy a megfelelő „csővezeték” — azaz az adathoz és szolgáltatásokhoz való megbízható, ügynökbarát hozzáférés — sokszor fontosabb lehet, mint a modellek nyers kapacitása. Amint a lekérdezések determinisztikussá váltak, a modellválasztás már nem volt döntő tényező: egy olcsóbb modell a megfelelő eszközzel felér egy zászlóshajó-modell teljesítményével.
Párhuzamok és következmények
Andrej Karpathy korábbi kritikája a szoftverekről hasonló problémára világított rá: a kód megírása könnyű lehet, de az igazi időveszteség a felhasználói felületek és beállítások végignézésében rejlik. Biológiai alkalmazásoknál ez magasabb tétet jelent: egy rosszul hozzáférhető adatbázis nem csak frusztráló fejlesztést okoz, hanem diagnosztikai hibákhoz és komoly következményekhez is vezethet.
Következtetés
Anthropic tapasztalata szerint a következő jelentős előrelépés az alkalmazott mesterséges intelligenciában nem feltétlenül egy nagyobb, „okosabb” modell lesz, hanem a megbízható, auditálható és ügynökbarát adat- és API-infrastruktúra kiépítése — az a fajta „unalmas” csővezetékmunka, amit kevesen akarnak megcsinálni, de amely kritikus az eredményes automatizáláshoz.
