Anthropic 2024. október 22-én bejelentette az aktualizált Claude 3.5 Sonnet modellt, egy új, gyorsabb és olcsóbb változatot Claude 3.5 Haiku néven, valamint egy újszerű, „computer use” (számítógép-használat) képesség nyilvános bétáját. A frissített Sonnet különösen a kódolás és az ügynökalapú (agentic) eszközhasználat terén ért el jelentős előrelépést.
Mik jelent meg és hol érhetők el
- Az új Claude 3.5 Sonnet már minden felhasználó számára elérhető. A „computer use” bétája maantól hozzáférhető az Anthropic API-n, valamint Amazon Bedrockon és Google Cloud Vertex AI-n keresztül.
- Claude 3.5 Haiku hónap végén válik elérhetővé; kezdetben szöveges bemenettel, később képbevitel támogatással.
- Frissítés (2024.12.03): a Claude 3.5 Haiku árazása módosult: mostantól 0,80 USD per MTok bemenet / 4 USD per MTok kimenet.
Claude 3.5 Sonnet — javuló szoftvermérnöki képességek
Az Anthropic szerint a frissített Claude 3.5 Sonnet több iparági benchmarkon is jobb eredményeket mutat a korábbi verzióhoz képest, különösen a kódolást és agentic feladatokat mérő teszteken. Konkrét eredmények:
- SWE-bench Verified: teljesítmény 33,4%-ról 49,0%-ra nőtt, ami az Anthropic közlése szerint meghaladja minden nyilvánosan elérhető modellt a vizsgált mezőn, beleértve olyan általános érvelésre hangolt modelleket, mint az OpenAI o1-preview, valamint speciális agentic kódoló rendszereket.
- TAU-bench (kiskereskedelmi domain): 62,6%-ról 69,2%-ra javult.
- TAU-bench (összetettebb légitársasági domain): 36,0%-ról 46,0%-ra emelkedett.
A vállalat hangsúlyozza, hogy ezek a javulások az előző Sonnet ára és sebessége mellett valósultak meg. Korai ügyfélvisszajelzések szerint a modell jelentősen jobb lett többlépéses szoftverfejlesztési folyamatokban: GitLab DevSecOps-tesztekben akár 10%-os javulást tapasztaltak késedelem nélkül; Cognition autonóm AI értékelésekben jobban teljesített kódolásban, tervezésben és problémamegoldásban; The Browser Company webes munkafolyamat-automatizálásban jobb eredményeket mért minden korábban tesztelt modellnél.
A modell elő-deployment tesztelésében részt vettek külső szakértők is: a US AI Safety Institute (US AISI) és a UK Safety Institute (UK AISI) közös vizsgálatot folytatott. Anthropic azt is közölte, hogy a frissített modellre vonatkozóan a szervezet felelős skálázási politikájában (Responsible Scaling Policy) szereplő ASL-2 Standard továbbra is megfelelő a kockázatok kezelésére.
Claude 3.5 Haiku — sebesség, alacsony késleltetés és versenyképes teljesítmény
A Claude 3.5 Haiku a cég leggyorsabb modelljének következő generációja: az Anthropic szerint hasonló sebességgel kínál jobb képességeket, és számos intelligenciateszten felülmúlja a korábbi nagy modell, a Claude 3 Opus teljesítményét. Kódolási feladatokban erősen teljesít:
- SWE-bench Verified: 40,6% pontszám, amely több, nyilvánosan elérhető állapot- és teljesítménycsúcsot használó agentnél is jobb eredményt jelent, valamint meghaladja az eredeti Claude 3.5 Sonnet és a GPT-4o néhány mérését.
Alacsony késleltetése, jobb utasításkövetése és pontosabb eszközhasználata alkalmassá teszi felhasználói felületekhez, speciális al-ügynök feladatokhoz és nagy adatállományokból (például vásárlási előzmények, árak, készletadatok) személyre szabott élmények generálásához.
A „computer use” — a modell számítógépes felületek használatának bétája
Anthropic új megközelítést vezet be: nem egyedi automatizált eszközöket fejlesztenek egy-egy feladathoz, hanem általános számítógép-használati készségeket tanítanak a modellnek. Ez lehetővé teszi, hogy Claude úgy használjon grafikus felhasználói felületeket, mint egy ember: képernyő megtekintése, kurzor mozgatása, gombok kattintása, szöveg beírása.
A fejlesztők az API-n keresztül parancsokká fordíthatják az utasításokat (például: „használd a számítógépem és az online források adatait az űrlap kitöltéséhez”), és a modell végrehajtja a szükséges lépéseket — táblázatok ellenőrzése, böngésző megnyitása, oldalak navigálása, űrlap kitöltése stb. A OSWorld benchmarkon, amely az AI-k számítógép-használatát értékeli, a Claude 3.5 Sonnet 14,9%-ot ért el a kizárólag képernyőképeket használó kategóriában; ez jelentősen jobb a következő legjobb AI-rendszer 7,8%-os eredményénél. Ha több lépés áll rendelkezésre, a pontszám 22,0% volt.
Ezzel együtt Anthropic is hangsúlyozza, hogy a képesség még kezdetleges: bizonyos egyszerű emberi műveletek — görgetés, húzás, nagyítás — jelenleg kihívást jelentenek, és a szolgáltatást érdemes alacsony kockázatú feladatokkal kezdeni. Mivel a számítógép-használat új támadási vektort jelenthet (például spam, félretájékoztatás, csalás), a cég proaktív biztonsági intézkedéseket vezetett be: új osztályozókat fejlesztettek, amelyek felismerik a computer use használatát és azt, hogy történik-e ártalom. A részletes kutatási folyamat és a biztonsági megfontolások ismertetése a vállalat kapcsolódó bejegyzésében található.
Előre tekintve
Anthropic szerint az első telepítések tapasztalatai, noha a technológia kezdeti állapotban van, segítenek megérteni a képességek lehetőségeit és hatásait. A cég biztatja a fejlesztőket és ügyfeleket, hogy próbálják ki az új modelleket és a computer use bétát, és osszák meg visszajelzéseiket, mivel a vállalat szerint ezek az újítások új munkamódokat nyithatnak meg Claude használatában.
