Anthropic 2024. március 13-án adta ki a Claude 3 Haiku modellt, amelyet a vállalati felhasználásra optimalizált gyors és olcsó megoldásként pozícionálnak. A vállalat szerint a Haiku a kategóriájában a leggyorsabb modelljük, korszerű látási képességekkel és versenyképes iparági benchmark-eredményekkel.
Teljesítmény és sebesség
A cég közlése szerint a Claude 3 Haiku a legtöbb feladatnál háromszor gyorsabb a hasonló modelleknél, és másodpercenként körülbelül 21 000 tokent képes feldolgozni olyan promptok esetén, amelyek rövidebbek 32 000 tokennél (ez nagyjából 30 oldal). A gyors feldolgozás lehetővé teszi a kötegelt feldolgozást, a több kis feladat egyidejű végrehajtását és a válaszkész, interaktív csevegési élményeket.
Fontos megjegyezni, hogy a 32 000 tokent meghaladó promptok befogadása 30–60%-kal lassabb lehet; ezt Anthropic a következő hetekben javíthatónak nevezte. Képfeldolgozásnál további késleltés is előfordulhat.
Költséghatékonyság és díjszabás
A Haiku díjszabása 1:5 bemenet–kimenet tokenarányt használ, amit a vállalat kifejezetten a hosszabb promptokat igénylő vállalati munkaterhelésekre tervezett. Anthropic szerint ez lehetővé teszi nagy dokumentumhalmazok, például negyedéves jelentések, szerződések vagy jogesetek gyors és költséghatékony elemzését: a cég példaként említi, hogy 1 amerikai dollárért a modell képes feldolgozni és elemezni körülbelül 400 Egyesült Államok Legfelsőbb Bírósági ügyet (a vállalat becslése szerint egy ügy ~10 000 token), vagy körülbelül 2 500 képet (egy kép becsült mérete 1,6K token).
Biztonság és robosztusság
Anthropic hangsúlyozza, hogy a Haiku vállalati szintű biztonságot és robosztusságot céloz. A cég rendszeres és szigorú teszteléseket végez a káros kimenetek és a modell „jailbreakelésének” csökkentésére. További védelemi rétegek közé tartozik a folyamatos rendszermonitorozás, végpontok megerősítése, biztonságos kódolási gyakorlatok, erős adat-titkosítási protokollok és szigorú hozzáférés-szabályozás. Anthropic rendszeres biztonsági auditokat és etikus hackerekkel (penetration tester) végzett vizsgálatokat is említ a sérülékenységek előzetes feltárására.
Részletesebb technikai és biztonsági információk a Claude 3 modell leírásában (model card) találhatók.
Elérhetőség
Claude 3 Haiku-t azonnal elérhetővé tették a Claude API-n keresztül, valamint a claude.ai oldalon a Claude Pro előfizetők számára. Emellett a modell már elérhető Amazon Bedrockon, és a bejelentés szerint hamarosan megjelenik a Google Cloud Vertex AI felületén is.
Lábjegyzetek
- A 32 000 tokent meghaladó promptok esetén az ingest sebesség 30–60%-kal alacsonyabb lehet.
- A cég számítása szerint egy Egyesült Államok Legfelsőbb Bírósági ügy átlagosan 10 000 token.
- Egy kép feldolgozására vonatkozó becslés: 1,6K token per kép.
