Anthropic 2023. november 21-én tette elérhetővé a Claude 2.1 modellt az API-ján keresztül és a claude.ai chatfelületén. A frissítés vállalati felhasználásra célzott fejlesztéseket tartalmaz: iparágvezető, 200 000 tokenes kontextusablakot, a modellek „hallucinációinak” (hibás állítások) jelentős csökkenését, új fejlesztésként pedig egy béta eszközhasználati (tool use) lehetőséget. A cég emellett módosította az árazást is a költséghatékonyság javítása érdekében, részletes tarifákat a bejelentés nem tartalmazott.
Nagy, 200K tokenes kontextusablak
Claude 2.1 egyik központi újdonsága a 200 000 tokenes kontextusablak, ami körülbelül 150 000 szónak vagy több mint 500 oldalnyi anyagnak felel meg. A bővítésre felhasználói igény reagált: Anthropic szerint a felhasználók hosszú dokumentumokkal—például teljes kódbázisokkal, pénzügyi jelentésekkel (pl. S-1 dokumentumokkal) vagy akár irodalmi művekkel—dolgoznak, és nagyobb információmennyiséget szeretnének egyszerre bemutatni a modellnek.
A 200K hosszúságú üzenetek feldolgozása technikailag komplex feladat; a cég hangsúlyozza, hogy bár ez iparági elsőség, az ilyen nagyságrendű feldolgozás tipikusan perceket vehet igénybe egy feladaton, és a késleltetés (latency) a technológia fejlődésével várhatóan csökkenni fog.
Pontosság és kevesebb hallucináció
A pontoság terén Claude 2.1 jelentős előrelépést mutat: a cég közlése szerint a hamis állítások aránya kétszeres csökkenést mutat a korábbi Claude 2.0-hoz képest. Ezt úgy mérték, hogy összegyűjtöttek egy nagy halmaz komplex, faktuális kérdéseket, amelyek a modellek ismert gyengeségeit célozzák; a kiértékeléskor különbséget tettek a téves állítások és a bizonytalanság beismerése között (például: helytelen állítás „A bolíviai ötödik legnépesebb város Montero”, illetve a bizonytalan válasz „Nem vagyok biztos abban, melyik a bolíviai ötödik legnépesebb város”). Claude 2.1 nagyobb valószínűséggel válaszolt visszafogottan vagy ismerte el a bizonytalanságot, ahelyett, hogy téves információt adott volna.
Továbbá a modell jobban teljesített hosszú, összetett dokumentumok megértésében és összefoglalásában: a cég belső értékelése szerint 30%-kal kevesebb helytelen választ adott, és 3–4-szer alacsonyabb arányban következett téves konklúzió arról, hogy egy dokumentum alátámaszt-e egy konkrét állítást. Anthropic hangsúlyozza, hogy bár ezek az eredmények biztatóak, a pontosság további javítása továbbra is kiemelt prioritás.
API eszközhasználat (Tool use) – béta
Új, béta állapotú funkcióként a Claude mostantól képes „eszközöket” használni: a modell programozó által definiált függvényekhez, API-khoz és privát tudásbázisokhoz kapcsolódhat. A cél az interoperabilitás és a gyakorlati integráció növelése a felhasználók meglévő folyamataival és termékeivel.
A példák között szerepel:
- bonyolult számszámításokhoz kalkulátor használata,
- természetes nyelvi kérések lefordítása strukturált API-hívásokra,
- adatbázisok vagy webkeresés lekérdezése válaszadás céljából,
- egyszerű műveletek végrehajtása szoftverben privát API-kon keresztül,
- termékadatokhoz kapcsolódás ajánlásokhoz és vásárlási folyamatok segítéséhez.
A funkció kezdeti fejlesztési állapotban van: Anthropic fejlesztői eszközöket és prompting irányelveket épít, és kéri a felhasználói visszajelzéseket a továbbfejlesztéshez.
Fejlesztői élmény és konzol-fejlesztések
A cég egyszerűsítette a fejlesztői Console használatát a Claude API felhasználói számára és új terméket vezetett be Workbench néven. A Workbench egy olyan playground-szerű környezet, ahol fejlesztők iterálhatnak prompton, több promptot kezelhetnek projektenként, és a módosítások történeti mentése automatikusan megtörténik. A környezetből kód snippeteket is generálhatnak, hogy a promptokat SDK-kba illesszék.
Ezzel párhuzamosan bevezették a system promptokat, amelyekkel a felhasználók testre szabott utasításokat adhatnak a modellnek. A system promptok segítenek meghatározni a kontextust, szerepeket, a válaszok szerkezetét és állandóbb, személyre szabottabb viselkedést biztosítanak a modell számára.
Elérhetőség és korlátozások
Claude 2.1 már elérhető az Anthropic API-ján és a claude.ai felületén mind a ingyenes, mind a Pro csomagoknál. Az újdonságként hirdetett 200 000 tokenes kontextusablak használata azonban jelenleg a Claude Pro előfizetők számára van fenntartva; Pro felhasználók nagyobb fájlokat tölthetnek fel, mint korábban.
Anthropic azt várja, hogy az új képességek új vállalati és kutatási felhasználási eseteket inspirálnak, miközben tovább dolgoznak a biztonság és a technikai kifinomultság növelésén.
