Az Anthropic 2023. május 11-én bejelentette, hogy Claude nyelvi modellje kontextusablaka 9 000 tokenről 100 000 tokenre bővült, ami nagyjából 75 000 szónak felel meg. A változtatás lehetővé teszi, hogy vállalatok most már több száz oldalt tartalmazó anyagokat töltsenek be a modellbe elemzésre és feldolgozásra, illetve hosszú, órákon vagy napokon át tartó beszélgetéseket folytassanak Claude-dzsal.
Gyors olvasás és információkinyerés
Az Anthropic szerint egy átlagos ember körülbelül öt óránál többet venne igénybe 100 000 tokennyi szöveg elolvasására és feldolgozására, míg Claude ezt másodpercek alatt képes elvégezni. A cég demonstrációjában a teljes The Great Gatsby szövegét töltötték be Claude-Instantbe (72 000 token), egy sor módosítással — például egy mondatot átírtak úgy, hogy Mr. Carraway „a software engineer that works on machine learning tooling at Anthropic.” volt. Amikor a modellt megkérték, hogy találja meg a különbséget, a rendszer 22 másodperc alatt adott helyes választ.
Hogyan használható a megnövelt kontextusablak a gyakorlatban
Anthropic részletezi, hogy a 100K tokenes kontextusablak milyen gyakorlati feladatokra alkalmas:
- Sűrű dokumentumok feldolgozása, összegzése és magyarázata, például pénzügyi kimutatások vagy tudományos közlemények
- Egy cég stratégiai kockázatainak és lehetőségeinek elemzése éves jelentések alapján
- Törvényjavaslatok előnyeinek és hátrányainak értékelése
- Jogszabályi dokumentumokban ismétlődő kockázatok, témák és érvelési formák azonosítása
- Több száz oldalas fejlesztői dokumentáció átnézése és technikai kérdésekre adott válaszok kiemelése
- Gyors prototípus-készítés: teljes kódbázis betöltése a kontextusba és annak intelligens módosítása
A cég azt is megjegyzi, hogy komplex kérdések esetén ez a megközelítés gyakran hatékonyabb lehet, mint a vektoros keresés alapú módszerek, mivel Claude képes a szöveg különböző részeiből származó információk összeolvasztására és instrukciók követésére.
Hang- és partnerdemonstrációk
Az Anthropic partnerei is pozitívan nyilatkoztak a nagyobb kontextusablak üzleti jelentőségéről. Például 100 000 token körülbelül hat óra hanganyagnak felel meg — az AssemblyAI bemutatójában egy hosszú podcastot átírva 58 000 szóra alkalmazták Claudet összegzésre és kérdés-válaszra.
Hozzáférés és elérhetőség
A 100K kontextusablak mostantól elérhető az Anthropic API-ján keresztül. A bejelentés említi, hogy a Claude különböző modellváltozataira vonatkozó hívási részletek dokumentációban találhatók, és azok számára, akik még nem dolgoznak Clauddal, hozzáférés-kérést lehet benyújtani.
Összegzés
A kontextusablak bővítése jelentős előrelépés a nagy mennyiségű dokumentumok gyors feldolgozásában és a többforrású információszintézisben. A bemutatott példák és partnerdemók azt mutatják, hogy a változtatás gyakorlati alkalmazásokat nyit meg üzleti, jogi, kutatási és fejlesztési területeken egyaránt.
