Modellbevezetés

Mesterséges intelligenciával generált szöveg

Hogyan szállítja az Anthropic a Claude-ot: az agy és a kezek szétválasztása

A beszélgetés középpontjában az Anthropic, valamint Katelyn Lesse és Angela Jiang, a vállalat mérnöki és termékvezetői állnak.

Hogyan szállítja az Anthropic a Claude-ot: az agy és a kezek szétválasztása

Anthropic legutóbbi S‑1 anyaga és egy céginterjú részletesen bemutatja, hogyan skálázza és adja ki a Claude családú modelleket: a mérlegben egyszerre jelenik meg a modellminőség, a költséghatékonyság és a biztonság. A vállalat mutatói szerint az elmúlt egy év alatt erős javulás történt — a beszélgetésben megidézett számok szerint a bevétel/alkalmazott mutató 1,4 millióról 6,6 millió dollárra nőtt, és a pénzügyi teljesítmény GAAP‑alapú 129% veszteségről 19% nyereségre fordult. A cég szerint ezt két egymásra ható hurok (improvement és investment) hajtja.

Opus 5.5: minőség és költség egyensúlya

A röviden Opus 5.5‑ként hivatkozott modellindításnál Anthropic egyszerre hangsúlyozta a jobb „intelligencia per dollár” arányt és a rövidebb, tisztább válaszadást: a csapat visszajelzései szerint a korábbi Opus generációk hajlamosak voltak túl hosszasan írni, ezt igyekeztek javítani. A cég közölte, hogy az új modell általánosságban olcsóbban futtatható, a pontos megtakarítás azonban a munkaterheléstől és a cache‑elt kontextus használatától függ.

A modellindítás kevésbé látható részét az API‑integrációk módosítása adja: fontos például megvédeni a modell „gondolkodási” lépéseit azoktól a technikáktól, amelyekkel külső szereplők modelldistillációt végezhetnek (a podcastban említik a „chain of thought extraction” technikát). Az Anthropic több lépésben vezette be a gondolkodási blokkok megőrzését és kompatibilis kompakciós megoldásokat, és együttműködött ügyfelekkel és nyílt forráskódú harness‑karbantartókkal, hogy a változások ne törjék meg a meglévő integrációkat.

A "brain" és a "hands" mentalitás: Managed Agents architektúra

A beszélgetés egyik központi szemlélete az „agy és kezek” különválasztása: a Managed Agentsnél az ülést (session), a harness‑t és a végrehajtó környezetet (sandbox) elválasztják. A harness tartósan futhat, miközben végrehajtó sandboxokat hoznak létre szükség szerint; ha egy sandbox elbukik, az nem veszélyezteti az egész agent‑munkamenetet.

Ez az elkülönítés több területen is előnyös:

  • Biztonság: a futtatott — generált — kód olyan sandboxban fut, amely nem tartalmaz szolgáltatási hitelesítő adatokat, így a kód nem tudja olvasni azokat. A valós hitelesítő adatok külön vaultban vannak, és proxyn keresztül kapcsolódnak a kimeneti hívásokhoz; ezzel együtt a hálózati kimenetekre és a domain‑engedélyekre vonatkozó egress‑szabályok is alkalmazhatók.
  • Teljesítmény és megbízhatóság: korábbi megoldásnál az egész agent egy sandboxban indult, ami növelte a válaszidőt (a sandbox és környezet indítása előtt nem jött az első token), és a sandbox megsemmisülése az agent elvesztését jelentette. A különválasztás alacsonyabb késleltetést és jobb reliabilitást tett lehetővé, miközben megtartotta a végrehajtás izolációját.

A szerkesztők szerint ez egy hasznos tervezési kérdés: mely részeknek kell túlélniük a sandbox bukását, mely részek futtatnak megbízhatatlan munkát, és hol kell jelen lenniük a titkoknak.

Memória, "dreaming" és több‑agent munkafolyamatok

A Managed Agents platform szolgál alapul memória‑ és multi‑agent kísérletekhez is. A "dreaming" egy egyszerű megvalósítása, hogy egy agent átnézi egy másik agent előző munkáját és visszajegyzi az emlékeket — ez lényegében több agentből épített magasabb szintű viselkedés.

A roadmapban a csapat jelezte, hogy bár memória és tanulás fontosak, a rövid távú hangsúly egy része a biztonságra helyeződött, mivel a modellindítások összetettebbé váltak. A kívánt megközelítés: viszonylag egyszerű alap‑harness megtartása, miközben a fejlesztők felül lehetőséget kapnak verifikátorok, párhuzamos agentek és egyéb stratégiák kipróbálására. A későbbi platformfunkciók ötletei kísérleti jellegűek, nem vállaltan már kiszállított termékek.

Korai hozzáférés és értékelések (evals)

Anthropicnál az early access gyakorlat azt jelenti, hogy ügyfelek a saját harnessükben futtatnak értékeléseket, jelentik a váratlan viselkedéseket, és gyakran szubjektív és kvantitatív visszajelzéseket is adnak. A cég hangsúlyozza, hogy a jól megtervezett evalok többet érnek, mint egyetlen benchmark‑pontszám: értékes, ha a modellt olyan környezetekben látják működni, amelyeket Anthropic termékei nem fednek le.

A beszélgetés kitért arra is, hogy sok csapat alul‑invesztál az evalokba; a gyakorlat, amelyet a cég javasol: tűzz ki célt, mérd a viselkedést, vizsgáld a kudarcokat és iterálj — vagyis az alkalmazás‑fejlesztés egyre inkább kutatásszerű megközelítést igényel.

Distilláció elleni védelem és hozzáférés‑programok

Anthropic törekedett arra, hogy megnehezítse a „chain of thought” kivonását és a modell distillálását. Részben ennek nyomán vezettek be megkötéseket a gondolkodási blokkok megőrzésére, továbbá olyan API‑szolgáltatásokat, amelyek kompakciós stratégiákkal kompatibilisek. A cég együttműködött a kutatókkal és harness‑karbantartókkal, hogy a változtatások elfogadható UX‑veszteség mellett csökkentsék a visszaélések lehetőségét.

Ugyancsak említették az úgynevezett trust grant vagy authorization rendszert: ez a finomabb jogosultságkezelés arra szolgál, hogy konkrét felhasználóknak vagy programoknak hozzárendelt jogokat kikényszerítsenek (például egy kutatási célú, csökkentett‑biztonsági kontextust igénylő hozzáférés engedélyezése esetén). Ezzel a megközelítéssel kezelik a modelleken belüli variánsokhoz és „verifikációs” programokhoz tartozó jogosultságokat, valamint a visszavonás lehetőségét is.

Sandboxing, hitelesítő adatok és a biztonság gyakorlata

A cég architektúratervezésének központi részévé vált, hogy a hitelesítő adatok ne legyenek ott, ahol a kezelhetetlen, potenciálisan rosszindulatú kód fut. Anthropic külön vaultban tárolja a hitelesítőket, a végrehajtó sandboxok csak helykitöltőket látnak, a tényleges credential‑injektálás proxyn keresztül történik. Emellett egress‑kontrollokkal lehet szabályozni, hová férhetnek hozzá a sandboxból kimenő kérések.

A podcast ismertette azt is, hogy az elkülönítés csökkenti a kezdeti válaszidőt és javítja a megbízhatóságot: a tartós harness gyorsabban ad vissza első tokeneket, és egy elbukó sandbox nem rontja el az egész sessiont.

Infrastruktúra: CPU‑hiány és a Messages API Rustban

Anthropic a növekvő felhasználói és CI‑terhelés miatt CPU‑kapacitás‑korlátokkal szembesült. A skálázás és a biztonság kettőse dominálja a műszaki prioritásokat. Ennek egyik mérföldköve volt a Messages API teljes átírása Rustban: a cég shadow traffic‑gal ellenőrizte az új implementáció kimeneteit, majd fokozatosan kapcsolta rá a forgalmat.

A vállalat által megadott becslések szerint ez az átírás nagyságrendileg jelentős megtakarítást eredményezett: a CPU‑felhasználásban 40–50% körüli csökkenést tapasztaltak, és a time‑to‑first‑token latency 10–20%-kal javult (a hosszabb futású munkaterheléseknél nagyobb javulás is előfordul).

Modell routing, fallback és a felhasználói élmény

A beszélgetés kitért a modell‑routing és fallback problémákra is: az, hogy egy kérdésre egy „okosabb” modellhez routingolnak, de az első osztályú osztályozó nem ismeri fel, hogy erre szükség van, UX‑problémákat okozhat (például felesleges visszalépésekhez vezethet). Anthropic különböző megoldásokat kínál az API‑n keresztül: ügyféloldali és szerveroldali fallback‑kezelés, illetve lehetőség kérések kezelésére úgy, hogy a beépített logika ne szakítsa meg hirtelen a felhasználói munkamenetet.

Roadmap‑szemlélet: portfólió‑alapú döntések és verifikáció

A cég termékmenedzsmentje probabilisztikus, portfólió‑alapú megközelítést alkalmaz: hedgelik a kockázatokat és infrastruktúra‑primitíveket (például a trust grant rendszert vagy a döntési visszavonó gombot) alakítanak ki, amelyek később több célra is alkalmazhatók. A modellindítások előtt sok policy‑döntést, adatmegőrzési és verifikációs munkát kell meghozni és rendszerezni.

Emlékek, personalizáció és a paraméterek problémája

A személyre szabás (például CLAUDE.md preferenciák) és az általános alapviselkedés közötti kompromisszum nehéz feladat. Anthropic jelenleg paraméterek tömegével (effort, budget, stb.) és ajánlásokkal próbál igazodni a különböző ügyfélcsoportok igényeihez; ugyanakkor elismerik, hogy ez még messze nem tökéletes, és hosszabb távon finomabb, skálázhatóbb personalizációs megoldásokat terveznek.

Összegzés: mit érdemes kipróbálni és mire figyeljenek a fejlesztők

  • Opus 5.5: a cég szerint a modell most két fontos területen jobb: kevesebb körülményeskedés, jobb intelligencia/dollár arány. A költséghatékonyság lehetővé teszi, hogy komplexebb, hosszabb munkameneteket és multi‑agent kísérleteket érdemes újrafontolni.
  • Managed Agents: aki nem akar saját harness‑t felépíteni, érdemes kipróbálni a Managed Agentset, mert a platform előre kezeli a sandboxing, credential‑injektálás és egress‑szabályok egy részét.
  • Multi‑agent minták: egyszerű elv — legyen egy vezető agent, osszuk fel a feladatokat aszinkron rész‑agentekre és osszunk meg egységes állapotot — sok párhuzamos, nem blokkoló agentmunka jól skálázható és sok új problémát tesz megoldhatóvá.
  • Evals: több és változatosabb értékelést javasolnak; az alkalmazásfejlesztés egyre inkább kutatásszerű megközelítést igényel: célmegfogalmazás, mérés, hibák vizsgálata, iteráció.

Anthropic munkájában így egyszerre találkozik a modellkutatás, a termék‑ és platformépítés, valamint a működési biztonság: a cég az Opus 5.5‑szel, a Managed Agents architektúrával és az infrastruktúra‑átalakításokkal egyszerre próbál jobb modellt, olcsóbb futtatást és biztonságosabb üzemet biztosítani a felhasználóknak.