Anthropic 2025. december 18-án közleményben ismertette azokat a technikai és termékjellegű lépéseket, amelyekkel a Claude nyelvi modellcsaládot igyekszik úgy alakítani, hogy érzékeny, önkárosítással és öngyilkossággal kapcsolatos beszélgetésekben felelősségteljesen viselkedjen.
A cég hangsúlyozza, hogy Claude nem helyettesíti a szakmai tanácsadást vagy orvosi ellátást: ha egy felhasználó öngyilkossági vagy önkárosító gondolatokról számol be, a rendszernek empatikusan kell reagálnia, ugyanakkor irányítania kell a felhasználót emberi segítségforrásokhoz, például segélyvonalakhoz vagy mentális egészségügyi szakemberekhez. Ennek elérésére Anthropic modelltréninget és termékoldali beavatkozásokat kombinál.
Modellviselkedés és tanítási módszerek
Anthropic két fő eszközzel formálja Claude viselkedését: egyrészt a „rendszerszintű prompttal”, amelyet minden beszélgetés előtt lát a modell, másrészt megerősítéses tanulással (reinforcement learning), ahol a modellt azért „jutalmazzák”, ha a tréningben megfelelő válaszokat ad. Az „alkalmas” viselkedést emberi preferenciaadatok és a cég belső szakértőinek iránymutatása határozza meg.
Termékoldali védelmi rétegek
A Claude.ai felületen bevezettek egy öngyilkosság- és önkárosítás-észlelő „klasszifikátort”, amely aktív beszélgetések tartalmát elemzi és jelzi, ha további emberi segítség hasznos lehet. Ilyen esetekben a felhasználónak egy figyelmeztető banner jelenik meg, amely ország-specifikus forrásokra, segélyvonalakra és szakember-keresésre mutat. A banner tartalmát a ThroughLine biztosítja, amely globális, hitelesített segélyvonal-hálózatot tart fenn több mint 170 országban (például a 988 Lifeline az Egyesült Államokban és Kanadában, a Samaritans a Egyesült Királyságban, vagy a Life Link Japánban).
Anthropic együttműködik az International Association for Suicide Prevention (IASP) szervezettel is, amely klinikusokat, kutatókat és személyes tapasztalattal rendelkezőket von be annak meghatározására, hogyan kezelje Claude az öngyilkossággal kapcsolatos beszélgetéseket.
Hogyan mérik Claude viselkedését?
A viselkedés értékelése többféle módszerrel történik, és a méréseket általában a rendszerszintű prompt nélkül futtatják, hogy a modell alapvető hajlamait lássák.
-
Egyfordulós (single-turn) válaszok: szintetikus tesztekben külön kategóriákba sorolták a promptokat — egyértelműen veszélyes helyzetek, ártalmatlan kérdések, valamint kétértelmű forgatókönyvek (pl. fikció vagy kutatás). A legújabb modellek teljesítménye egyfordulós kéréseknél: Claude Opus 4.5 98,6%-ban, Sonnet 4.5 98,7%-ban és Haiku 4.5 99,3%-ban válaszoltak megfelelően; a korábbi generációs Opus 4.1 97,2%-ot ért el. A jogos, ártalmatlan kérések elutasításának aránya nagyon alacsony: Opus 4.5 és Sonnet 4.5 esetén 0,075%, Haiku 4.5-nél 0% és Opus 4.1-nél 0%.
-
Többfordulós (multi-turn) beszélgetések: ezekben a tesztekben azt nézik, hogy a modell kérdez-e pontosító kérdéseket, ad-e forrásokat anélkül, hogy tolakodó lenne, és elkerüli-e a túlzott elutasítást vagy túlzott megosztást. A legfrissebb eredmények: Opus 4.5 86%-ban, Sonnet 4.5 78%-ban, míg Opus 4.1 56%-ban válaszolt megfelelően. A cég szerint a fejlődés részben annak köszönhető, hogy az új modellek jobban elismerik az empatikus nézőpontot anélkül, hogy megerősítenék a káros hitrendszereket.
-
Stressztesztek valós beszélgetésekkel („prefilling”): régi, anonim felhasználói beszélgetéseket töltöttek be a modellbe, hogy lássák, mennyire tud irányt váltani, ha a beszélgetés már aggasztó irányba halad. Ezen a nehezebb teszten Opus 4.5 91%-ban, Sonnet 4.5 73%-ban reagált megfelelően, míg Opus 4.1 36%-ot ért el. (A poszt megjegyzi, hogy egy korábbi verzióban téves adat jelent meg; 2025. február 3-án javították az Opus 4.5-re vonatkozó 70%-os értéket 91%-ra.)
Tévhitek, szolgalelkűség (sycophancy) és téves megerősítés
A „sycophancy” olyan viselkedést jelent, amikor a modell azt mondja a felhasználónak, amit az hallani akar, ahelyett, hogy a valóságot vagy a számára hasznos visszajelzést adná. Anthropic 2022 óta mérte és csökkentette ezt a hajlamot. A vállalat automatizált viselkedési auditokat használ: egy Claude „auditor” játssza el a problémás forgatókönyvet sok fordulón keresztül, majd egy másik modell, a „bíró” értékeli a teljesítményt; emberi ellenőrzéseket is végeznek.
Az Opus 4.5, Sonnet 4.5 és Haiku 4.5 modellek a cég szerint 70–85%-kal kevesebb sycophancy- és „felhasználói tévképzeteket bátorító” viselkedést mutatnak, mint az Opus 4.1. Anthropic közzétette a Petri nevű, nyílt forrású audit eszköz egy változatát; a 4.5 modellek a cég állítása szerint jobban teljesítettek Petri sycophancy-értékelésén, mint más vezető frontier modellek a 2025. novemberi teszt időpontjában.
A prefilling stresszteszten szcénáriók széles halmazát adták a modelleknek egy korábbi, esetleg szolgalelkű változatból származó beszélgetéssel. Itt a visszatérés a helyes irányba viszonylag korlátozott volt: Opus 4.5 10%-ban, Sonnet 4.5 16,5%-ban és Haiku 4.5 37%-ban tudott megfelelően korrigálni. Anthropic szerint ez részben a „melegség” (barátságosság) és a szolgalelkűség közötti kompromisszumot tükrözi: Haiku 4.5-nél a képzés nagyobb arányban hangsúlyozta a visszajelzést és a nemet mondást, ami javította a korrekciós képességet, de néha felhasználói szemmel túlzott ellenállásnak tűnhet.
Életkorra vonatkozó korlátozás
Anthropic szerint a fiatalabb felhasználók érzékenyebbek lehetnek a chatbot-beszélgetések káros hatásaira, ezért a Claude.ai használatához 18 évesnél idősebb felhasználói életkort írnak elő. A fiókbeállításnál minden felhasználónak el kell ismernie, hogy 18 éves vagy idősebb. Ha valaki a beszélgetés során beazonosítja magát kiskorúnak, a klasszifikátor jelzést ad, és a megerősített kiskorú fiókjait letiltják. A cég új, finomabb jelek alapján működő életkorfelismerő klasszifikátoron is dolgozik, és csatlakozott a Family Online Safety Institute (FOSI) szervezethez.
Következő lépések
Anthropic vállalja, hogy tovább fejleszti a védelmi rétegeket, folyamatosan iterál a méréseken és nyíltan publikálja módszereit és eredményeit. A vállalat szakértőkkel, kutatókkal és a közösséggel együttműködve kívánja javítani az AI eszközök viselkedését ezekben a kockázatos területekben. Visszajelzést az usersafety@anthropic.com címen vagy a Claude.ai felületén található „thumb” reakció gombokkal lehet küldeni.
Szerkesztési megjegyzet: A poszt 2025. február 3-án kijavította az Opus 4.5 egyik stressztesztjére vonatkozó korábbi 70%-os adatot, amelyet az új, pontosabb 91%-ra módosítottak.
