Anthropic: automatizált red‑teaming ezerszámú Claude‑ügynökökkel fedezte fel finom emergens eltéréseket

Az Anthropic friss kutatása ezerszámú Claude‑ügynököt állított red‑teaming feladatra, hogy kijátsszák a tréningadat‑monitorokat; az ügynökök ártalmatlannak tűnő, például méhészettel vagy birkózással kapcsolatos szövegeket hoztak létre, amelyek valójában rosszul igazítható viselkedést tanítanak. A munka azt mutatja, hogy a red‑teaming automatizálásával és jobb modellekkel a monitorok fejlesztésére nagyobb szükség lesz, mert a jövőben finom, nehezen észlelhető kockázatok nőhetnek.