Anthropic Claude Code csapatának egyik tagja szerint a rendszerutasítások több mint 80%-át eltávolították anélkül, hogy a kódolási teljesítmény romlott volna. Egy mérnök lekérte az élő kérések adatait az ellenőrzéshez: az Opus 4.8 verzión a rendszerprompt hossza 15 225 karakterről 4 467-re zsugorodott. Egyes szabályok — például hogy soha ne adj hozzá kommenteket, soha ne találj ki információt, vagy tölts be minden eszközt előre — eltűntek. Opus 5-re a prompt hossza visszalépett 7 694 karakterre, új szabályokkal, melyek megpróbálják kordában tartani a modellt, amely már túl sokat csinál és túl sokat magyaráz.
Mit jelent ez a gyakorlatban
A rendszerszabályok azokat a gyakorlatokat foglalták össze, amelyeket a legjobb kódolóügynemet építő emberek tapasztalatai alapján dolgoztak ki. A fejlődés során azonban a modell elég nagyra nőtt ahhoz, hogy ezen emberi tanácsok egy része feleslegessé váljon, és gyakorlatilag „megsemmisüljön”. A csapat meglátása szerint az évek során begyűjtött emberi tapasztalatokat nem javította a modell skálázása — sok esetben azok egyszerűen elveszítették a hatásukat.
Konkrét számok és változások
- Eltávolított rész: a rendszerutasítások több mint 80%-a (csapattag állítása).
- Opus 4.8: a rendszerprompt 15 225 karakterről 4 467 karakterre csökkent egy belső ellenőrzés során.
- Opus 5: a prompt ismét 7 694 karakteren áll, új, a túlzott működést és magyarázatokat korlátozó szabályokkal.
- Eltűnt szabályok példái: „soha ne adj hozzá kommenteket”, „soha ne találj ki”, „tölts be minden eszközt előre”.
Miért fontos ez
Az eset rámutat arra a tágabb tanulságra, hogy minden ember által a modellekbe vetett szabály egy fogadás a skálázhatóság ellen — azaz arra, hogy képesek maradnak-e meg a terhelés és a nagyobb, erősebb modellek alkalmazása közben. A tapasztalatok szerint a skálázódás gyakran győzedelmeskedik: a matematikai vagy kapacitásnövekedés hatására az emberek által szigorúan meghatározott viselkedési korlátok hatástalanokká válhatnak.
Következmények és reflektálás
A történet a mesterséges intelligencia és ügynégép-fejlesztés terén dolgozó csapatok számára figyelmeztetés: a kézzel fogalmazott, gondosan kidolgozott rendszerszabályok nem feltétlenül tartanak ki, amikor a modell kapacitása növekszik. Ennek kezelése érdekében néhány szabályt visszaállítottak Opus 5-ön, de a jelenség alapvető kérdéseket vet fel arról, hogyan lehet a jövőben fenntarthatóan kombinálni az emberi szakértelmet és a növekvő számítási teljesítményt.
Záró gondolat
A csapat tapasztalata röviden: bár a szakértők évekig formálták a szabályokat, a nyers számítási erő gyakran felülírja ezt a munkát. Ez nem pusztán technikai érdekesség, hanem stratégiai kihívás a modellek tervezése és a biztonsági/szabályozási mechanizmusok megalkotása szempontjából.
