Armin Ronacher beszámolója szerint újabb Anthropic Claude-modellek, köztük Opus 4.8 és Sonnet 5, időnként hibás formátumú hívásokat küldenek a Pi szerkesztőeszközének. A modellek magát az editálást általában helyesen határozzák meg, viszont a nested edits[] tömbben található argumentumokhoz kitalált, dokumentálatlan kulcsokat adnak meg, amitől a Pi elutasítja a hívást.
Mi történt pontosan
- A probléma lényege, hogy a Claude család újabb modelljei extra, nem támogatott mezőket („made-up keys”) illesztenek az edits[] tömbbe, így az üzenet nem felel meg a Pi által várt sémának.
- Maga az egyes szerkesztési utasítás tartalmilag általában helyes (például a cserélendő szöveg és az új szöveg megvan), de a strukturális eltérés miatt Pi visszakéri a modelltől a helyes formátumot.
- Nem kis modellekről van szó: Armin megemlíti az Opus 4.8-at és a Sonnet 5-öt; a régebbi Claude-verziók ezzel a hibával nem mutattak ilyen gyakoriságú problémát.
Miért meglepő ez? Mi lehet az oka
Általában előfordul, hogy nyelvi modellek időnként hibás, rosszul formázott eszközhívásokat (tool call) generálnak — különösen kisebb modellek. A váratlanság abban áll, hogy a jelenség rosszabbodik a család legkorszerűbb modelljeinél. Armin feltételezése szerint a jelenség oka az lehet, hogy az újabb Anthropic-modelleket célzottan arra finomhangolták (feltehetően megerősítéses tanulással, Reinforcement Learning), hogy minél jobban használják a Claude Code-ba beépített edit‑eszközöket. Ennek következménye, hogy más, külső fejlesztők által készített eszközkörnyezetek — például a Pi — saját, eltérő sémájú szerkesztő API-ját a modell gyakrabban használhatja hibásan.
Sémák és eltérések a gyakorlatban
- Claude Code által használt edit-tool inkább keresés‑és‑csere (search-and-replace) megközelítést alkalmaz.
- OpenAI korábbi modellei és eszközei, például a Codex, más mechanizmust használnak (apply_patch), és OpenAI korábban beszélt arról, hogy modelljeiket ennek megfelelően tanították a hatékony használatra.
Mindez azt jelzi, hogy a modellek eszközhasználati viselkedése szorosan összefügghet a betanítás során alkalmazott eszközsémákkal.
Következmények és lehetséges megoldások
A jelenség gyakorlati hatása az, hogy harmadik féltől származó kódolási keretrendszerek és integrációk — amelyek saját szerkesztési API‑val dolgoznak — váratlan kompatibilitási problémákkal szembesülhetnek, ha a modellek a beépített (Claude Code‑specifikus) séma szerint kezdenek „gondolkodni”. Néhány lehetséges válaszlépés (Armin nem feltétlenül javasol minden megoldást, de ezek a logikus opciók):
- A Pi-hoz hasonló külső eszközök többféle edit‑eszköz implementálása, hogy a rendszer a kiválasztott modellhez legjobban illeszkedő sémát használhassa.
- Robusztusabb validáció és hibakezelés az eszközhívásoknál: ha a modell által generált hívás nem felel meg a sémának, a rendszer megpróbálhatja automatikusan átalakítani vagy normalizálni a bemenetet.
- Kommunikáció a modellek fejlesztőivel az eszközsémák szabványosításáról vagy arról, hogy a modellek kevésbé legyenek túloptimalizálva egyetlen beépített eszközhasználatra.
Összefoglalás
Armin Ronacher tapasztalata szerint az Anthropic legújabb Claude-modellei (Opus 4.8, Sonnet 5) nagyobb arányban generálnak olyan, sémát sértő edit‑hívásokat a Pi szerkesztőeszközéhez, amelyek extra, kitalált mezőket tartalmaznak az edits[] tömbben. A jelenség feltehető oka a modelleknek a Claude Code‑specifikus eszközhasználatra való finomhangolása, ami kompatibilitási gondokat okozhat harmadik féltől származó integrációkban. Ez felveti a kérdést, hogy a külső kódolási kereteknek érdemes‑e támogatniuk többféle edit‑eszközt vagy más módon alkalmazkodni a modellek viselkedéséhez.
