A fejlesztő kiadta a ttok 1.0 verziót miután a korábbi, 0.4-es változattal végzett frissítésnél felfigyelt egy váratlan alapértelmezésre. A folyamat során — a szerző leírása szerint — futtatta az uv tool upgrade ttok parancsot, majd egy fájlt átirányított az új verzióba, és észrevette, hogy a tokenizer alapértelmezettként a GPT‑4 tokenizert használta, holott szerinte világosan a GPT‑5/GPT‑6 családot kellene alapértelmezettnek beállítani.
A döntés, hogy az alapértelmezést átállítják, egyben alkalmat adott a 1.0-ás kiadás véglegesítésére és közzétételére.
Nyitott kérdés a GPT‑6 kompatibilitásról
Az OpenAI hivatalosan még nem erősítette meg, hogy a GPT‑6 ugyanazt a tokenizert használja-e, mint a GPT‑5 család. A projekthez kapcsolódó vitában erről némi elégedetlenség is látható (említettek egy "angry issue"-t), így a végső megerősítés még hiányzik.
Ugyanakkor a fejlesztő hivatkozik William Liu egy commitjára, amelyben egy kísérlet eredményét ismerteti: hét GPT-modell (5.5, 5.6 Sol/Terra/Luna és 6 Astra/Sol/Luna) ugyanannyi tokenre, 44,794-re számolt a vizsgált korpuszon, és minden egyes, az összehasonlításban használt 31 tesztfájlon egyezést mutattak. A commit megjegyzi továbbá, hogy a GPT‑6 nem vezet be bemeneti token-számbeli változást az említett korpuszon.
Miért fontos ez?
A tokenizer alapértelmezésének megváltoztatása hatással lehet az egyes modellekre optimalizált rendszerekre, token-számlálásra és költségbecslésekre. Ha a GPT‑5 és GPT‑6 valóban azonos tokenizert használ, az egyszerűbbé teheti a váltást és a kompatibilitás kezelését; ha nem, akkor a különböző alapértelmezések hibákhoz vagy pontatlan token-számításokhoz vezethetnek.
A ttok 1.0 kiadása tehát részben gyakorlati javítás eredménye, részben válasz a megfigyelt alapértelmezési eltérésre, míg a GPT‑6 tokenizere körüli kérdésekre a végső technikai megerősítésre továbbra is várni kell.
