Eszközök

Mesterséges intelligenciával generált szöveg

Megjelent a ttok 0.4: parancssoros token számláló frissítésekkel

A ttok parancssori eszköz 0.4-es verziója jelent meg, amely OpenAI nyílt forráskódú tiktoken könyvtárát használja a tokenek számolásához.

Megjelent a ttok 0.4: parancssoros token számláló frissítésekkel

A ttok parancssori eszköz 0.4-es verziója jelent meg, amely OpenAI nyílt forráskódú tiktoken könyvtárát használja a tokenek számolásához. A fejlesztő közlése szerint a programot néhány évig nem frissítették, de most javították a Click figyelmeztetést, frissítették a folyamatos integrációt és hozzáadták a --list-models parancsot. A --list-models parancs lehetővé teszi az elérhető modellek listázását, ami megkönnyíti a kompatibilitás és tokenköltség ellenőrzését. A kiadás számozása 0.4, ami a kisebb, de hasznos fejlesztéseket jelzi. A ttok működik uvx-szel is, így bármilyen bemenetnél használható, például: cat file.txt | uvx ttok. Ez különösen hasznos automatizált munkafolyamatokban és szkriptekben, ahol pipelésre van szükség. A frissített CI növeli a kód minőségét és a telepítési folyamat megbízhatóságát. A Click figyelmeztetés javítása csökkenti a futás közbeni zavaró üzeneteket. A változtatások elsősorban fejlesztőknek és MLOps mérnököknek érdekesek. A kiadás hozzájárul a tokenizálás egyszerűsítéséhez és az OpenAI modellek költségének pontosabb előrejelzéséhez. A projekt címkéi között szerepelnek a projects, ai, openai, generative-ai, llms és tokenization témák.