Megjelent a llm-echo 0.5 kiadása, egy olyan hibakereső pluginé, amely nem egy tényleges nagy nyelvi modellt (LLM) használ, hanem egyszerűen visszamondja a neki megadott promptokat. A fejlesztő a közelgő LLM-kiadás tesztelése közben nézte át újra a llm-echo plugint, és a mostani verzióban pontosította a szimulált token-használat számolását.
Mit csinál a plugin?
A llm-echo egy „modellként” viselkedő eszköz, amely valójában nem végez LLM-számításokat: a bemeneti promptokat ismétli vissza. Ez hasznos hibakeresésnél és integrációs tesztekben, amikor szeretnénk modellezni a hívásokat anélkül, hogy tényleges modellt futtatnánk.
Mi változott a 0.5-ös verzióban?
A frissítés fő újdonsága, hogy a szimulált token-számlálás most már figyelembe veszi:
- a tool call-okat (eszközhívásokat),
- a system promptokat,
- és a belső „reasoning” (érvelés) tokeneket.
Ez pontosabb képet ad a token-felhasználásról a fejlesztési és tesztelési forgatókönyvekben, amikor a token-költségeket vagy a kvótákat szeretnénk modellezni.
Példa használat
A cikkben szereplő parancs és kimenet tipikus például:
uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage
A plugin visszaadja az átgondolt választ és a prompt részleteit, majd jelzi a szimulált token-felhasználást. A bemutatott kimenet:
First I consider the prompt, then I decide what to say. { "prompt": "hi there", "system": "", "attachments": [], "stream": true, "previous": [] } Token usage: 2 input, 24 output
A fenti sorokból látható, hogy az eszköz 2 input- és 24 output-tokent jelentett.
Miért fontos ez?
Bár a llm-echo nem helyettesíti a tényleges modelleket, a pontosabb token-számlálás segít a fejlesztőknek és tesztelőknek jobb becsléseket készíteni a költségekről és a kvótahasználatról anélkül, hogy éles modellhívásokat futtatnának. Ez különösen hasznos lehet integrációs tesztek, automatizált ellenőrzések és gyors prototípuskészítés esetén.
Címkék
llm
