Egy felhasználói megjegyzés bemutatja, hogyan lehet helyben futtatni a Prism-ML által előállított, tömörített Ternary-Bonsai-2-27B GGUF modellt Prism saját llama.cpp fordításával és a mellékelt llama-serverrel. A hozzászólás tartalmazza a szükséges letöltési parancsokat, a modell nevét és méretére tett közelítést, a szerverindításhoz javasolt kapcsolókat, valamint megfigyelt teljesítményadatokat egy Apple M5 Pro gépen.
Mit és miért
A bemutatott modell a "Ternary-Bonsai-2-27B-PTQ1_0.gguf" nevű GGUF fájl, amelyet a Prism-ML tárolt a Hugging Face-en. A komment írója arra figyelmeztet, hogy a fájl használatához Prism saját, módosított llama.cpp fordítására van szükség: a PrismML-Eng/llama.cpp GitHub-repozitóriumának egy kiadott binárisa.
A cél: a Bonsai 2 27B modell közel veszteségmentes tömörített változatának kipróbálása helyi gépen, a mellékelt "llama-server" webfelületen keresztül vagy API-hívással.
Konkrét lépések (az eredeti parancsok alapján)
- Munka könyvtár: /tmp
- A Prism macOS futtatókörnyezet letöltése és kibontása (példa: macOS ARM64 bináris tarball):
curl -fL https://github.com/PrismML-Eng/llama.cpp/releases/download/prism-b10685-7dffb15/llama-prism-b10685-7dffb15-bin-macos-arm64.tar.gz -o bonsai-runtime.tar.gz tar -xzf bonsai-runtime.tar.gz
- A GGUF modell letöltése (a fájl a komment alapján ~5.95 GB körüli):
curl -fL https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/resolve/main/Ternary-Bonsai-2-27B-PTQ1_0.gguf -o Ternary-Bonsai-2-27B-PTQ1_0.gguf
- A szerver indítása — a kommentben a szervert a 8331-es portra indították az alábbi példával:
./llama-prism-b10685-7dffb15/llama-server
-m Ternary-Bonsai-2-27B-PTQ1_0.gguf
--port 8331 -ngl 99 -fa on -c 32768
Ezek a kapcsolók az eredeti megjegyzés szerint növelik a memóriagazdálkodást és a teljesítményt (például "-c 32768" a kontextusméretet állítja).
- A futó szerver web UI-ja elérhető a http://localhost:8331 címen, illetve API-n keresztül is lehet lekérdezést küldeni. A komment egy példa API-hívást is mutatott:
uvx llm openai endpoint http://127.0.0.1:8331/v1 --model bonsai-2-27b --responses hi
Megfigyelt viselkedés és teljesítmény
- A modell fájl mérete a komment szerint körülbelül 5,95 GB.
- A szervert egy Apple M5 Pro gépen próbálták ki; a mérések szerint a teljesítmény nagyjából 20 token/s volt. Ugyanazon a gépen, szerver újraindítását követően a felhasználó egyszer 44 token/s értéket is mért.
- Indításkor a szerver naplója a következő figyelmeztetést jelezte: "ggml_metal_device_init: - the tensor API is not supported in this environment - disabling". Ez arra utal, hogy a Metal tensor API nem érhető el vagy le van tiltva az adott környezetben, ami befolyásolhatja a GPU-s gyorsítást.
Miért fontos ez
A bejegyzés hasznos gyakorlati útmutatót ad azoknak, akik a tömörített Bonsai 2 27B modellt szeretnék helyben futtatni, különösen macOS ARM rendszereken. Megmutatja a szükséges Prism-specifikus eszközöket és néhány reális teljesítményszámot, valamint figyelmeztet a futtatókörnyezetben megjelenő Metal API üzenetre, ami befolyásolhatja a sebességet.
Megjegyzések és korlátozások
- A leírás egy felhasználói komment alapján készült; hivatalos dokumentációt vagy további részleteket érdemes a PrismML-Eng/llama.cpp és a Hugging Face model oldalán ellenőrizni.
- A teljesítmény erősen függ a hardvertől és a futtatási környezettől; a megadott token/s értékek a komment szerzőjének tapasztalatait tükrözik.
(A cikk forrása egy Hacker News-komment volt, amely gyakorlati parancsokat és megfigyeléseket tartalmazott a Prism Ternary-Bonsai-2-27B GGUF modell futtatásáról.)
