Eszközök

Mesterséges intelligenciával generált szöveg

Baseten csatlakozott a Hugging Face Inference Provider-ek közé, támogatva nyílt LLM-eket és szerver nélküli inferenciát

A Baseten mostantól hivatalosan támogatott Inference Provider a Hugging Face Hubon, amely lehetővé teszi a szerver nélküli inferencia közvetlen használatát a modelloldalakon.

Baseten csatlakozott a Hugging Face Inference Provider-ek közé, támogatva nyílt LLM-eket és szerver nélküli inferenciát

A Hugging Face bejelentette, hogy a Baseten mostantól hivatalosan is támogatott Inference Provider a Hugging Face Hubon. A lépés lehetővé teszi, hogy a fejlesztők közvetlenül a Hub modelloldalairól, valamint a kliens SDK-kon (JavaScript és Python) keresztül szerver nélküli inferenciát futtassanak a Baseten szolgáltatásain keresztül.

Mit jelent ez a gyakorlatban?

Baseten egy AI-infrastruktúra platform, amely többek között szerver nélküli inferenciát és modellek üzemeltetését kínálja. A Hubon való integráció részeként a Baseten támogatást indít a beszélgetés-alapú és szöveg-generáló feladatokra, így hozzáférést biztosít népszerű, nyílt súlyú nagy nyelvi modellekhez (LLM-ekhez), például a Kimi K3-hoz, a DeepSeek V4 Flash legújabb változatához és a GLM-5.2-höz. A cég közölte, hogy további feladattámogatások később érkeznek.

Hogyan használható — felhasználói felület és SDK-k

A Hub webes felületén a felhasználói fiók beállításaiban megadhatók az egyes szolgáltatóknál regisztrált saját API-kulcsok. Ha nincs megadva egyedi kulcs, a kérések a Hugging Face útján lesznek továbbítva. A felhasználók meghatározhatják a szolgáltatók preferenciarendjét, amely a modelloldalak widgetjeiben és példakódjaiban is érvényesül.

Két működési mód létezik, amikor Inference Providert hívunk:

  • Egyedi kulcs: a hívások közvetlenül a kiválasztott inferencia-szolgáltatóhoz mennek a felhasználó saját API-kulcsával.
  • HF által továbbított (routed): ebben az esetben nincs szükség külön tokenre a szolgáltatónál; a tranzakciók a Hugging Face fiókodon keresztül kerülnek elszámolásra.

A Baseten elérhető a Hugging Face SDK-kon keresztül: Pythonban a huggingface_hub (>= 1.26.1), JavaScript-ben pedig az @huggingface/inference csomagok használhatók. A cég példákat közölt arra, hogyan lehet a DeepSeek V4 Flash modellt Baseten-hosztolással meghívni, ahol a felhasználó egy Hugging Face tokennel hitelesít, és a kérés automatikusan a Basetenhez jut.

Integráció Agent Harness-ekkel és eszközökkel

A Hugging Face Inference Provider-ek integrálva vannak több Agent Harness-szel — ilyenek például a Pi, OpenCode, Hermes Agents és OpenClaw — így a Baseten-en futó modellek közvetlenül csatlakoztathatók ezekhez az eszközökhöz további kódolás nélkül.

Számlázás és kreditek

A közvetlen (provider kulccsal végzett) kéréseknél a számlázás az adott inferencia-szolgáltató (például Baseten) számláján történik; ha Baseten API-kulcsot használsz, a költségeket a Baseten fiókodon terhelik. Az HF által továbbított kéréseknél a díjakat a szokásos szolgáltatói API-árazás szerint számolják, a Hugging Face nem ad hozzá külön felárat; a költségkövetés a felhasználó Hugging Face fiókján keresztül történik. A jövőben partnerségi bevételmegosztási megállapodások is létrejöhetnek.

Fontos megjegyzés: a Hugging Face PRO felhasználók havi 2 dollár értékű Inference-kreditet kapnak, amelyet több szolgáltatónál is felhasználhatnak. A Hub ingyenes, bejelentkezett felhasználóknak szintén biztosít kis mennyiségű ingyenes inferenciát, de a PRO előfizetés további előnyöket (ZeroGPU, Spaces Dev Mode, 20x magasabb korlátok stb.) kínál.

Visszajelzés és továbblépés

A Hugging Face kéri a felhasználói visszajelzéseket a szolgáltatásról. A Baseten integrációval kapcsolatos tapasztalatok és javaslatok megoszthatók a Hugging Face közösségi felületein. A cég jelezte, hogy a támogatott modellek teljes listája a Hubon elérhető, és hogy a további feladattípusokra vonatkozó támogatás fokozatosan jelenik meg.