Hugging Face és SkyPilot együttműködése: egress díj nélküli modellezés és adatelérés bármely felhőn

Hugging Face és SkyPilot mostantól közösen támogatják, hogy a Hubon tárolt modellek és adatkészletek közvetlenül elérhetők legyenek SkyPilot‑feladatok számára bármely felhőn vagy on‑premise klaszteren, egy hf:// URL és a meglévő HF_TOKEN használatával. Mivel a Hugging Face Storage nem számol fel egress vagy CDN díjat, az adatok GPU‑kra való beolvasása nem jár per‑cloud költséggel.

Mi változott pontosan

• A Hubon tárolt modellek, adatkészletek és Buckets mostantól mountolhatók SkyPilot‑feladatokba a store: hf beállítással és hf:// forrással. A mount lehet MOUNT (lazy FUSE alapú), MOUNT_CACHED (cache‑elt) vagy COPY.
• SkyPilot képes a futtatást kiosztani 20+ felhő, Kubernetes, Slurm és on‑prem erőforrásai között, így ugyanaz a job a rendelkezésre álló, lefoglalt vagy on‑demand GPU‑kon futhat bármely szolgáltatónál.
• Hugging Face Storage nem számít fel egress vagy CDN díjat, tehát amikor a SkyPilot által kiválasztott gép olvassa a Hubon lévő adatokat, az olvasás ingyenes — nincs szükség per‑cloud másolatokra.
• Buckets a Xet‑re épülnek: content‑defined chunking (kb. 64 KB chunkok) révén az inkrementális checkpointok és modellvariánsok csak a megváltozott chunkokat tárolják és továbbítják.
• A fejlesztés közösen történt; a Hugging Face hozzájárult az hf‑mount FUSE javításokkal, amelyek lehetővé teszik a működést nem privilegizált konténerekben.

Hogyan néz ki a használat a gyakorlatban

SkyPilot feladatok korábban is tudtak számos objektumtárat mountolni (S3, GCS, Azure, R2 stb.). Mostantól a Hugging Face Storage bekerül a támogatott backendek közé store: hf néven, és hf:// scheme‑pel érhető el. Példák SkyPilot file_mounts konfigurációra:

• Egy Hugging Face Bucket read‑write mountolása checkpointokhoz /checkpoints: source: hf://buckets/my-org/qwen-sft store: hf mode: MOUNT

• Egy modell repo read‑only mountolása /base-model: source: hf://Qwen/Qwen3.5-4B store: hf mode: MOUNT

• Egy adatkészlet repo rögzített revízióval /data: source: hf://datasets/my-org/my-dataset@main store: hf mode: MOUNT

A hf:// scheme lefedi az életciklust: modellek és adatok olvasása, checkpointok írása Bucketbe, kész modellek publikálása repo‑ba és későbbi lehúzása inference szerverre. Azok a csapatok, amelyek már a Hubot használják, nem igényelnek migrációt vagy új tárolószámlát.

MOUNT vs COPY: hogyan működik a fájlrendszer‑réteg

• MOUNT a Hugging Face hf‑mount FUSE backendjét használja: a bucket vagy repo lokális elérési útként jelenik meg, és a fájlrendszer szintjén történő read() hívások csak az érintett bájtokat töltik le a Xet backendről. Van helyi on‑disk cache, így ismételt olvasások helyben maradnak.
• A hf store esetén a MOUNT és a MOUNT_CACHED ugyanúgy tart cache‑t, azaz ismételt olvasások gyorsak maradnak.
• A lazy read viselkedés lehetővé teszi, hogy egy folyamat elkezdje feldolgozni egy nagy fájl tartalmát anélkül, hogy teljesen letöltené azt, csökkentve a GPU üresjáratát és a várakozási időt az első epoch alatt.
• COPY ezzel szemben előre letölti az adatokat a huggingface_hub kliensen keresztül.

Az autentikációhoz elég a meglévő HF_TOKEN környezeti változó beállítása és a SkyPilot --secret HF_TOKEN opcióval való átadása; ugyanaz a token működik AWS, GCP, Azure, Nebius, Lambda és Kubernetes esetén is.

Miért számít ez költségoldalról

A mai GPU‑kapacitás több helyen oszlik meg: lefoglalt blokkok, neocloud klaszterek, on‑prem rackek. Ha az objektumtár felhő‑ és régióspecifikus, a cross‑cloud olvasások egress díjat generálnak (például AWS esetén tipikusan körülbelül 0,09 USD/GB). Ennek következménye, hogy csapatok gyakran egy adott adathelyhez kötik a futtatásokat és hagyják a többi kapacitást kihasználatlanul.

Hugging Face Storage ezt a költségtényezőt megszünteti az olvasási oldalon: nincs egress vagy CDN díj, és a tárolás havi ára 12–18 USD/TB (a cikk összevetése szerint ez olcsóbb, mint az AWS S3 körülbelül 23 USD/TB plusz egress). Az írás továbbra is a compute felhő szokásos egress díját vonja maga után, de a legtöbb AI‑munka olvasás‑intenzív, így ez a változás jelentősen csökkenti a cross‑cloud költségeket és a futtatások vendorhoz kötését.

Rövid benchmark‑eredmények

Egy kisebb finomhangolást futtattak: Qwen/Qwen3.5-4B modellt finomhangolták a HuggingFaceH4/Multilingual-Thinking adatkészleten TRL SFTTrainerrel. A modell read‑only mountként volt elérve a Hubról, minden checkpointot egy Hugging Face Bucketbe írtak. Ugyanaz a SkyPilot YAML futott AWS, GCP és Lambda környezetekben; a különbség csak a --infra paraméter volt.

Mérési eredmények:

• A modell ingyenesen töltődött be minden felhőn; lazy read miatt a betöltés edzésre kb. 30 másodperc alatt készen volt (akár 500 MB/s-ig). Ha a modell S3‑ban lett volna, minden cross‑cloud olvasás egress díjat von maga után (~0,09 USD/GB AWS esetén).
• A checkpointok a bucketbe íródtak ~112–168 MB/s sebességgel; egy checkpoint mérete a példában ~8,43 GB.
• Per‑cloud checkpoint írási sebességek a tesztben:
  • AWS (us-east-2), GPU L40S: ~168 MB/s
  • GCP (us-central1), GPU L4: ~123 MB/s
  • Lambda (us-west-3), GPU H100: ~112 MB/s

Xet alapú deduplikáció — miért kevesebbet mozgat az infrastruktúra

A Hugging Face Buckets Xet‑re épülnek, amely content‑defined chunkinggel nagyjából 64 KB chunkokra bontja a fájlokat és csak az egyedi chunkokat tárolja egyszer. Ennek előnyei:

• Inkrementális checkpointok: ha csak a súlyok egy része változik, csak a megváltozott chunkok töltődnek fel.
• Modellvariánsok: fine‑tune‑ok és kvantizációk sok közös chunkot használnak, így a megosztott részek egyszer tárolódnak.
• Appendeléses munkafolyamatok: például Parquet fájlokhoz hozzáfűzésnél csak az új sorok mozognak; a cikk tesztje szerint 10K sor hozzáfűzése egy 100K soros táblához körülbelül 10 MB átvitel volt, nem az egész ~106 MB.
• Újrafeltöltések gyorsabbak: egy korábban már jelen lévő 8,43 GB blob újrafeltöltése kb. 8 másodperc volt, míg az első feltöltés 24 másodperc a chunk‑hash alapú referálás miatt.

A tényleges megtakarítás a műveletek és az átfedések függvénye, de a deduplikáció automatikus: egyszerűen ment egy checkpointot, és csak az új chunkok hagyják el a gépet.

Gyors kezdés

• pip install "skypilot[huggingface]"
• hf auth login vagy export HF_TOKEN=<your-token>
• Add hozzá az hf:// mountot a SkyPilot taskhoz és indítsd el.

Megjegyzés: a MOUNT használatához alap image‑nek glibc 2.34+ és /dev/fuse elérhetőség szükséges.

Együttműködés és források

A store: hf támogatás Nikhil Jha hozzájárulásából indult, a Hugging Face csapata továbbfejlesztette az hf‑mount FUSE javításokat, és a SkyPilot csapata integrálta a tároló backendbe. A teljes útvonal nyílt forrású: SkyPilot, Hugging Face hf‑mount és a huggingface_hub kliens is elérhető.

További dokumentációk és közösségi erőforrások elérhetők a SkyPilot és Hugging Face Storage dokumentációiban, valamint a SkyPilot Slack közösségben.