A Hugging Face létrehozott egy Space-ot, amely megmutatja, hogy a Hubon található népszerű Transformers-modellek közül melyek futtathatók módosítás nélkül az AWS Trainium hardverén a torch-neuronx (TorchNeuron) natív PyTorch backend segítségével. A felület mindarról tájékoztat, hogy egy adott modell lefutott-e Trainiumon, hány Trainium-magon volt elosztva, a futás teljes faliideje (beleértve a fordítást) és a csúcs eszközmemória-felhasználás.
Mit lehet keresni és hogyan működik a Space
A Space alapértelmezésben a „Selected” nézetre nyílik, ahol a Hugging Face saját válogatása szerepel a Hub legnépszerűbb modelljei közül (letöltések és trending pontszám alapján). A felhasználó átkapcsolhat a „Trending” vagy „Downloads” nézetekre, megadhat részleges modellelnevet, és ezek a nézetek a Hub saját rangsorai szerint listázzák a modelleket, feladatok szerint. Ha egy modellt szándékosan kihagytak a tesztelésből, a Space jelzi az okot (többnyire nem volt prioritás, néha valódi inkompatibilitás).
A felületen kiválaszthatóak a Neuron-compiler (neuronx-cc) és a Transformers könyvtár verziói is, amelyekre a tesztelés vonatkozik.
Milyen modelleket és feladatokat tesztelnek most
A jelen állás szerint csak Transformers-modelleket tesztelnek, és a választás jelenleg a text-generation és az image-text-to-text feladatokra korlátozódik. A Hugging Face tervezi a kiterjesztést diffusers, sentence transformers és más Transformers-feladatok irányába.
Hogyan futtathatod magad
Ha kiválasztasz egy modellt, a Space megjeleníti a Neuron-stacket, amelyen a modellt tesztelték, a telepítendő csomagokat, valamint a futtatáshoz használt run.py szkriptet. A szkript a TorchNeuron bejelentésben ismertetett receptet követi: a modellt from_pretrained hívással tölti be, szükség esetén sharde-olja, majd generálást hajt végre statikus cache-sel és torch.compile(backend="neuron").
Például egy Trainium2 (trn2) példányon, az AWS Neuron Deep Learning Container környezetben telepítve a megadott csomagokat, a modell így indítható:
python3 run.py
Nincs szükség torchrun használatára: a szkript maga hozza létre a torch.distributed rangokat, ha a modellt sharde-olják. Az első futtatás során a modell grafikonjainak fordítása történik. Ezt a lépést kihagyhatod, ha a Space által a teszt során ugyanazzal a compiler-verzióval előállított grafikonokat lemásolod a publikus NEFF cache vödörből; a Space megadja a pontos parancsot és a megfelelő compiler-verziót, például:
hf buckets sync hf://buckets/aws-neuron/torch-neuronx-neff-cache/neuronxcc-<version> /tmp/neff_cache
Mit jelent, hogy "fut"
Minden teszt egy trn2 példányon történik, a modellt a súlyok tárolásához szükséges legkisebb számú Trainium-mag között sharde-olják. A legtöbb modell esetén tensor-parallelizmus alkalmazható; mixture-of-experts modelleknél, ahol nincs tensor-parallel terv, csak expert-parallelizmus kerül használatra. A teszt 32 token generálását kéri le, majd ellenőrzi az eredményeket: egyetlen magon a tokenek összehasonlítása egy CPU-s futtatás megfelelő ellenőrzőpontjának kimenetével történik. Shardolt esetben egy kisebb „bíró” modell vizsgálja, hogy a szöveg folyékony angolul van-e.
A cikk írásakor csak olyan modelleket teszteltek, amelyek elférnek 4 Trainium2 eszközön, azaz legfeljebb 16 magon. Egy PASS eredmény nem ad információt a throughputról, vagy a hosszabb generációk viselkedéséről.
Az eredmények publikus adathalmazban vannak
A Space által megjelenített összes adat a publikus aws-neuron/torch-neuronx-model-support adathalmazból származik; minden neuronx-cc és könyvtárverzió pároshoz egy Parquet fájl tartozik. Egy-egy sor tartalmazza a modell eredményét, a hibát ha meghiúsult, az egész stack verzióit és a futtatott run.py-t. Az adathalmaz közvetlenül is lekérdezhető például pandas-szal:
import pandas as pd
df = pd.read_parquet("hf://datasets/aws-neuron/torch-neuronx-model-support/data") df[df.model_id == "Qwen/Qwen3-0.6B"][["neuronx_cc","library","library_version","neuron_cores","result"]]
Az adathalmaz kártyája részletesen elmagyarázza az egyes eredmények jelentését.
Összefoglalás
Ha legközelebb azt szeretnéd megtudni, hogy egy Hubon található Transformers-modell futtatható-e AWS Trainiumon a torch-neuronx backenden, keresd fel a Hugging Face Space-ot: megmutatja a teszt eredményét, a szükséges futtatási parancsokat és az alapjául szolgáló publikus adathalmazt.
