Ebben a cikkben bemutatják, hogyan lehet a TRELLIS.2 3D-generáló modellt specifikus tárgykategóriára (cipők, lábbeli) finomhangolni LoRA (low-rank adaptation) adapterekkel. A szerzők előre elkészített Docker-konténereket és parancsokat adnak meg, amelyeket lokálisan vagy Hugging Face Jobs-on lehet futtatni. Kísérletük a Google Scanned Objects (GSO) adatbázis 188 lábbeli példányára épül: 179-et használtak tanításra és 9-et tartottak vissza értékelésre.
Miért fontos ez?
Általános célú 3D-modellek, mint a TRELLIS.2, jól működnek széles körű mintákon, de konkrét alkalmazásoknál részletbeli hibákat produkálhatnak (például a cipők talprészének pontatlansága). A cél itt az, hogy a modell alakját és geometriáját javítsák anélkül, hogy feleslegesen átírnák a modell többi, már jól működő részét.
Módszer: mit és miért finomhangolnak
TRELLIS.2 feldolgozási folyamatát öt lépésre bontja a csapat: háttér eltávolítása (BiRefNet), képkódolás (DINOv3-L), durva szerkezet előrejelzése (sparse-structure flow DiT), részletes geometria előállítása (shape flow DiT) és anyagok/texture generálása (texture flow DiT). A LoRA adaptereket a két geometriai komponensbe (sparse-structure flow DiT és shape flow DiT) illesztik, a textúra-generáló DiT-et pedig befagyasztják.
Indoklás:
- A szerkezet- és alakfolyamatok irányítják a geometriai kimenetet, ezért ezek adaptálása közvetlen hatással van a talprész pontosságára.
- A rendelkezésre álló adat csak diffuse (égett világítással kevert) színképeket tartalmaz, nem külön anyagtérképeket; a texture flow DiT tanítása ezekkel torzíthatná az anyagok modelljét és katalógusvesztéshez (catastrophic forgetting) vezethet.
LoRA konfiguráció és erőforrások
- A finomhangolás LoRA adapterekkel történik a Hugging Face PEFT könyvtár használatával.
- A kísérlet konfigurációja összesen hozzávetőleg 9.3 millió tanítható adapter-paramétert tartalmaz.
- Adapter rangok: sparse-structure DiT esetén r=8 az attention és MLP rétegekben; shape DiT esetén r=16 az attention rétegekben.
- Hardver: A100 80 GB GPU-kat használtak Hugging Face Jobs futtatásokhoz.
Adatok előkészítése és futtatási lehetőségek
- Adat: a GSO-ból kiválasztott 188 lábbeli (a teljes GSO 1,030 objektumából részhalmaz). A feldolgozás során 16 nézetet renderelnek Blenderrel objektumonként; a megadott beállításokkal a teljes előfeldolgozás a 188 objektumra körülbelül 1 órát vett igénybe egy a100-large (80 GB) gépen.
- A folyamatok két Docker-konténerbe vannak csomagolva: egy az előfeldolgozáshoz (renderelés, latens reprezentációk előállítása), és egy a LoRA finomhangoláshoz.
- Futtatható lokálisan Dockerrel vagy távolon, Hugging Face Jobs szolgáltatáson keresztül. A parancssori példák megadják a szükséges HF_TOKEN titkos átadását, --flavor a100-large kijelölést, timeoutokat és egyéb paramétereket.
Bemenet-kódolás és belső reprezentációk
- A TRELLIS.2 belső, egységes latens reprezentációt használ; a modell decoderei ebből többféle 3D-kimeneti formátumot állítanak elő (például O-Voxel, majd mesh/GLB).
- O-Voxel egy sparsifikált voxel-formátum, amely csak a felület közelében lévő voxelokat tárolja, így hatékony a számítás és a konverzió CPU/GPU között.
- A sparse transformers csak a rászoruló voxelok ≈10%-át használják, a strukturális és textúrafolyamatok kihasználják ezt a sparse reprezentációt.
Finomhangolás részletei
- Előkészítés: a TRELLIS.2 befagyasztott encoderjeivel készítik el a latenseket és elmentik őket, így a későbbi futtatások újrafelhasználhatják az előfeldolgozott adatokat.
- Különbség a két LoRA-futtatás között: két külön munkamenetet indítanak — egyet a sparse-structure flow DiT (ss), és egyet a shape flow DiT (shape) finomhangolására. Mindkettő saját config fájllal fut.
- A tanítás során a DINOv3 szolgáltatja a képi feltételezést (conditioning tokens). Egy véletlenszerű nézetet választanak minden mintához a 16 renderelt nézet közül.
- A train/val felosztás: 179 objektum a tanításhoz, 9 objektum a tartalék teszthez (hold-out).
Technikai megoldások:
- A PEFT standard PeftModel wrapper nem működik a TRELLIS.2 egyedi forward pass miatt; helyette inject_adapter_in_model() függvényt használják az adapterek közvetlen betűzéséhez.
- A tanítható adapter súlyokat fp32-ben tartják, de bf16 autocastinget használnak a forward pass során a memóriacsökkentés érdekében.
- Optimalizálás: AdamW, gradient accumulation (4), gradient checkpointing és gradiensklippelés alkalmazva. Mentés 500 lépésenként.
- Veszteségfüggvény: flow-matching (rectified flow matching), amely egyezik a TRELLIS.2 előképzésében használt célokkal.
Futtatás és eredmények
- Minden finomhangolási futás egy A100 80 GB GPU-t használt a Hugging Face Jobs-on.
- Időigény: a sparse-structure DiT futás 7.2 óra volt; a shape DiT futás 3.6 óra volt.
- Kvantitatív eredmények (9 tartott objektum átlagai):
- F-score (threshold 0.02): alapmodell 0.276 → LoRA-kkal 0.803
- Chamfer távolság: 0.174 → 0.033 (alacsonyabb jobb)
- Normal consistency: 0.530 → 0.804 (magasabb jobb)
- A javulás mindhárom mérőszámban jelentős: az F-score és a normal consistency erősen nőtt, a Chamfer távolság pedig jelentősen csökkent.
- A publikált görbék azt mutatják, hogy a sparse-structure veszteség gyorsan csökken az elején, míg a shape flow vesztesége nagyjából egy szinten maradt; ezek a görbék azonban csak a tanulási célt érzékeltetik, nem adnak közvetlen minőségi garanciát a generált geometriára — ezért szükséges a hold-out objektumokon való összehasonlítás.
Kód, tárolás és újrafelhasználhatóság
- A szerzők a feldolgozott latenseket elmentik, hogy többszörös tréningfutás újrahasználhassa az előkészített adatot.
- A teljes pipeline, a konténerek és a LoRA konfigurációk elérhetők egy nyilvános repository-ban (suvadityamuk/trellis-2-finetune-gso) és a már feldolgozott latensek is meg vannak osztva egy HF repo-n.
Következtetések és jövőbeli irányok
- A kísérlet megmutatta, hogy célzott LoRA adapterek hozzáadása a TRELLIS.2 geométeriai komponenseihez jelentősen javíthatja a konkrét kategória (cipők) reprodukcióját anélkül, hogy a teljes modellt át kéne írni.
- A fő tanulság: gondosan válasszuk ki, mit fagyasszunk be és mit finomhangoljunk — ez legalább olyan fontos, mint maga a finomhangolás.
- A szerzők javasolják a megközelítés kipróbálását más 3D-generáló modelleknél (például Pixal3D, UniLat3D) és más reprezentációknál (például Gaussian splatting, világgeneráló modellek), bár ezek eltérő reprezentációihoz és pipeline-jaihoz más módszerek lehetnek szükségesek.
Köszönetnyilvánítás: a leírásban szereplő futtatási parancsok, konténernevek és konfigurációk a szerzők által közzétett példákat tükrözik; a kísérleti eredmények a megadott hold-out objektumokon mért metrikákon alapulnak.
