TRELLIS.2 3D-modell finomhangolása LoRA adapterekkel lábbeli adatokon

Ebben a cikkben bemutatják, hogyan lehet a TRELLIS.2 3D-generáló modellt specifikus tárgykategóriára (cipők, lábbeli) finomhangolni LoRA (low-rank adaptation) adapterekkel. A szerzők előre elkészített Docker-konténereket és parancsokat adnak meg, amelyeket lokálisan vagy Hugging Face Jobs-on lehet futtatni. Kísérletük a Google Scanned Objects (GSO) adatbázis 188 lábbeli példányára épül: 179-et használtak tanításra és 9-et tartottak vissza értékelésre.

Miért fontos ez?

Általános célú 3D-modellek, mint a TRELLIS.2, jól működnek széles körű mintákon, de konkrét alkalmazásoknál részletbeli hibákat produkálhatnak (például a cipők talprészének pontatlansága). A cél itt az, hogy a modell alakját és geometriáját javítsák anélkül, hogy feleslegesen átírnák a modell többi, már jól működő részét.

Módszer: mit és miért finomhangolnak

TRELLIS.2 feldolgozási folyamatát öt lépésre bontja a csapat: háttér eltávolítása (BiRefNet), képkódolás (DINOv3-L), durva szerkezet előrejelzése (sparse-structure flow DiT), részletes geometria előállítása (shape flow DiT) és anyagok/texture generálása (texture flow DiT). A LoRA adaptereket a két geometriai komponensbe (sparse-structure flow DiT és shape flow DiT) illesztik, a textúra-generáló DiT-et pedig befagyasztják.

Indoklás:

• A szerkezet- és alakfolyamatok irányítják a geometriai kimenetet, ezért ezek adaptálása közvetlen hatással van a talprész pontosságára.
• A rendelkezésre álló adat csak diffuse (égett világítással kevert) színképeket tartalmaz, nem külön anyagtérképeket; a texture flow DiT tanítása ezekkel torzíthatná az anyagok modelljét és katalógusvesztéshez (catastrophic forgetting) vezethet.

LoRA konfiguráció és erőforrások

• A finomhangolás LoRA adapterekkel történik a Hugging Face PEFT könyvtár használatával.
• A kísérlet konfigurációja összesen hozzávetőleg 9.3 millió tanítható adapter-paramétert tartalmaz.
• Adapter rangok: sparse-structure DiT esetén r=8 az attention és MLP rétegekben; shape DiT esetén r=16 az attention rétegekben.
• Hardver: A100 80 GB GPU-kat használtak Hugging Face Jobs futtatásokhoz.

Adatok előkészítése és futtatási lehetőségek

• Adat: a GSO-ból kiválasztott 188 lábbeli (a teljes GSO 1,030 objektumából részhalmaz). A feldolgozás során 16 nézetet renderelnek Blenderrel objektumonként; a megadott beállításokkal a teljes előfeldolgozás a 188 objektumra körülbelül 1 órát vett igénybe egy a100-large (80 GB) gépen.
• A folyamatok két Docker-konténerbe vannak csomagolva: egy az előfeldolgozáshoz (renderelés, latens reprezentációk előállítása), és egy a LoRA finomhangoláshoz.
• Futtatható lokálisan Dockerrel vagy távolon, Hugging Face Jobs szolgáltatáson keresztül. A parancssori példák megadják a szükséges HF_TOKEN titkos átadását, --flavor a100-large kijelölést, timeoutokat és egyéb paramétereket.

Bemenet-kódolás és belső reprezentációk

• A TRELLIS.2 belső, egységes latens reprezentációt használ; a modell decoderei ebből többféle 3D-kimeneti formátumot állítanak elő (például O-Voxel, majd mesh/GLB).
• O-Voxel egy sparsifikált voxel-formátum, amely csak a felület közelében lévő voxelokat tárolja, így hatékony a számítás és a konverzió CPU/GPU között.
• A sparse transformers csak a rászoruló voxelok ≈10%-át használják, a strukturális és textúrafolyamatok kihasználják ezt a sparse reprezentációt.

Finomhangolás részletei

• Előkészítés: a TRELLIS.2 befagyasztott encoderjeivel készítik el a latenseket és elmentik őket, így a későbbi futtatások újrafelhasználhatják az előfeldolgozott adatokat.
• Különbség a két LoRA-futtatás között: két külön munkamenetet indítanak — egyet a sparse-structure flow DiT (ss), és egyet a shape flow DiT (shape) finomhangolására. Mindkettő saját config fájllal fut.
• A tanítás során a DINOv3 szolgáltatja a képi feltételezést (conditioning tokens). Egy véletlenszerű nézetet választanak minden mintához a 16 renderelt nézet közül.
• A train/val felosztás: 179 objektum a tanításhoz, 9 objektum a tartalék teszthez (hold-out).

Technikai megoldások:

• A PEFT standard PeftModel wrapper nem működik a TRELLIS.2 egyedi forward pass miatt; helyette inject_adapter_in_model() függvényt használják az adapterek közvetlen betűzéséhez.
• A tanítható adapter súlyokat fp32-ben tartják, de bf16 autocastinget használnak a forward pass során a memóriacsökkentés érdekében.
• Optimalizálás: AdamW, gradient accumulation (4), gradient checkpointing és gradiensklippelés alkalmazva. Mentés 500 lépésenként.
• Veszteségfüggvény: flow-matching (rectified flow matching), amely egyezik a TRELLIS.2 előképzésében használt célokkal.

Futtatás és eredmények

• Minden finomhangolási futás egy A100 80 GB GPU-t használt a Hugging Face Jobs-on.
• Időigény: a sparse-structure DiT futás 7.2 óra volt; a shape DiT futás 3.6 óra volt.
• Kvantitatív eredmények (9 tartott objektum átlagai):
  • F-score (threshold 0.02): alapmodell 0.276 → LoRA-kkal 0.803
  • Chamfer távolság: 0.174 → 0.033 (alacsonyabb jobb)
  • Normal consistency: 0.530 → 0.804 (magasabb jobb)
• A javulás mindhárom mérőszámban jelentős: az F-score és a normal consistency erősen nőtt, a Chamfer távolság pedig jelentősen csökkent.
• A publikált görbék azt mutatják, hogy a sparse-structure veszteség gyorsan csökken az elején, míg a shape flow vesztesége nagyjából egy szinten maradt; ezek a görbék azonban csak a tanulási célt érzékeltetik, nem adnak közvetlen minőségi garanciát a generált geometriára — ezért szükséges a hold-out objektumokon való összehasonlítás.

Kód, tárolás és újrafelhasználhatóság

• A szerzők a feldolgozott latenseket elmentik, hogy többszörös tréningfutás újrahasználhassa az előkészített adatot.
• A teljes pipeline, a konténerek és a LoRA konfigurációk elérhetők egy nyilvános repository-ban (suvadityamuk/trellis-2-finetune-gso) és a már feldolgozott latensek is meg vannak osztva egy HF repo-n.

Következtetések és jövőbeli irányok

• A kísérlet megmutatta, hogy célzott LoRA adapterek hozzáadása a TRELLIS.2 geométeriai komponenseihez jelentősen javíthatja a konkrét kategória (cipők) reprodukcióját anélkül, hogy a teljes modellt át kéne írni.
• A fő tanulság: gondosan válasszuk ki, mit fagyasszunk be és mit finomhangoljunk — ez legalább olyan fontos, mint maga a finomhangolás.
• A szerzők javasolják a megközelítés kipróbálását más 3D-generáló modelleknél (például Pixal3D, UniLat3D) és más reprezentációknál (például Gaussian splatting, világgeneráló modellek), bár ezek eltérő reprezentációihoz és pipeline-jaihoz más módszerek lehetnek szükségesek.

Köszönetnyilvánítás: a leírásban szereplő futtatási parancsok, konténernevek és konfigurációk a szerzők által közzétett példákat tükrözik; a kísérleti eredmények a megadott hold-out objektumokon mért metrikákon alapulnak.