Lei Zhang és munkatársai a Meta-tól, a University of California San Diego-tól, a Worcester Polytechnic Institute-től és a Northwestern University-től egy finomhangolási módszert mutattak be, amelyik úgy tanítja egy képalkotó modellt, hogy a teljes kép egyidejű előállítása helyett szakaszokra bontva tervezzen, hozzon létre elemeket, ellenőrizze azokat és szükség esetén javítson.
Mi volt a cél?
A szerzők célja az volt, hogy csökkentsék a szöveg alapú promptok és a generált képek közti eltéréseket — különösen a térbeli relációk (például melyik objektum van előtte/mögötte/vagy felett) és egyes attribútumok (például ujjak, karok vagy lábak száma) hibáit. Ehelyett a modell egy iteratív folyamat során tanulja meg felépíteni és kijavítani a kompozíciót: tervezés, vázlatkészítés, ellenőrzés és finomítás.
A szakaszok menete (példa)
A „a kanál felett lebegő medve” típusú promptot a szerzők a következő lépésekre bontották:
- Plan (Tervezés): írjon utasítást a következő változtatáshoz (iteráció 1: “rajzolj egy medvét”; iteráció 2: “adj a medve alá egy kanalat”) és foglalja össze, hogyan néz majd ki a kép.
- Sketch (Vázlat): generálja a jelenlegi állapot frissített képét (iteráció 1: medve; iteráció 2: medve és kanál).
- Inspect (Ellenőrzés): hasonlítsa össze az utasítást és a leírást a prompttal, illetve a képet az utasítással.
- Refine (Finomítás): ha szükséges, adjon ki korrekciós parancsot (például: „a kanál a medve előtt van, rajzold a medve alá”) és készítsen új képet.
A megközelítés azt tanítja meg a modellnek, hogy ne csak egyszerre próbáljon mindent megjeleníteni, hanem fokozatosan építse fel és korrigálja a jelenetet.
Mivel kezdték és hogyan finomhangolták?
A munkához kiindulási alapként a BAGEL-7B előre betanított multimodális modellt használták, amely képeket és szöveget fogad, és képeket illetve szöveget ad vissza. A modellt úgy hangolták tovább, hogy az iteratív szakaszokat végigjárva tervezzen, vázlatot készítsen, ellenőrizzen és finomítson.
-
Plan és Sketch finomhangolása: a szerzők 32 000 példát generáltak, mindegyikben körülbelül 3–5 köztes kép és egy végső kép szerepelt. Ehhez GPT-4o-t használtak, amely átalakította két meglévő adathalmazból származó promptokat szöveges jelenetgráffá; a gráf csomópontjai objektumok vagy attribútumok, élei pedig a köztük lévő relációkat kódolták. A gráf részeiből véletlenszerűen választottak ki elemeket, GPT-4o-ból kérték, hogy alakítson ki inkrementális promptokat, majd minden lépéshez képet generáltak FLUX.1 Kontext segítségével. Csak azokat az eredményeket tartották meg, amelyeket GPT-4o konzisztensnek ítélt az inkrementális promptokkal. A modell ezeken a példákon megtanulta (i) a következő szöveg tokenek előállítását és (ii) a jelenlegi kép pixeleinek több flow-matching lépésen keresztüli módosítását a következő kép létrehozásához.
-
Inspect finomhangolása: a szerzők a plan+sketch után finomhangolt modellt használták arra, hogy példákat generáljanak inkrementális utasításokról és képekről; ezután GPT-4o-val megítéltették, hogy az adott köztes szöveges leírás ütközik-e az eredeti prompttal, majd GPT-4o-t megkérték, hogy adjon kritikákat és javító utasításokat. Ebből közel 7 000 konzisztens és mintegy 8 300 inkonzisztens példát állítottak elő. A modell ezek reprodukálásával megtanulta vagy elfogadni az aktuális tervet, vagy leírni, hogyan kellne azt helyesbíteni.
-
Refine finomhangolása: a szerzők egy olyan adathalmazt is használtak, amely képeket, a kép javítására vonatkozó szöveges reflektálásokat és a javított képeket tartalmazta.
Végül a három adatsort együtt is finomhangolták a korábbi veszteségfüggvényekkel.
Eredmények és mérőszámok
A finomhangolás javította a BAGEL-7B teljesítményét olyan feladatokban, ahol a prompt és a kép közti objektumrelációknak pontosan egyezniük kell (például a medve legyen a kanálon, ne mögötte). Javult továbbá a modell képessége valós világismeret alapján jelenetek előállítására (például egy napnak megfelelő időpont vagy történelmi kor ábrázolása).
- GenEval (a promptban megemlített részletek képen való megjelenését mérő mutató): a finomhangolt BAGEL-7B 77 százalékról 83 százalékra emelkedett, miután 62 000 példán finomhangolták; a modell 131 flow-matching lépést használt.
- Összehasonlítás: PARM, egy másik módszer, amely a köztes zajos diffúziós állapotok kritikájával javít, 77 százalékot ért el, de ehhez 688 000 példán való finomhangolásra és 1 000 flow-matching lépésre volt szükség.
- WISE (GPT-4o által végzett értékelés a realizmusról, esztétikáról és prompt-követésről, 0–1 skálán): a BAGEL-7B átlagos pontszáma 0,7-ről 0,76-ra nőtt.
A finomhangolt modell gyakrabban helyezte a jeleneteket a megfelelő történeti vagy időbeli kontextusba; egy kémiai feladatkészleten pedig gyakrabban generált kémiailag elfogadható szerkezeteket, anyagokat és laborjeleneteket.
Miért fontos ez?
Bár a korszerű képgenerátorok gyakran esztétikailag meggyőző képeket állítanak elő, a tartalom és a prompt közti eltérések — téves elhelyezések, helytelen attribútumok — gyakori problémák. A szerzők módszere azt mutatja be, hogyan lehet megbízhatóbbá tenni az ilyen rendszereket anélkül, hogy pusztán az adatmennyiség skálázására támaszkodnánk.
Személyes megjegyzés a szerzőktől (szerkesztői kommentár)
A szerzők megközelítése hasonlóságot mutat a nyelvi modellekben alkalmazott lépésenkénti következtetéssel: mindkettő arra ösztönzi a modellt, hogy bontsa fel a feladatot részekre, és ez jobb, megbízhatóbb kimenetet eredményez.
Következtetés
A szakaszos tervezés és finomhangolás ígéretes irány a generált képek prompt-hűségének növelésére: kevesebb adat- és számítási lépéssel javítja a térbeli relációk, attribútumok és valós világismeretek helyes megjelenítését a képeken.
