A Black Forest Labs a FLUX 3 fejlesztésében képi, videós és hangjeleket együtt használó tanításra támaszkodik, hogy modelljei a statikus látvány mellett a mozgásról és az események időzítéséről is tanuljanak. A vállalat munkájáról Andreas Blattmann és Dustin Podell beszélt egy interjúban, amelyben a videógenerálás mellett a képszerkesztés és a modelltanítás mérnöki kérdéseit is érintették.
Blattmann a Stable Diffusion egyik társlétrehozója és az alapjául szolgáló látens diffúziós módszer egyik feltalálója. Podell a Stable Diffusion megjelenése után fordult teljes munkaidőben a mesterséges intelligencia felé; később ő vezette a FLUX Kontext fejlesztését, és az SDXL vezető szerzője volt. A Stability AI képgenerálással foglalkozó csapatának magja Anj Midha segítségével vált ki, és létrehozta a Black Forest Labs vállalatot, amely elindította a FLUX modellcsaládot.
Mit ad hozzá a mozgás és a hang?
Blattmann egy eldobott labda elkapásával szemléltette, mit ért vizuális intelligencián: az ember már azelőtt mozgatni kezdi a kezét, hogy a labda odaérne, anélkül hogy ki kellene számítania annak pályáját. Egy állókép megmutatja, hol van a labda, a videó azt is, hogyan került oda. Az ütközés hangja pedig akkor is jelezheti a becsapódás idejét, ha a kamera nem rögzítette magát az érintkezést. A Black Forest Labs szerint ezért érdemes a háromféle jelet együtt használni a FLUX 3 tanításakor.
A mozgó kamera más szempontból is hasznos tanítóanyag. Ha egy felvételen a kamera megkerül egy embert, előbb-utóbb a fejének hátulját is meg kell jeleníteni. Blattmann szerint a hagyományos kétdimenziós videó sok információt hordoz arról, hogyan néznek ki a tárgyak különböző nézőpontokból. Ez önmagában nem dönti el, hogy egy modell „érti-e” a fizikát, de szigorúbb próba annál, mint hogy egyetlen képkocka meggyőzőnek látszik-e.
Az időbeli következetesség a videók felbontásának növelésénél is számít. Ha minden képkockát külön élesítenek, a részletek önmagukban jól nézhetnek ki, lejátszáskor mégis vibrálhatnak, mert a felskálázó minden képkockán kissé eltérő döntést hoz. A Black Forest Labs videófelskálázója ugyanarra a FLUX 3 alapmodellre épül.
Tanítási költség és képszerkesztés
Az interjúban az autoregresszív és a diffúziós modellek közötti kompromisszumok is szóba kerültek. Blattmann szerint az autoregresszív modell egy tanítási példában szereplő összes tokenből tanulhat egyszerre. A diffúziós megközelítésnél viszont egy hosszú mintavételezési folyamat néhány lépésre desztillálható. Hogy melyik előny fontosabb, attól is függ, a tanítás számítási költségét vagy a kép elkészültére fordított várakozási időt mérlegelik.
Podell a FLUX Kontext korai kísérletével mutatta be, hogyan döntenek egy irány továbbfejlesztéséről. Abból indult ki, hogy ha egy képmodell képes kalapot viselő kutyát rajzolni, akkor valamit már tudhat arról is, hová kerül a kalap. Egy kollégájával kis, kapcsolatokat jelölő címkékkel ellátott fotógyűjteményt állított össze. Néhány órás tanítás után a modell képes volt logót elhelyezni egy ingen. Az eredmény kezdetleges volt, de elegendőnek bizonyult ahhoz, hogy a csapat később hónapokat fordítson az adatok és a modell fejlesztésére.
A felhasználók olyan alkalmazást is találtak, amelyre Podell nem számított: régi, sérült családi fényképeket állítottak helyre a FLUX segítségével, majd megmutatták őket a hozzátartozóiknak. A példa a képszerkesztés egyik gyakorlati tétjét is megmutatja: az ábrázolt személy azonosságának megőrzése a módosítások során.



