Black Forest Labs bemutatta a FLUX.3 Image Klein modellt, amely a megjelenés napjától elérhető a Diffusers keretrendszerben. Egyetlen modellként egyszerre támogatja a text‑to‑image (szövegből kép), a multi‑reference image‑to‑image (több hivatkozó kép alapján történő átalakítás) és egy új elrendezésvezérlő megközelítést: a felhasználó a promptba helyezett bounding boxokkal adhatja meg, hogy az egyes elemek hol jelenjenek meg, vagy egy referencia kép mely részeit hová mozgatva szeretné.
Elérhető ellenőrzőpontok és alapbeállítások
A modellezés két nyilvános checkpointtal érkezik a "FLUX.3 Image Klein" kollekcióban:
- black-forest-labs/flux-3-image-klein — időlépés‑distilled, gyors inferencia; alapértelmezés: 16 lépés, nincs classifier‑free guidance (CFG).
- black-forest-labs/flux-3-image-klein-base — a base modell, finomhangolásra javasolt; alapértelmezés: 50 lépés, CFG.
A Distilled checkpoint gyorsan képes 1024 × 1024 képet előállítani; a dokumentáció szerint egy NVIDIA H100 (80 GB) GPU-n körülbelül 1.93 másodperc egy teljes text‑to‑image futás (16 lépés). A referencia képpel végzett image‑to‑image körülbelül megduplázza az időt (3.87 s egy 1024 × 1024 referenciával).
Elrendezésvezérlés (layout control)
A layout vezérlés JSON‑listaként adható a prompt végére: minden régióhoz id, bbox és desc tartozik, a promptban pedig a régió id‑jével hivatkozunk. A bounding boxok formátuma [y_min, x_min, y_max, x_max] egy 0–1000 normalizált skálán, így ugyanaz a doboz bármekkora kimeneti felbontáshoz újrafelhasználható. Szerkesztésnél megadható, hogy egy régió melyik referencia kép melyik src_bbox‑ából származzon, és hová kerüljön a tgt_bbox‑szel — ha a két doboz megegyezik, a tartalom a helyén marad.
Használat Diffusersben és gyorsstart
A FLUX.3 Diffusers ModularPipeline‑ként érkezik; a gyors telepítéshez a legújabb diffusers és transformers csomagok szükségesek (a Qwen3‑VL text encoder miatt). A dokumentációban bemutatott példa rövid: a distilled checkpoint betöltése és egy egyszerű pipe(prompt="a red fox") hívás ment egy fox.png képet.
Több referenciaszint és promptok
Több referencia kép megadása esetén a promptban <ref_image_0>, <ref_image_1> … jelölésekkel lehet hivatkozni az egyes képekre. A prompt leírása a kívánt célképet tartalmazza, a változtatásokat pedig ezen belül kell leírni. A layout példák között szerepel minimalist grafikai kompozíció és egy részletmozgató szerkesztés (egy kötött játéklovag áthelyezése), amelyek mind működnek a bbox alapú vezérléssel.
Kvantált és single‑file checkpointok
A transformer egyetlen fájlba csomagolt változata elérhető bf16 formátumban és két kvantált változatban: fp8r (rowwise FP8) és nvfp4. Ezek betölthetők Flux3Transformer2DModel.from_single_file segítségével, és kisebb memóriakövetelményt vagy kompatibilitást nyújtanak különböző GPU‑kon. A fp8r gyors kernelt támogató gépeken (Ada, Hopper, Blackwell compute capability 8.9+) használható; nvfp4 Blackwell‑on flashinfer integrációval működik.
LoRA finomhangolás
A FLUX.3 alkalmas mind text‑to‑image, mind image‑to‑image LoRA finomhangolásra. A diffusers tartalmaz DreamBooth LoRA tréning scriptet mindkét feladatra, és a cikkben egy tarot‑stílus megtanulását bemutató példa található a multimodalart/1920‑raider‑waite‑tarot‑public‑domain adatbázissal. A példában szereplő alapbeállítások: mixed_precision=bf16, resolution=1024, train_batch_size=1, max_train_steps=1500, stb. A memóriamegtakarításhoz javasolt opciók: --gradient_checkpointing, --cache_latents és --use_8bit_adam.
Teljesítmény és memóriafogyasztás
A dokumentált peak memóriák (betöltés után / inferencia közben) néhány mérése:
- nvfp4 (RTX6000): 13.4 GiB / 15.3 GiB
- fp8r (H100): 14.35 GiB / 16.27 GiB
- bf16 (H100): 18.80 GiB / 20.72 GiB
End‑to‑end időmérések a distilled checkpointre (16 lépés), egyetlen NVIDIA H100 80GB‑on, offloading nélkül:
- Text‑to‑image 1024×1024: 1.93 s, csúcsmemória 23.8 GiB
- Image‑to‑image, egy 1024×1024 referencia: 3.87 s, 23.8 GiB
- Layout editing (1360×768 referencia): 4.10 s, 23.8 GiB
Ha kevesebb memóriád van, lehetőség van kvantált transformer betöltésére, a szövegencoder külön futtatására és felszabadítására ("encode once, generate many"), illetve automatic CPU offload használatára.
Architektúra röviden
FLUX.3 latent‑térben működő flow‑matching modell: a denoiser latenseket vesz be és ad vissza, a VAE dekódolja pixelekké. Egy 1024×1024 kép 64×64 tokenrácsra alakul (4,096 token), egy token 16×16 pixelt fed le. A text encoder Qwen3‑VL: a modell nyolc különböző rejtett rétegét olvassa ki és egymásra fűzve továbbítja a transformer felé. A transformer két szakaszban dolgozza fel a tokeneket: először per‑mode blokkok (szöveg, zajos kép, referenciák külön), majd közös blokkok, ahol minden token mindenkire figyelhet.
Pozicionális információkhoz FLUX.3 RoPE‑t használ négy tengellyel (timestep, height, width, sequence length), ami lehetővé teszi a referencia és célkép pixelek pontos megfeleltetését — ez alapozza meg a bbox alapú szerkesztést.
Modular Diffusers és továbbfejlesztés
A pipeline moduláris: blokkok kivenhetők vagy cserélhetők, dolgozhatsz a workflow‑okkal, előkódolhatod a promptokat (encode once) vagy beiktathatsz egy extra blokkokat a denoising ciklusba például a korai x0 előrejelzések rögzítésére. Az eszköztár LoRA adapterek és példák megosztására ösztönzi a Hugging Face Hubon.
Kipróbálás és források
A FLUX.3 Image Klein checkpointok és dokumentációk elérhetőek a Black Forest Labs kollekcióban a Hugging Face Hubon. A modell használatáról, LoRA‑tréningről és a prompting gyakorlatairól részletes példák és README‑k találhatók a Diffusers projektben.
Ha saját LoRA‑t vagy pipeline‑t készítettél a FLUX.3‑mal, a szerzők arra buzdítanak, hogy oszd meg a Hubon.
