Új kutatási eredményeket mutatnak be egy egységes, több-ügynökös rendszerről, amely hosszabb, több snittből álló videóanyagok koherens automatikus előállítását célozza. A megoldás felépítése egy orchestration rétegként ül a Gemini és Veo alapmodellek fölött, és célja, hogy expliciten tervezze a vizuális folytonosságot, miközben örökli az alapmodellek beépített biztonsági mechanizmusait, például a SynthID vízjelezést.
A szerzők négy fő komponensre bontották a hosszú távú videógenerálás problémáját: Co-Director (egységes AI társrendező), CANVAS (vizuális storyboard és állapotkövetés), A²RD (szegmentált autoregresszív videógenerálás) és VQQA (zárt hurkú minőségjavítás). Ezek együttesen a kreatív szándék koordinálását, a vizuális memóriát, az időbeli dinamikák skálázását és a tesztidőben végzett automatikus hibajavítást szolgálják.
Miért volt szükség erre a megközelítésre?
A mai diffúziós videómodellek rövid, nagy felbontású klippeket képesek létrehozni, de a többsnittes, történetszövetszerű generálásnál gyakran fellépnek problémák: semantic drift (karakterruha vagy díszlet finom eltolódása a snittek között), cascading failures (egy korai hiba tönkreteheti a teljes pipeline-t), feature drift és content collapse (a narratíva nem halad előre érdemben). Ezek a jelenségek részben a klasszikus credit assignment problémához hasonlítanak: a végső hiba nehezen köthető vissza egy konkrét prompthoz vagy komponenshez.
Co-Director: hierarchikus, globális optimalizáció
A Co-Director hierarchikus több-ügynökös keretrendszerként modellezi a videós történetmesélést globális optimalizációs problémaként. A korábbi, lineáris prompt-láncok helyett hierarchikus paraméterezést használnak: egy multi-armed bandit (MAB) algoritmus globálisan választ ígéretes kreatív irányokat. A keresésben egyensúlyt tartanak az új narratív stratégiák felfedezése (exploration) és a hatékony konfigurációk kihasználása (exploitation) között.
A Co-Director munkafolyamata két összekapcsolt hurkon alapul: stratégiai irányítás és többstages gyártás. Az Orchestrator Agent a MAB-al választ három dimenzióban: (1) Creative Strategy (alkotói szándék), (2) Narrative Mode (történetszerkezet), (3) Aesthetic Archetype (vizuális tónus). A Pre-Production Agent jelenetenkénti storyboaridot és vizuális eszközöket állít össze; a Production Agent pedig a storyboardot lefordítja konkrét audiovizuális elemekre Keyframe, Video és Audio al-ügynökök segítségével. Egy multimodális LLM Judge kritikát ad a vágásról, és faktorizált jutalomjelet küld vissza a MAB-nak a további finomhangolás érdekében.
Mivel az architektúra orchestration rétegként működik a Gemini és Veo fölött, a generált médiák inherensen tartalmazzák az alapmodellek biztonsági védelmeit (pl. SynthID vízjelezés). Termelési környezetben további biztonsági osztályozók is alkalmazhatók.
CANVAS: kontinuitásra érzékeny vizuális storyboard
A CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding) célja a karakterek, helyszínek és tárgyak állapotainak explicit, strukturált reprezentációja a narratíva során. Egy perzisztens vizuális memóriára támaszkodik (a Gemini fölé építve), amelyből vizuális horgonyokat (anchors) hív elő, vagy szükség esetén újakat inicializál.
A rendszer így biztosítja, hogy a karakterek megőrizzék identitásukat, a környezet megtartsa térbeli szerkezetét, és a visszatérésekkor a dolgok konzisztensen jelenjenek meg. A bemutatott összehasonlítások szerint a Gemini-3.1-Pro használata önmagában prop- és háttér-eltolódást (prop inconsistency, background drift) eredményezett, míg egy referencia multi-ügynökös módszer, az AutoStudio, szintén karakterdriftet mutatott. CANVAS ezzel szemben a perzisztens vizuális memória révén jobb következetességet biztosított a többsnittes jelenetekben.
A²RD: szegmentált autoregresszív videógenerálás
Az A²RD egy agentikus autoregresszív architektúra, amely segmentumonként generál, és egy multimodális videómemóriát használ a szegmensek kontextusának és dinamikájának nyomon követésére. Minden szegmensnél retrieve–synthesize–refine–update hurkot futtat, és adaptívan vált a generálási módok között: extrapoláció (a narratíva előre mozdítása) és interpoláció (a visszatérő entitások és környezetek lehorgonyzása) között.
Ez a működés lehetővé teszi, hogy a történet előrehaladjon, miközben megőrződik a fizikai és vizuális koherencia — például jelmez- és karakterazonosság, valamint strukturális geometriák követése perceken át tartó videókon. A szerzők egy tízperces mintafilmben demonstrálták a hosszú távú konzisztencia fenntartását.
VQQA: zárt hurkú vizuális minőségjavítás
A Video Quality Question Answering (VQQA) célja a vizuális hibák autonóm azonosítása és javítása anélkül, hogy belső modellparaméterekhez való fehérdoboz-hozzáférésre lenne szükség. A rendszer dinamikusan generál vizuális kérdéseket, és a Vision-Language Model (VLM) kritikáit „szemantikus gradiens” jellegű visszajelzésként használja, amely természetes nyelvi, cselekvésre alkalmas instrukciókat ad az iteratív finomításhoz.
A VQQA feketedoboz prompt-optimalizátorként működik: nem pixeleket szerkeszt, hanem a szöveges promptot finomítja iteratívan, hogy magasabb szintű kompozíciós hibákat (például attribútum-kötési hibák vagy következetlenségek) javítson. A Global Selection mechanizmus megakadályozza a lokális korrekciókból fakadó jelentéseltolódást: egy globális VLM minden optimalizációs iteráció összes videóját összehasonlítja az eredeti prompttal, és a legjobb teljesítményű jelöltet választja ki.
Gyakorlati példákban a VQQA például valósághű mylar lufihatás textúráját rendeli egy adott kötelező alakzathoz, vagy megtartja a hegedűs és a zongorista eszközeinek következetességét egy előadás alatt anélkül, hogy a képkockákat direkt módon festené át.
Benchmarks és eredmények
A kutatás értékeléséhez a csapat három, a professzionális videógyártás kihívásait tükröző benchmarkot fejlesztett:
- GenAD-Bench: emberi felügyeletű pipeline, mely Gemini 3 Pro és speciális képgeneráló modellek kombinációjával 50 fiktív márkát és azok négy-négy termékét modellezi; összesen 400 egyedi forgatókönyv vizsgálatára szolgál.
- HardContinuityBench: térbeli és környezeti kontinuitásra fókuszál, több részletgazdag GPT-5.2 által generált többsnittes storyboarddal; cél a nagy időkülönbségek és gyakori jelmez/vagyl egyéb állapotváltozások kezelése.
- LVBench-C: hosszú távú temporális dinamikát teszteli 120 szöveg-alapú forgatókönyvvel; szigorú szabály, hogy kritikus vizuális elemek legalább 10 szegmensre eltűnjenek, majd narratív indoklással térjenek vissza.
A kísérleti eredmények szerint az AI video co-director a GenAD-Bench-en elérte a 81.4-es csúcsminőségi pontszámot. CANVAS jelentős javulást mutatott a jelenetekhez való visszatérések kontinuitásában (ST-Bench és HardContinuityBench), A²RD csökkentette a layout driftet többperces futások során (VBench-Long, LVBench-C), míg VQQA zárt hurkú optimalizációs stratégiája mérhető minőségi javulást hozott több összehasonlító készletben (T2V-CompBench, VBench2, VBench-I2V).
A részletes architektúrák, tanítási konfigurációk és összehasonlító alapvonalak a cikkek egyedi mellékleteiben találhatók.
Jövőbeli irányok
A szerzők hangsúlyozzák, hogy ezek az agentikus rendszerek alapot teremtenek a koherens, hosszú távú vizuális történetmeséléshez, de nem céljuk a humán alkotók lecserélése. További munkákban az emberi beavatkozást és együttműködést (human-in-the-loop) tervezik integrálni, hogy a kreatív kontroll és a narratív design a felhasználónál maradjon, miközben a rendszer leveszi a szerkesztési és állapotkövetési terheket.
Elismerések
A kutatás a Google több kutatócsoportjának közreműködésével készült. Külön köszönet Andrew Pan, Brett Slatkin, Burak Gokturk, Carina Claassen, Daniel Vlasic, Do Xuan Long, Ishani Mondal, Jasmine Leon, Jingyun Liu, Joe Timmons, Jordan Boyd-Graber, Khanh G. LeViet, Kuang Su, Long T Le, Mihir Parmar, Min-Yen Kan, Nathan Hodson, Nick Losier, Palash Goyal, Rhyard Zhu, Sebastian Ko, Scott Penberthy, Yan Xu, Yang Li, Ye Jin és Tomas Pfister munkájáért.
