A hónap elején a Runway bemutatta a GWM Worlds 2 nevű kutatási előnézetet, amelynek célja „a magas hűségű videó‑ és hanggenerálás valós idejű, interaktív szimulációvá alakítása”. A cég ezt autoregresszív diffúziós modellnek nevezi — az „autoregresszív” arra utal, hogy a rendszer időben egymás után generálja a képkockákat.
Egy új, kiemelt funkció a WorldPrompt: egy javasolt bemeneti formátum a generált világ és a benne végrehajtott műveletek megadására. WorldPrompt segítségével bizonyos környezeti elemek (például az első képkocka) rögzíthetők, majd időbélyegzett események sorozata hozható létre; ezek az események valós időben is kiadhatók. A WorldPrompt tehát egy vezérlési rétegként működik karakterek, kamerák és a környezet irányítására, de nem programozási nyelv: nincs benne scripting vagy explicit állapotkezelés, mint például Minecraftban vagy Robloxban.
A WorldPrompt jelentőségéről a Runway vezetőivel beszélgettünk: Kamil Sindi vezértechnológiai igazgatóval (CTO), Robin Kahlow generatív videó és multimodális AI kutatási vezetővel, és exkluzív megjegyzéseink vannak Anastasis Germanidis társalapító‑co‑CEO‑tól is egy swyx és Vibhu által készített podcastból.
Ki dolgozik valós idejű, interaktív világmodelleken?
A Runway legutóbbi tőkebevonása februárban 315 millió dollár volt, és ebből a cégről készült becslések szerint a vállalat piaci értéke 5,3 milliárd dollár. Runway első világmodell‑kiadása, GWM Worlds, tavaly decemberben jelent meg. A területen más szereplők is aktívak, például Google DeepMind Genie 3 (720p, 24 fps), Odyssey‑2 Pro és World Labs RTFM (Real‑Time Frame Model). Mindegyik projektnek megvannak a maga korlátai: például a Google maga is megjegyzi, hogy Genie 3 jelenleg „néhány percnyi folyamatos interakciót támogat, nem pedig hosszú órákat”.
A WorldPrompt központi ötlete
A WorldPrompt lehetővé teszi, hogy a felhasználó részletesen vezérelje az egyes szereplőket és elemeket a jelenetben, hasonlóan egy számítógépes játékhoz. Robin Kahlow szerint ez az eszköz „minden világbeli alanyt” képes kezelni: az NPC‑k mozgását, párbeszédeit és a kamera‑vagy objektmozgásokat. Kamil Sindi hangsúlyozta, hogy a megközelítés előnye, hogy promptokkal igény szerinti, szinkronizált videó‑ és hangvilágok hozhatók létre különböző környezetekben — nem jövőbeli hipotézisről van szó.
Ugyanakkor a promptálásnak megvannak a korlátai: nem minden szabály vagy fizikai törvény rögzíthető tökéletesen prompton keresztül. Kahlow szerint a mozgásokat a modell „egészen megbízhatóan” követi, de bonyolultabb akcióknál hibák előfordulnak; Sindi pedig rámutatott, hogy több és nagyobb adat‑ és modellskálázás javítja a követés pontosságát.
Hogyan lesz egy videómodellból valós idejű futtatóközeg?
A Runway hosszú távú célja, hogy teljesen önálló, valós idejű játékokat és élményeket lehessen létrehozni generált videóból és hangból — ez azonban komoly mérnöki kihívás. Kahlow két fő problémát emelt ki: egyrészt a modellt úgy kell átalakítani, hogy ne egy komplett klipet generáljon egyszerre, hanem képkockánként vagy néhány képkockánként adjon választ; másrészt a generálásnak elég gyorsnak kell lennie a valós idejű lejátszáshoz.
A GWM Worlds 2 jelenleg folyamatos, streamelt, 720p‑s videót kínál 24 fps‑sel és 48 000 Hz‑es audióval. A Runway az alap‑audio‑videó generációs modellt finomhangolta WorldPrompt támogatásra, majd utólagosan átképzte autoregresszív működésre. A valós idejű képesség eléréséhez distillációs módszereket alkalmaztak: vagy egy nagyobb modellt kisebbre distillálnak, vagy csökkentik a diffúziós lépések számát (például ~50 lépésről néhány lépésre), ami minőségveszteséggel, de esetenként összehasonlítható eredménnyel jár.
A valós idejű generálás nehézségei
A legnagyobb technikai gondnak a hibák felhalmozódása (error accumulation) számít: autoregresszív működésnél a generált képkockákat visszacsatolják a modellbe a következő képkockák előállításához, és a kis hibák idővel összegződnek. Emellett memóriakezelési, kontextfenntartási és GPU‑memória optimalizálási problémák is felmerülnek; a hosszú távú memória (long‑term memory) jelenleg nem tökéletes, és ez nyitott kutatási kérdés.
Egy másik kihívás a kauzalitás és az ellenfaktuális (counterfactual) helyes következtetések előállítása: egy világmodellnek élethű következményeket kell generálnia különböző felhasználói akciókra. Germanidis példájával: egy futballjelenet‑képzésnél a rendelkezésre álló tréningvideók gyakrabban tartalmaznak sikeres gólokat, ezért a modell meggyőzőbben tud sikeres kimeneteket generálni, mint sikertelen próbálkozásokat — pedig interaktív szimulációban mindkettőre szükség van.
Értékelés szempontjából a komplex interakciók és több karakteres, többszörös promptok vizsgálata egyre nehezebb: Runway automatizált, verifikálható teszteket használ, de mivel a GWM Worlds 2 kutatási előnézet, Kahlow szerint a felhasználóknak maguknak is érdemes tesztelniük a modellt, hogy felfedezzék a gyenge pontokat.
Alkalmazások: játékokon túl — robotika és ügynökök
A játék az elsődleges felhasználási irány, de a Runway csapata más területeket is említ. Kahlow szerint a robotika egyik fontos use case: szimulált környezetekben tesztelhetők a robotok viselkedései. Egy másik lehetséges alkalmazás az ügynökök („agents”) skálázható tesztelése nagy számú szimulált környezetben. Fontos hangsúly, hogy GWM Worlds jelen állapotában nincs strukturált, géppel olvasható állapotleírás: az ügynökök ugyanazt látják, mint egy kamera‑megfigyelésnél — a modell által előállított videót és hangot.
Sindi kiemelte, hogy GWM Worlds alkalmas lehet szintetikus adatkészletek előállítására ügynökök számára. Germanidis pedig felvetette a világmodellek és a tervező/érvelő modellek kombinálásának lehetőségét: például egy tervező modul felvázolja a jelenetet, majd a diffúziós fej generálja a pixeleket.
Egyes technikai részletek és vállalati helyzet
- GWM Worlds 2 jelenleg 720p, 24 fps, 48 kHz audiót streamel valós időben.
- Runway saját beszámoló szerint „bidirectional diffusion” modellről indult, amit autoregresszívvá alakítottak; a valós idejű működéshez distillációs lépéseket alkalmaztak.
- A Runway korábbi kiadásai (Gen‑1 → Gen‑2 → Gen‑3 → Gen‑4.5) skálázási és architekturális fejlesztésekkel jöttek létre; a vállalat egyaránt foglalkozik modellezési, distillációs és infrastruktúrafejlesztési kérdésekkel.
Mit mondtak a vezetők?
- Kamil Sindi (CTO): rávilágított a promptálható világok üzleti és technikai lehetőségeire, és arra, hogy több adat és nagyobb modellek jobb követést eredményeznek.
- Robin Kahlow (Principal Research Scientist): hangsúlyozta, hogy a kutatási előnézetben még vannak hibák, a mozgások viszont viszonylag megbízhatóak, továbbá felhívta a figyelmet az autoregresszív működés és a valós idejű sebesség kettős kihívására.
- Anastasis Germanidis (co‑founder & co‑CEO): a swyx és Vibhu műsorában részletezte a folyamatokat (bidirectional → autoregresszív → distilláció), a distillációs stratégiákat és a realisztikus, ellenfaktuális következtetések fontosságát, valamint a robotikai és interfész‑világmodellek kilátásait.
Összefoglalás: pillanatkép a kutatási előnézetről
A GWM Worlds 2 és a WorldPrompt bemutatása a Runway részéről egy fontos mérföldkő: a vállalat egy olyan irányba tolj a videó‑generációt, amely a pixelek előállításán túl a világok interaktív, valós idejű kezelhetőségét célozza. A technológia jelenleg korlátozott — hibák felhalmozódása, hosszú távú memória hiánya, és a valós idejű skálázás jelentik a fő akadályokat — de a Runway csapata szerint a módszerek (autoregresszív átalakítások, finomhangolás, distilláció) és a skálázás előreviszik az állapotot. A potenciális alkalmazások kiterjednek a játékoktól az ügynök‑tesztelésen át a robotikáig és a „interface world model” prototípusokig, amelyek a jövőben akár újfajta, képpontos szoftverfelületekhez is vezethetnek.
(Interjúalanyok: Kamil Sindi, Robin Kahlow, Anastasis Germanidis; bemutatott termék: GWM Worlds 2, WorldPrompt; források: Runway bejelentés és a swyx–Vibhu podcast.)
