Ryan Phillips, a Runway ML enterprise termékfejének vezetője a VB Transform 2026 konferencián részletesen ismertette, hogyan oldották meg a vállalatnál azt a makacs problémát, hogy a valós idejű, AI‑által generált avatárok a videóban elcsúsztak a középpontból. A megoldás nem egy hátsó végbeli javítás volt, hanem egy új, előtérbeli funkció, amely kikerüli a problémát és a felhasználók számára hasznos szolgáltatásnak tűnik.
Runway rövid bemutatása
Runway egy alkalmazott AI kutatócég, amely általános világmodelleket fejleszt generatív eszközök működtetéséhez. Phillips bemutatta a Runway Characters nevű valós idejű videómodellt, amely nulla késleltetéssel teszi lehetővé a felhasználó és AI‑generált avatar közötti oda‑vissza interakciót. A prezentációban kitért rá, hogy öt évvel korábban egy videó elkészítése, alacsony képkockasebességgel és olvashatatlan szöveggel, művészek számára sok száz órás képkockák egyesítését jelentette; ma a modellek azonnal generálnak interaktív videót.
Értékelési gyakorlatok (evals)
A robusztus AI‑termék építése jó minőségű értékelési készlettel kezdődik. Phillips hangsúlyozta, hogy az ilyen készlet létrehozása nem csak mérnöki feladat: termék, design, kutatás és értékesítés szoros, funkciók közötti összhangját igényli annak meghatározásához, mit jelent a „minőség”.
A Runway belső workshopokat tart, ahol a csapat együtt nézi át a generált példákat, és közös definíciót alakít ki a sikeres és sikertelen kimenetekről, egészen a legapróbb részletekig. Az értékelési készletben szerepelniük kell a tipikus ügyfélhasználati eseteknek és a szélsőséges „edge case”-eknek is: például a „Tooth” nevű, orr nélküli, szokatlan fogazatú karaktert használták, hogy lássák, hogyan viselkedik a modell emberi arcvázon túli esetekben.
A csapat nagyon apró vizuális anomáliákat is figyelembe vesz; egy példában előfordult, hogy a karakter arca sértetlen maradt, de a háttérelemek—például egy háló—morfingoltak: az ilyen esetet szigorúan bukásnak minősítették. Az értékelések nyomon követésére a Runway egyszerű eszközt használ: az Excelt. Naponta vezetik a teszteket, és a kimeneteket „kis” vagy „nagy” hibaként kategorizálják egy előre meghatározott átmenési arány alapján. „Beállítunk egy küszöböt, mielőtt elkezdünk dolgozni, és amikor elérjük, kiszállítjuk a modellt” — mondta Phillips.
Az automatizált vizuális értékelésben Phillips szerint hasznosak lehetnek a nagy nyelvi modellek (LLM‑ek), amelyek egyre jobbak bizonyos morfológiai vagy változó jelenségek megítélésében. Az LLMeket mögöttes kontextusok (például vázlat vagy reklámstruktúra) táplálására is lehet használni, hogy vezessék a generálást és az ellenőrzést anélkül, hogy túl nagy kognitív terhet raknának a felhasználóra.
Modellezés, distilláció és a hibák termékekké alakítása
A valós idejű generatív videó kis késleltetéshez optimalizált technikai stacket követel meg. Runway először egy nagy alapmodell előképzésével indul, ami erőforrás‑ és időigényes; a valós idejű teljesítmény eléréséhez distillációt alkalmaznak: egy kisebb, gyorsabb „student” modellt tanítanak meg utánozni a nagy „teacher” modellt. Phillips szerint a distilláció a generálási idő 80–90%-át képes megtakarítani.
A distilláció után adversariális post‑treninget (APT) alkalmaznak a letisztázott modellen, hogy egy hibakereső rendszer folyamatosan próbára tegye és javítsa a modellt, visszaszerezve a distilláció során elvesztett vizuális élességet. Ezek az átalakítások azonban új problémákat is behoztak: a distilláció és az APT fázisok során egy makacs hiba jelentkezett, amely miatt a karakterek valós idejű generálás közben oldalra lendültek vagy elcsúsztak a kép közepétől.
A csapat hetekig próbálta közvetlenül a modellt javítani, de végül arra jutottak, hogy ha a felhasználó kiinduló képe tökéletesen középre van helyezve, a generált videó stabil marad. Ahelyett, hogy további backend‑javítást kerestek volna, UX‑megoldás felé fordultak: bevezették az „Optimize for Image Quality” (Képminőség optimalizálása) frontend funkciót, amely automatikusan középre igazítja a feltöltött képet a generálás megkezdése előtt. Így a háttérbeli modellkorlát bekerült egy előtérbeli szolgáltatásként, amit a felhasználók hasznos funkcióként élnek meg a hibaként való észlelés helyett.
Phillips tanácsa: „Fordítsd a modellkorlátokat termékjellemzőkké, hogy bővítsd, hogyan működik a modell. Lehet, hogy belül korlátnak tűnik, de az ügyfeleid nem fogják így látni, ha termékfunkcióként építed be.”
Infrastruktúra és hibakeresés
A 24 képkocka/másodperc globális videószolgáltatás minden infrastruktúra réteget optimalizálni kíván: cache‑elés, párhuzamos dekódolás és mély kernel‑módosítások hardverszállítókkal, például az Nvidia‑val együttműködve.
A Runway Characters bevezetése után a csapat azt tapasztalta, hogy az API‑hívások 8%-ánál a képkockasebesség 16 fps‑re csökkent, ami rángatást okozott. A hibák forrásának feltárásához alapos observability‑ra volt szükség: Claude által hajtott AI ügynököt és eszközöket, mint a Datadog és a Sentry használták. A nyomozás egyetlen adatközpontig az us‑east‑1 régióban vezetett vissza. A megoldás nem egy konfiguráció‑változtatás volt, hanem fizikai beavatkozás: a helyszínen kicserélték az adott adatközpont GPU‑it, ami végül megoldotta a problémát.
Phillips felhívta a figyelmet, hogy az infrastruktúra és a hardver‑anomáliák közvetlenül befolyásolják a modell teljesítményét, ezért vállalati csapatoknak alapos, teljes‑stack hibakeresési képességekre van szükségük.
„Ne feledd az összes apró részletet, mert annyi van belőlük, amikor modelleket telepítesz.”
A „failure hell” és a világteremtés jövője
Az AI‑rendszerek fejlesztése ritkán lineáris. Phillips úgy fogalmazott, előfordul, hogy hetekig egyetlen problémán ragadnak, amit ő „failure hell”-ként nevezett. Szerinte ezen a fájdalmon át kell menni, mert a kitartó iteráció után jönnek a töréspontok és a hirtelen, exponenciális javulások.
Amint a modellek technikai korlátai csökkennek, az enterprise kreatív szerepek is átalakulnak: a marketing és design csapatoknak nem feltétlenül egyedi eszközöket kell többé létrehozniuk, hanem inkább paramétereket, esztétikát és szellemi tulajdont kell meghatározniuk—olyan „világokat”, amelyeket az agentek vagy a valós idejű videómodellek később tartalommal töltenek meg.
„Lehet, hogy nem egyetlen reklámot tervezel, hanem egy világot, amelyből az ügynök vagy a valós idejű videómodell reklámokat generálhat” — zárta gondolatát Phillips.
Összegzés
Runway példája bemutatja, hogy a valós idejű generatív videó fejlesztése egyszerre igényel alapos értékelési gyakorlatokat, innovatív modellezési technikákat (distilláció és APT), mély infrastruktúra‑megfigyelést és termék‑orientált szemléletet a modellek korlátainak kezelésekor. Egy egyszerű frontend funkció is képes lehet átalakítani egy technikai korlátot felhasználói előnnyé, ha a csapat jól definiált értékelési kritériumok mentén dolgozik.
