NVIDIA bemutatja, hogyan lehet a videóalapú mesterséges intelligenciát nem csupán megfigyelésre és összegzésre használni, hanem a szervezeti tudás bevonásával automatikus, koordinált műveleteket indítani. A megközelítés a Video Search and Summarization (VSS) Blueprint és a Retrieval-Augmented Generation (RAG) Blueprint szolgáltatásait összekapcsolja az autonóm agenteket támogató NemoClaw keretrendszerrel, így a „Mit mutat a videó?” kérdésről a „Mit tegyünk a videó alapján és hogyan szervezzük az intézkedést?” felé mozdul.
Mire valók a komponensek?
- NVIDIA NemoClaw: nyílt blueprintek gyűjteménye autonóm agentek építéséhez. Lehetővé teszi domain-specifikus, folyamatosan működő agentek létrehozását, amelyek gyorsabbak, költséghatékonyabbak és biztonságosabbak a digitális és fizikai munkafolyamatokban.
- NVIDIA Blueprints: testreszabható referenciamunkafolyamatok enterprise skálájú, agentikus AI csővonalakhoz; speciális mikroszolgáltatásokat, optimalizált modelleket és komponálható API-kat kombinálnak.
A cikkben használt fő Blueprints-ek:
- NVIDIA Metropolis Blueprint for Video Search and Summarization (VSS): streaming vagy archivált videót dolgoz fel, feliratokat és vizuális metaadatokat generál, támogatja a szemantikus keresést, interaktív kérdés-feleletet és eseményösszegzést.
- NVIDIA AI Blueprint for Retrieval-Augmented Generation (RAG): vállalati dokumentumokat—kézikönyveket, szabályzatokat, SOP-okat és referenciaadatokat—indexel GPU-gyorsított vektor-tárolóba gyors szemantikus kereséshez.
Hogyan működik a VSS a szándék rögzítésére, tudás előhívására és jelentéskészítésre?
A VSS irányított, kontextusérzékeny videóelemzést biztosít agent-eszközök készletével. A folyamat emberi beavatkozást (human-in-the-loop, HITL) használó promptokkal kezdi: a felhasználó megadja, mit szeretne elemezni, mely események érdeklik és mely tárgyakat kell követni. Az agent ezután a RAG Blueprintet hívja meg a szervezeti kontextus előkeresésére, majd strukturált, időbélyegzett jelentést állít elő.
Három eszköz működik együtt a folyamatban:
- Long video summary (LVS) video understanding tool: hosszú videók hierarchikus összegzését végzi, kötelező HITL paramétergyűjtéssel (jelenet, keresett események, követendő tárgyak, opcionális tudáslekérdezés).
- Knowledge retrieval (frag) tool: a RAG Blueprintet hívja, amely a vállalati dokumentumokból, szabályzatokból és referenciaadatokból ad vissza releváns találatokat; az embeddinget, rerankinget és vektor-keresést a RAG kezeli.
- Report generation tool: a videóelemzés és az előhívott kontextus együtteséből strukturált, időbélyegzett jelentést készít, idézetekkel és narratív elemzéssel; a felhasználó HITL segítségével jóváhagyhatja vagy szerkesztheti a promptot a véglegesítés előtt.
Ezek az eszközök sorban rögzítik a felhasználói szándékot, lekérdezik a RAG-et, feldolgoztatják a videót a kontextussal, majd jelentést állítanak elő formázott kimenetként.
Hogyan lesz a videóelemzésből ajánlás és intézkedés?
A bemutatott példában egy "healthy eating coach" (egészséges étkezési tanácsadó) készül, amely ételfelvételt elemző videókból megállapítja a felhasználó étkezési szokásait és konkrét, követhető lépéseket javasol.
Folyamatlépések röviden:
- A felhasználó feltölt egy ételkészítési videót a VSS felületére.
- NemoClaw elindítja a vss-generate-video-report-rag skillt, és a VSS agent a terminálon keresztül rövid HITL promptokkal begyűjti az elemzés paramétereit (mi elemezendő, milyen események, tárgyak, opcionális RAG-kereső lekérdezés).
- A RAG Blueprintből előhívott tájékoztató anyagok (például táplálkozási irányelvek) bekerülnek a LVS-be, amely hierarchikusan összegzi a videót, és beépíti a referenciákat a megállapításokba.
- A jelentéskészítő eszköz összeállítja a strukturált, időbélyegzett jelentést, amely tartalmazza a talált eseményeket, narratív elemzést, forrásidézeteket és konkrét ajánlott lépéseket.
A NemoClaw ezt követően a kész jelentés alapján automatikusan Jira-ticketet hozhat létre: a ticket összegzi az eredményeket, a javasolt étrendi módosításokat, és megfelelő prioritással illetve felelőssel rendeli hozzá az intézkedést, így nyomon követhető a megvalósulás.
Ez a lépés általánosítható más rendszerekre is: NemoClaw képes jegyek létrehozására, minták átvizsgálására több futtatás alapján, bizonyítékok csomagolására áttekintéshez vagy megfelelőséghez, illetve hiányosságok továbbítására a megfelelő follow-up munkafolyamatnak. Így a jelentés már nem statikus dokumentum, hanem koordinált cselekvés-indító.
Architektúra (négy réteg)
- Orchestration: NemoClaw agent, vss-generate-video-report-rag skill és a HITL promptok.
- VSS agent: video I/O, keresés, értelmezés, LVS, tudáselőhívás és jelentéskészítés—a knowledge retrieval az agent része.
- RAG Blueprint: NVIDIA RAG API, Milvus vektortár, NVIDIA Nemotron reranking NIM és az indexelt referencia- és szervezeti dokumentumok.
- LLM fusion: a VSS összegzésének kiegészítése a RAG-on keresztül előhívott kontextussal.
Az adatok lefelé áramlanak: az agent eszközei hívják az LVS szolgáltatást és a RAG-et, amelyek eredményei a jelentéskészítő eszközbe futnak össze.
Telepítés — rövid lépések és előfeltételek
Előfeltételek:
- NVIDIA GPU(k) legalább 24 GB VRAM-mal
- Docker Engine és Docker Compose v2
- NGC API kulcs (ngc.nvidia.com)
- NVIDIA Build API kulcs (build.nvidia.com)
- Telepített, agent számára elérhető RAG Blueprint és gyűjtemény neve
- Telepített NemoClaw a programozott hozzáféréshez
Fő lépések (összefoglalva):
- Clone-oljuk a VSS repót és hitelesítsünk NGC-vel.
- Konfiguráljuk az LVS .env profilfájlját (például beállítani a VSS_AGENT_CONFIG_FILE-t config_rag.yml-re, és megadni a RAG_SERVER_URL / RAG_API_KEY / KNOWLEDGE_COLLECTION értékeket).
- Indítsuk el a VSS compose stack-et a szükséges bind mount könyvtárak létrehozásával és a docker compose up -d paranccsal.
- Ellenőrizzük az egyes szolgáltatások egészségi állapotát (VSS agent, LVS backend, RT-VLM, LLM NIM stb.).
NemoClaw beállítása röviden:
- Futassuk a NemoClaw installert a repo rootból; a NEMOCLAW_PROVIDER változó megadása szükséges (például build). Ez a parancs onboardolja NemoClaw-t, beállítja a sandbox hálózati szabályokat, telepíti a skill-eket (például vss-generate-video-report-rag) és kiadja az OpenClaw UI URL-jét.
- Az OpenClaw UI-ban indítsunk új sessiont (/new) és küldjük be a kérést (például: "I want to generate a video summary report for <VIDEO_NAME>"). Az agent ekkor begyűjti a paramétereket, lefuttatja az LVS+RAG munkafolyamatot és szükség szerint létrehozza a Jira jegyet vagy más értesítést.
Teljesítmény és késleltetés
A NemoClaw orkestráció és a HITL paramétergyűjtés hozzáadása minimális késleltést okoz. A HITL fázis aszinkron módon zajlik: a felhasználó és a NemoClaw párbeszéde mellett a rendszer készen áll, és miután a paraméterek megerősítést nyernek, a videó feldolgozása folytatódik.
Iparági példák és eredmények
- Computacenter: DETECT → REASON → ACT csővonalat telepített Run:AI clusterre prediktív karbantartáshoz, VSS 3-mal drón-, borescope- és hőkép-felvételek elemzésére, RAG Blueprinttel OEM-kontextusra, és NemoClaw-dal Maximo munkautasítások automatikus előkészítésére. A footage-tól a work-orderig tartó időt 30–45 percről körülbelül 19 másodpercre csökkentették négy eszközosztályon.
- VAST Data: NemoClaw-ot használ élő játékfolyamok valós idejű VSS csővonalának megszervezésére a VAST DataEngine-en, VAST RAG és VastDB vektorokkal; a megoldás az NVIDIA blueprinten alapul.
Mire jó ez az üzlet számára?
A VSS 3, a RAG Blueprint és a NemoClaw integrációja alapvetően átalakítja a vállalati videóanalitikát: a videóelemzés nem csupán statikus jelentést ad, hanem indító ponttá válik a koordinált intézkedésekhez. A legfontosabb hatások:
- Sebesség: a válaszidők percekre, sőt másodpercekre csökkenthetők.
- Skálázhatóság: ezernyi videó elemezhető több forrásból és vállalati szintű mintázatok tárhatók fel.
- Konzisztencia: a referencia-tudás (szabályzatok, eljárások) egységesen alkalmazódik.
- Felelősségre vonhatóság: minden döntés visszavezethető videó bizonyítékra és forrásdokumentumokra.
- Automatizáció: rutinszerű munkafolyamatok (riasztás, jegykezelés, dokumentálás) emberi beavatkozás nélkül futhatnak.
Kezdés
A cikk javaslata szerint: klónozza a VSS repót, telepítse a VSS agentet tudáselőhívással (frag), irányítsa a RAG Blueprintet a saját dokumentumaira, és kapcsolja NemoClaw-t a meglévő vállalati rendszerekhez (Jira, Slack, adatbázisok, ticket queue). Indítson el egy zárt hurokot videótól a döntésig és cselekvésig, pilótolja élesben, majd terjessze ki lépésenként.
Ez a megközelítés lehetővé teszi, hogy a már rögzített felvételekből gyorsan, következetesen és bizonyítható módon alakítsanak ki szervezeti intézkedéseket, miközben megmarad a komponensek modularitása és vállalati felügyelete.
