A fizikai világban működő mesterséges intelligencia rendszerek fejlesztéséhez változatos tanítóadatokra van szükség, ám a ritka hibák, éjszakai helyzetek vagy veszélyes események rögzítése költséges és időigényes lehet. Az NVIDIA Cosmos Data Factory (CDF) ezt a problémát adatfeldolgozási és szintetikusadat-generálási munkafolyamatokkal célozza meg.
A CDF az NVIDIA Cosmos nyílt platform része, amely a világmodellek fejlesztéséhez modelleket, adatkészleteket, keretrendszereket és készségeket kínál. Az adatgyár öt felhőnatív referencia-munkafolyamatot és hat egymással kombinálható készséget tartalmaz. Ezeket fejlett AI-ügynökök is vezérelhetik, így az NVIDIA szerint a megfelelő beállítás után szöveges utasításokkal, folyamatos emberi irányítás nélkül is előállíthatók adatok.
Beállítás és öt felhasználási terület
Mind az öt munkafolyamat a CDF Orchestration készségre épül, amely összehangolja a lépéseket, telepíti a szükséges szolgáltatásokat és kezeli a futtatást a felhasználó számítási fürtjén. Az NVIDIA példája szerint egy kódolóügynök előbb klónozza a szükséges tárolót, majd ellenőrzi a környezetet és elvégzi a beállítást. Az előzetes ellenőrzés módosítás nélkül jelzi a hiányosságokat; ezután egy második utasítással indítható a választott adatgenerálási feladat.
Az öt referencia-munkafolyamat különböző tanítási hiányosságokra ad választ:
- Önvezetési jelenetek: az Autonomous Vehicle Dataset Generation meglévő közlekedési videókhoz hasonló felvételeket keres, majd például esős, havas vagy ködös változatokat hoz létre. Az NVIDIA Cosmos Curator metaadatokat állít elő, az NVIDIA Cosmos Dataset Search megkeresi a releváns videókat, az NVIDIA Cosmos3-Super-Image2Video átalakítja őket, a Cosmos Evaluator pedig ellenőrzi a fizikai hihetőséget.
- Személyeket ábrázoló képek bővítése: az Image Attribute Augmentation a ruházat típusát, színét vagy a kiegészítőket változtatja. Egy nagy nyelvi modell strukturált módosítási utasításokat készít, a Cosmos Evaluator ellenőrzi a kért jellemzőket, a rendszer pedig kereséshez és személyek újraazonosításához használható címkéket ad hozzá.
- Videók változatainak létrehozása: a Video Data Augmentation módosítja az időjárást, a megvilágítást vagy a környezetet, miközben igyekszik megőrizni a jelenet szerkezetét. Egy látás-nyelvi modell leírásából a Cosmos3-Nano készít változatot; a Cosmos Evaluator ellenőrzi a mozgási hibákat, a kért körülményeket és a fizikai hihetőséget. Az eredeti és a generált videók objektumészlelési, követési és leíró címkéket kapnak.
- Ritka események videói: az Event Video Generation egyetlen képből például tüzet, elesést vagy bolti lopást bemutató felvételeket készíthet. A Cosmos3-Super-Image2Video megőrzi a nézőpontot és az elrendezést; a Cosmos Evaluator ellenőrzi az eseményt és a mozgást, a sikertelen próbálkozásokat pedig újrafuttatja. A megfelelő klipek automatikus annotációt kapnak.
- Hibás termékek képei: a Defect Image Generation hibátlan ellenőrzési képekből vagy háromdimenziós USD-objektumokból készít hibás példákat. A 3D-s eszközökről az NVIDIA Isaac Sim képeket és maszkokat renderel, a Qwen-Image-Edit pedig hibátlan referenciaképeket hoz létre. A Cosmos 3 Super ezek és a megadott hibamaszkok alapján generálja a hibákat. A modell nyomtatott áramköri lapokhoz, üveghez és fémhez finomhangolva érkezik; az eredményekhez a forrást és a generálási beállításokat követő jegyzékek is tartoznak.
Önállóan használható készségek és keresés
A munkafolyamatok hat készségből épülnek fel, amelyek külön is használhatók: az Auto Labeling annotálja a képeket és videókat; az AnomalyGen néhány példából hibaképeket és maszkokat készít; az Augmentation vizuális változatokat generál; a Curation and Retrieval nagy gyűjteményekben keres; a Simulation az Isaac Sim és az Omniverse Replicator segítségével 3D-s jelenetekből címkézett képeket renderel; az Orchestration pedig futtatja és skálázza a szolgáltatásokat.
A Cosmos Curator már többkamerás videót, inerciális mérőegységből származó és GPS-adatokat is kezel, érzékelőkönyvtárában pedig kezdeti lidar-támogatás is van. Az NVIDIA további lidarszenzorokat, radart és más érzékelőket tervez támogatni. Az újrafelhasználható Python-komponensek és a Managed Ray on Slurm segítenek a feldolgozás és a számítási kapacitás összehangolásában.
A Cosmos Dataset Search Apache 2.0 licenc alatt nyílt forráskódú. Metaadatokat, a jelenetek jelentését, térbeli kapcsolatait és időbeli viselkedését kombinálja többféle beágyazáson alapuló kereséssel; az adaptív, ügynökalapú újrarangsorolás korai hozzáférésben érhető el.
Költségek és közölt eredmények
Az NVIDIA nyolc NVIDIA RTX PRO 6000 Blackwell Series GPU-val felszerelt felhőszerveren mérte a napi teljesítményt, körülbelül 40 dolláros óránkénti, illetve 960 dolláros napi szerverköltséggel. A vállalat a következő becsléseket közölte:
- Az önvezetési munkafolyamat naponta körülbelül 130 ritka helyzetet ábrázoló klipet készített, klipenként 2,66 dollár GPU-költséggel. Ez az összehasonlítás szerint mintegy 45-ször olcsóbb, mint egy közúton gyűjtött helyzet 125 dolláros költsége.
- A képattribútum-bővítés naponta körülbelül 42 649 annotált képpárt állított elő, páronként 0,023 dollárért, ami mintegy tízszer olcsóbb a külső forrásból vásárolt adatok 0,25 dolláros átlagánál.
- A videóbővítés naponta körülbelül 305 annotált klipet készített, egy nagyjából ötperces klipre 3,15 dolláros költséggel, szemben a külső adatokra korábban fizetett átlagosan 22 dollárral.
- A hibaképekhez szükséges adatkészlet összeállítási ideje két hónapról egy napra csökkent, ami a közlés szerint 60-szoros gyorsulás.
- Az eseményvideó-generálás naponta körülbelül 384 annotált klipet készített, darabonként 2,50 dollárért és körülbelül négy perc alatt.
Ezek a számok csak a számítási költséget fedik le. A forrásadatok előkészítése, a beállítás, az ügynökök használata, a tárolás és az emberi ellenőrzés további kiadásokkal járhat.
Az NVIDIA szervezetek által közölt vagy megcélzott eredményeket is ismertetett: egy tengeri olaj- és gáztelephelyen a valós rendellenességek felismerési aránya akár 24%-kal javult, az adatgenerálás költségére vetített megtérülést pedig 1400-szorosra becsülték. Az automatizált optikai ellenőrzési programok készítésénél akár 85%-kal kevesebb mérnöki munkát és 40%-kal kevesebb téves jelzést céloznak. Egy másik várakozás szerint az ismételt fizikai tesztvezetések száma akár 90%-kal, az AI regressziós tesztciklusok ideje pedig akár 85%-kal csökkenhet. A Cosmos Curator használatával egy esetben két hétnél rövidebb piacra lépési időt közöltek, szemben egy hasonló házon belüli folyamat kiépítésére becsült hat hónappal.
Az NVIDIA november 19-re élő online eseményt is meghirdetett a tanításra kész adatkészletek készítéséről. A Voxel51 és az Encord részvételével tervezett bemutatóban a Porsche Voxel51-platformon keresztüli Cosmos Data Factory-használatát, valamint az Encord és az ANYbotics együttműködését ismertetnék.



