A robotikai szimulációra alkalmas CAD-eszközök előkészítése több, mint egyszerű geometria-konverzió OpenUSD-formátumba: a fejlesztőknek anyagokat, ütközési geometriát, csuklókat és egyéb fizikai tulajdonságokat is konfigurálniuk és validálniuk kell a robotviselkedés tesztelése előtt. Az NVIDIA Omniverse könyvtárai, a SimReady Foundation specifikációi és az Omniverse AI Agent képességek strukturált munkafolyamatot kínálnak a SimReady (szimulációra kész) eszközök konverziójához és ellenőrzéséhez. A frontier AI modellek – például a cikkben bemutatott GPT-6 Astra – képesek a folyamat egyes lépéseiben segíteni, Python-hívásokat generálni az Omniverse eszközeihez, és ezzel csökkentik a kézi előkészítést.
Mi az a SimReady és miért fontos?
A SimReady követelményrendszere meghatározza, hogyan kell OpenUSD-eszközöket előkészíteni adott szimulációs célokra. A fejlesztők kiválasztanak egy SimReady profilt az elvárt használathoz, majd validálják az eszközt a profil követelményei ellen. A profil-specifikus ellenőrzések az eszköz szerkezetét, anyagait és fizikai paramétereit vizsgálják és hibákat jeleznek javítás céljából.
Egy modell látszólag helyes lehet, de szimulációban hibázhat, ha hiányoznak a szimulációs tulajdonságok: például hiányzó ütközési geometria miatt a tárgyak áthaladhatnak a fogón, vagy rosszul definiált csuklók megakadályozhatják a koordinált mozgást. Olyan paraméterek, mint a tömeg és a súrlódás közvetlenül befolyásolják, hogy egy markolat stabil-e.
Használt technológiák és eszközök
- OpenUSD: a geometria, szerelési felépítés, anyagok és szimulációs tulajdonságok közös reprezentációja.
- SimReady Foundation: specifikációk és validációs iránymutatás a szimulációra kész eszközökhöz.
- NVIDIA Omniverse könyvtárak: konverziós, ellenőrzési és előkészítési lehetőségek OpenUSD-tartalomhoz.
- NVIDIA Isaac Sim: fizika konfigurációhoz és robotviselkedés teszteléséhez szükséges környezet.
- NVIDIA Omniverse AI Agent skills (például CAD-to-SimReady skill): ügynökök vezérlésére szolgáló készségek az eszközkonverzióhoz, anyag- és fizika-hozzárendeléshez, validációhoz.
SimReady munkafolyamat: ABB YuMi példája (öt lépés)
A bemutató végigvezeti az olvasót egy ABB Robotics YuMi robot SimReady előkészítésén a következő öt lépésben: STEP fájl konverzió, megjelenés ellenőrzése, fizika konfigurálása, SimReady validáció és egy végső kétkaros pick-and-place feladat Isaac Simben. A bemutatóhoz GPT-6 Astra-t használták példaként mint frontier AI modellt, amely Python-kódot generálva hívja az Omniverse könyvtárakat; a módszer más modellekre és robotokra is alkalmazható.
Előkészületek
- Telepítsük az Isaac Sim-et. A példában Isaac Sim 6.1-et használtak.
- Készítsünk egy reference nevű mappát az Isaac Sim könyvtárában; ide tegyük a robot-specifikációkat, STEP fájlokat, referencia képeket és videókat.
- Telepítsük a választott frontier AI modellt (például GPT-6 Astra) és indítsuk el a Codex CLI-t az Isaac Sim könyvtárából, hogy az agent megtalálja a szükséges skills-eket.
- Indítsuk Isaac Sim-et windowed módban a távoli Python szerver engedélyezésével, hogy az agent Python-on keresztül kommunikálhasson a futó alkalmazással.
A munkafolyamat minden lépésénél a megfelelő promptokkal irányítjuk az agentet, majd a visszajelzések és a szimuláció eredményei alapján finomítjuk az eszközt.
1) STEP fájlok importálása
A reference mappába helyezzük az ABB Robotics YuMi robot STEP fájljait, valamint a referenciaképeket és videókat, a SimReady Foundation specifikációit és a CAD-to-SimReady skilt.
Feladat: az agent használja a CAD-to-SimReady skillt és importálja a STEP fájlokat Isaac Sim-be, beleértve mindkét fogót és azok megfelelő rögzítési pontját a karokon.
Ellenőrzés: az eszköz importálva és elérhető legyen ellenőrzésre; az agent azonosítsa a hiányzó információkat.
2) Megjelenés illesztése
Ellenőrizzük, hogy az importált roboton a várt anyagok és textúrák betöltődtek-e; hasonlítsuk össze az ABB által szolgáltatott képekkel és videókkal a méret, orientáció és alkatrész-illesztés szempontjából. Az agent feladata az anyagok és textúrák hozzáadása vagy finomítása és a vizuális eltérések jelentése.
Feltételezés: az agent vizuálisan állította be a szín, fémesség és érdesség paramétereket, miközben megőrizte a CAD geometriát és a rögzítési transzformokat. A beállítások becslések voltak, nem mért anyag-rekonstrukció.
Ellenőrzés: a robot skálája, orientációja, részei és megjelenése megfelel; a hiányzó anyagok vagy textúrák dokumentálva vannak.
3) Fizikai tulajdonságok konfigurálása
Ebben a lépésben a vizuális geometria mellett be kell állítani a csuklókat, merev testeket és ütközési geometriát mindkét karra és fogóra. A reference mappában levő műszaki adatlapot használja az agent a csuklók határainak és sebességkorlátainak beállításához.
Ha a gyártói adatok hiányosak, az agent kiegészítéseket azonosíthat nyilvános URDF fájlokból vagy technikai kézikönyvekből. Tömegeket lehet becsülni a STEP geometriákból volumen alapján, dokumentált sűrűségi vagy tömegeloszlási feltételezésekkel, az NVIDIA tömeg-tulajdonság iránymutatásai szerint.
A példában hozott számítási és feltételezési eredmények:
- Az agent nyilvános URDF-et húzott be a csuklók tengelyeinek és a nulla konfigurációnak az azonosításához.
- Per-link tömegek: a STEP geometria volumenéből becsülve, normalizálva a gyártó által megadott össztömegre — a robot teljes tömege 38 kg, a fogónkénti tömeg 0,28 kg.
- Tömegközéppontok és tehetetlenségi tenzorok: egysűrűségű szilárd alkatrészek feltételezésével számítva; belső motorokat és hajtóműveket nem modellezték külön.
- Kapcsolódási tulajdonságok: statikus súrlódás 0,8, dinamikus 0,6, nullás repülési együttható (restitution).
- Ütközési geometria: konvex ütköző alakzatok, felület érdesség és anyag-válasz közelítések.
- Kalibráció: ezen paramétereket nem kalibrálták fizikai YuMi mérésekhez.
NVIDIA Skills használtak: usd-articulation, physics-simulation, isaac-sim-validator, isaac-sim-remote.
Ellenőrzés: a csuklók a várt tengelyek körül mozognak és a beállított határokon belül; a rögzítések és fogóműködés a konfiguráció szerint viselkedik; a becsült paraméterek és esetleges validációs hibák dokumentálva vannak.
4) SimReady tulajdonságok validálása
Az agent lefuttatja a kiválasztott SimReady Foundation ellenőrzéseket az OpenUSD eszközön, áttekinti a találatokat és szükség esetén javításokat kér.
Ebben a munkafolyamatban a validáció eredményei:
- A YuMi eszköz mértékegységei, függőségei, geometria, anyagok, merev testek, csuklók, meghajtók és artikulációk a SimReady követelmények szerint ellenőrizve lettek.
- Isaac Sim asset-ellenőrzései: skála, orientáció, alkatrész-illesztés, fogó-rögzítés, anyag-lefedettség és textúra-függőségek ellenőrzése.
- Tömeg és tehetetlenség: a 21 merev test mind pozitív tömeggel és fizikailag megengedett tehetetlenségi tenzorokkal rendelkezett; futásidejű értékek egyeztek a szerkesztett értékekkel.
- Csuklók: tengelyek, keretek, határok, meghajtók, ujj-mimik viselkedés és fix alaprögzítés ellenőrizve.
- Futásidejű viselkedés: kar- és fogóműködés, érintkezés, elengedés és kollíziók tesztelve a vizsgált pályák mentén.
Fontos: ezek az ellenőrzések a szimulációs implementációt validálták, de nem garantálják a teljes egyetértést a valós robotdinamikával minden póz esetén.
Ellenőrzés: a kiválasztott SimReady ellenőrzések teljesülnek; a finomítások és megoldatlan problémák dokumentálva vannak.
5) Végső feladat — pick-and-place teszt
A vizuális, fizikai és SimReady ellenőrzéseket kombinálva futtassunk egy végső pick-and-place szcenáriót Isaac Sim-ben.
Példa 1 — kocka pick-and-place
- Az agent hozzáad színes célpontokat és egy dobozt a tesztjelenethez, definiálja a helyeket és a színek metaadatait, majd mindkét kar és fogó segítségével elvégzi a kiválasztott szekvenciát: megfogás, emelés, tartás, átvitel és elengedés. A szimulációban a kockákat a jelenet metaadata alapján a hozzájuk illő célpontokhoz vitték.
- Feltételezések: súrlódási együtthatók statikus 0,8 és dinamikus 0,6. Használt tesztkockák: 45 mm, 40 g.
Demonstrált eredmények:
- Teljesített ciklusok: mindkét kar és fogó összesen négy pick-and-place ciklust hajtott végre egy 122,2 másodperces fizikai szimuláció alatt.
- Feladatszekvencia: minden kar megfogta a maga kockáját, felemelte, két másodpercig megtartotta, átvitte és elengedte a megfelelő célon, majd újra felvette és a dobozba helyezte.
- Érintkezési viselkedés: az ujjak és súrlódás megtartották a kockákat anélkül, hogy csatlakozó csuklók, kinematikus rögzítések vagy közvetlen tárgypozi-ció-átírások történtek volna.
- Elfogadási kritériumok: minden ciklus teljesítette a meghatározott kritériumokat.
- Felvétel: MP4 és GIF felvételek készültek a szimulációról.
Példa 2 — kép alapján létrehozott objektum (Sharpie marker)
- Az agent a referencia kép alapján létrehozott egy 3D modellt egy Sharpie filctollról, amit a robot megfogott és egy tálcába helyezett.
- Feltételezett méretek: 140 mm hossz és 10 g tömeg, a tömegközéppont a geometria közepén. Az ütközési geometria hengeres közelítéssel modellezve.
- Eredmény: a YuMi fogója felemelte és a tálcába helyezte a markert Isaac Sim-ben.
Megjegyzés: a sikeres szimulációs tesztek a vizsgált feltételek melletti viselkedést demonstrálják; az eredmények a választott frontier AI modelltől és a prompttól függően változhatnak.
Használt NVIDIA Skills a végső lépésekben: manipulation-ik, physics-simulation, isaac-sim-validator, isaac-sim-remote, isaac-sim-rendering.
Összegzés és javaslatok kipróbáláshoz
A SimReady Foundation és az NVIDIA Omniverse eszközei segítik a fejlesztőket abban, hogy CAD fájlokból és referenciaanyagokból olyan OpenUSD eszközöket készítsenek, amelyeket fizikailag konfigurálhatnak, validálhatnak és tesztelhetnek szimulációban. A YuMi bemutató egy konkrét példa az öt lépéses munkafolyamatra, GPT-6 Astra használatával mint frontier AI segéd.
Alkalmazás más robotokra vagy modellekre: győződjünk meg róla, hogy rendelkezésre állnak a szükséges eszközök és skills-ek, biztosítsuk a releváns referenciaanyagokat, és ismételjük meg az eszköz- és feladatvalidációt. Az eredmények modell-, prompt- és a megadott feltételezések szerinti eltéréseket mutathatnak.
További források és esemény
Kezdje a SimReady Foundation repozitóriummal és a CAD-to-SimReady skilllel az eszköz-előkészítés útmutatásához. A YuMi STEP fájl, referencia video és kép is elérhető a bemutató követéséhez. További tanulási lehetőségek: Isaac Sim, Isaac Lab, az OpenUSD ingyenes tanulási útvonala és a fizikai AI kurzusok.
Csatlakozhat az NVIDIA GTC Berlin rendezvényéhez 2026. október 20–22. között, ahol a fizikai AI és robotika fejleményeit vitatják meg.
