సిమ్యులేషన్ కొన్ని ప్రదర్శనలను వేల సంఖ్యలో గుణించగలదు. ప్రచురించబడిన సంఖ్యలు నిజంగా ఏమి చెబుతున్నాయో, సిమ్-టు-రియల్ గ్యాప్ ఎక్కడ ఇబ్బంది పెడుతుందో మరియు ఇంకా ఏమి రికార్డ్ చేయబడాలో ఇక్కడ ఉంది.
ప్రతి కొన్ని నెలలకు ఎవరైనా యాభై ఎపిసోడ్లను చేతితో రికార్డ్ చేయడం నెమ్మదిగా ఉంటుందని గ్రహించి, దానికి బదులుగా సిమ్యులేటర్ వాటిని ఉత్పత్తి చేయగలదా అని అడుగుతారు. ఇది సరైన ప్రశ్న. నిజాయితీగా చెప్పాలంటే మూడు భాగాలు ఉన్నాయి: రూపొందించిన డేటా సహాయపడుతుంది, అది నిజమైన రికార్డింగ్లను భర్తీ చేయదు, మరియు ఈ రెండు వాస్తవాల మధ్య నిష్పత్తి మీరు ఏ రకమైన సింథటిక్ డేటాను ఉద్దేశిస్తున్నారనే దానిపై పూర్తిగా ఆధారపడి ఉంటుంది.
ఈ పేజీ ప్రచురించబడిన పని వాస్తవానికి ఏమి కొలిచిందో, మీరు ఈరోజు తక్కువ-ధర ఆర్మ్ అయిన SO-100 వంటి వాటిపై ఈరోజు ఏమి అమలు చేయగలరో, మరియు సిమ్-టు-రియల్ గ్యాప్ లాభాలను ఎక్కడ తగ్గిస్తుందో వివరిస్తుంది. వివరాల్లోకి వెళ్లే ముందు సంక్షిప్త వెర్షన్: అతిపెద్ద మల్టిప్లైయర్లను నివేదించే సిస్టమ్లు తక్కువ సంఖ్యలో నిజమైన మానవ ప్రదర్శనలను గుణిస్తాయి. అవి వాటి అవసరాన్ని తొలగించవు.
మీరు తెలుసుకోవలసినవి
- •మానిప్యులేషన్లో నాలుగు సంబంధం లేని పద్ధతులను సింథటిక్ డేటా అని పిలుస్తారు: ట్రాజెక్టరీ మల్టిప్లికేషన్, ఫిజిక్స్ రోల్అవుట్లు, వీడియో వరల్డ్ మోడల్స్ మరియు ఇమేజ్-స్పేస్ ఆగ్మెంటేషన్. అవి వివిధ మార్గాల్లో విఫలమవుతాయి మరియు వాటి విలువలు కూడా వేర్వేరుగా ఉంటాయి.
- •మిమిక్జెన్ 200 కంటే తక్కువ మానవ ప్రదర్శనలను 18 పనులలో 50,000 కంటే ఎక్కువ రూపొందించిన వాటిగా మార్చింది. దాని స్క్వేర్ D0 టాస్క్లో, 10 మానవ డెమోల నుండి రూపొందించబడిన 200 డెమోలు 79 శాతం విజయాన్ని అందించాయి, అయితే 200 నిజమైన మానవ డెమోలు 84 శాతం విజయాన్ని సాధించాయి.
- •రోబోకాసా దీనికి విరుద్ధమైన ఉదాహరణ: 72,000 రూపొందించిన డెమోలు 47.6 శాతం సాధించాయి, అయితే 1,250 మానవ డెమోలు 28.8 శాతం సాధించాయి. ఇది 58x వాల్యూమ్ ప్రయోజనం, ఒకే రకమైన విజయం కాదు.
- •సిమ్-అండ్-రియల్ కో-ట్రైనింగ్ అధ్యయనం నిజ-ప్రపంచ టాస్క్ పనితీరులో సగటున 38 శాతం మెరుగుదలను నివేదిస్తుంది. ఈ పద్ధతి మిశ్రమంపై కో-ట్రైనింగ్ చేయడం, సిమ్-మాత్రమే బదిలీ కాదు.
- •GR00T N1 780,000 సిమ్యులేషన్ ట్రాజెక్టరీలను (6,500 గంటలకు సమానం, 11 గంటల్లో రూపొందించబడింది) మరియు 88 నిజమైన గంటల నుండి పెరిగిన 827 గంటల న్యూరల్ ట్రాజెక్టరీలను కలిగి ఉంది. ఆ 88 నిజమైన గంటలు ఇప్పటికీ పిరమిడ్ శిఖరం.
- •SO-101 కోసం ఈరోజు ఒక పని చేసే ఓపెన్ పైప్లైన్ ఉంది: LeIsaac ఐజాక్ ల్యాబ్లో, భౌతిక లీడర్ ఆర్మ్తో టెలిఆపరేట్ చేయండి, ఐజాక్ ల్యాబ్ మిమిక్తో గుణించండి, LeRobot ఫార్మాట్కు ఎగుమతి చేయండి, GR00Tని ఫైన్-ట్యూన్ చేయండి.
- •AY-Robots సింథటిక్ డేటాను రూపొందించదు. ఇది మీరు అందించిన LeRobot డేటాసెట్పై శిక్షణ పొందుతుంది, ఆ డేటాసెట్ ఏ విధంగా ఉత్పత్తి చేయబడినా సరే, మరియు శిక్షకులకు మోడల్ను బట్టి కనీసం 30 నుండి 50 ఎపిసోడ్లు అవసరం.
నాలుగు వేర్వేరు విషయాలను సింథటిక్ డేటా అని పిలుస్తారు
సంఖ్యలను పోల్చడానికి ముందు కుటుంబాలను వేరు చేయడం విలువైనది, ఎందుకంటే 100x గుణకాన్ని నివేదించే ఒక పత్రం మరియు 5 పాయింట్ల విజయ లాభాన్ని నివేదించే ఒక పత్రం తరచుగా ఒకే పైప్లైన్ను వివిధ కోణాల నుండి వివరిస్తాయి. సాధారణ విషయం ఏమిటంటే, LeRobot డేటాసెట్ లోని ఏదో ఒకటి భౌతిక చేయి నుండి రికార్డ్ చేయబడకుండా ఒక యంత్రం ద్వారా ఉత్పత్తి చేయబడింది. ఏ భాగం భిన్నంగా ఉంటుంది అనేది ముఖ్యం.
| కుటుంబం | ఏది వాస్తవంగా ఉంటుంది | ఏది ఉత్పత్తి అవుతుంది | నివేదించబడిన గుణకం | ప్రధాన వైఫల్య విధానం |
|---|---|---|---|---|
| ట్రాజెక్టరీ గుణకారం (MimicGen, DexMimicGen, Isaac Lab Mimic) | కొన్ని మానవ డెమోలు, వస్తువు మెష్లు, ఫిజిక్స్ ఇంజిన్ | కొత్త వస్తువు భంగిమలు మరియు దృశ్య లేఅవుట్లకు అనుగుణంగా కొత్త ట్రాజెక్టరీలు | ప్రతి రీసెట్ పంపిణీకి 10 మానవ డెమోల నుండి 1,000 వరకు; 60 నుండి 21,000 వరకు; 200 కంటే తక్కువ నుండి 50,000 కంటే ఎక్కువ | ఉత్పత్తి ప్రయత్నాలు విఫలమవుతాయి. ఐజాక్ ల్యాబ్ సాధారణ సందర్భాలలో అభ్యర్థి విజయ రేటును 70 శాతం వరకు మరియు కఠినమైన వాటిలో 1 శాతం కంటే తక్కువగా ఉంచుతుంది |
| టాస్క్ సిమ్యులేటర్లో ఫిజిక్స్ రోల్అవుట్లు (Isaac Lab, robosuite, RoboCasa) | ఫిజిక్స్ ఇంజిన్ మరియు అసెట్ లైబ్రరీ | స్క్రిప్టెడ్ కంట్రోలర్లు, ప్లానర్లు లేదా RL ద్వారా నడిచే పూర్తి ఎపిసోడ్లు | GPU గంటల ద్వారా మాత్రమే పరిమితం చేయబడింది | సిమ్యులేటెడ్ చేయి మీ చేయి కాదు. కాంటాక్ట్ మరియు సర్వో డైనమిక్స్ సుమారుగా ఉంటాయి |
| వీడియో ప్రపంచ నమూనాలు (DreamGen, Cosmos Transfer) | కండిషనింగ్గా ఉపయోగించిన కొన్ని నిజమైన టెలిఆపరేషన్ ఎపిసోడ్లు | కొత్త ప్రవర్తనల ఫోటోరియలిస్టిక్ వీడియో, ప్లస్ తర్వాత తిరిగి పొందిన సూడో-చర్యలు | GR00T N1లో 88 గంటల నుండి 827 గంటల వరకు, సుమారు 10x | చర్యలు ఊహించబడతాయి, కొలవబడవు. ఒక నమ్మదగిన వీడియో నమ్మశక్యం కాని చర్యను కలిగి ఉండవచ్చు |
| ఇమేజ్-స్పేస్ ఆగ్మెంటేషన్ (రాండమ్ క్రాప్, కలర్ జిట్టర్) | పిక్సెల్లు మినహా ప్రతిదీ | మీరు ఇప్పటికే కలిగి ఉన్న ఎపిసోడ్ల యొక్క కలవరపెట్టే వీక్షణలు | 1x, ఇది కొత్త ట్రాజెక్టరీని సృష్టించదు | జ్యామితీయ ఆగ్మెంటేషన్ చిత్రం మరియు చర్య లేబుల్ మధ్య సంబంధాన్ని విచ్ఛిన్నం చేస్తుంది |
ఈ వ్యాసం ఉద్దేశించిన అర్థంలో మొదటి మూడు మాత్రమే సింథటిక్ డేటా. నాల్గవది ప్రస్తావించదగినది ఎందుకంటే ఇది అదే సంభాషణలో చేర్చబడుతుంది మరియు జాబితాలో అత్యంత చౌకైనది. మీ ట్రైనర్ షిప్లతో వచ్చే ఆగ్మెంటేషన్లను మీరు ఇప్పటికే ఆన్ చేయకపోతే, సిమ్యులేటర్ను ఇన్స్టాల్ చేసే ముందు అలా చేయండి.
NVIDIA GR00T N1 పోస్ట్-ట్రైనింగ్ కోసం ఉపయోగించిన సిమ్యులేటెడ్ ట్రాజెక్టరీలను nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim గా Hugging Faceలో ప్రచురించింది, cc-by-4.0 కింద సుమారు 1.87 TB. ఇది 9,000 క్రాస్-ఎంబోడీడ్ బైమాన్యువల్ పాండా మరియు GR1 ట్రాజెక్టరీలు, 240,000 హ్యూమనాయిడ్ టేబుల్టాప్ ట్రాజెక్టరీలు, 72,000 సింగిల్-పాండా కిచెన్ ట్రాజెక్టరీలు మరియు 102 యూనిట్రీ G1 లోకో-మానిప్యులేషన్ ట్రాజెక్టరీలుగా విభజించబడింది. ఒక సబ్సెట్ను huggingface-cli download --include "gr1_arms_only.CanSort/**" తో డౌన్లోడ్ చేయడం మరియు కొన్ని ఎపిసోడ్లను చూడటం అనేది ఉత్పత్తి చేయబడిన ట్రాజెక్టరీలు ఎలా ఉంటాయో తెలుసుకోవడానికి వేగవంతమైన మార్గం, మరియు దీనికి బ్యాండ్విడ్త్ తప్ప మరేమీ ఖర్చు కాదు.
ప్రచురించిన సంఖ్యలు వాస్తవానికి ఏమి చెబుతున్నాయి
ఇక్కడ ఆధారాలు ఉన్నాయి, సంఖ్యలు పత్రికా ప్రకటనలు సంగ్రహించినట్లు కాకుండా మూలాధారాలు పేర్కొన్నట్లుగా ఉన్నాయి. దిగువన ఉన్న ప్రతి అడ్డు వరుస 23 ఆగస్టు 2026న చదివిన ఒక పత్రం లేదా ప్రాజెక్ట్ పేజీ నుండి వచ్చింది.
| సిస్టమ్ | ఇన్పుట్ | ఉత్పత్తి చేయబడింది | నివేదించబడిన ఫలితం |
|---|---|---|---|
| MimicGen, CoRL 2023 | 200 కంటే తక్కువ మానవ డెమోలు; ముఖాముఖిలో 10 మానవ డెమోలు | 50,000 కంటే ఎక్కువ డెమోలు, 18 పనులు, నాలుగు చేతులు (Panda, Sawyer, IIWA, UR5e) | Square D0: 10 మానవ డెమోల నుండి ఉత్పత్తి చేయబడిన 200 డెమోల నుండి 79 శాతం, 200 మానవ డెమోల నుండి 84 శాతంతో పోలిస్తే |
| DexMimicGen, 2024 | 60 మూల మానవ డెమోలు | ద్విమాన నైపుణ్యం గల రోబోల కోసం 21,000 డెమోలు | సిమ్యులేషన్లో ద్విమాన నైపుణ్యం గల పనులు, అదనంగా నిజ-నుండి-సిమ్-నుండి-నిజ హ్యూమనాయిడ్ డబ్బాల వర్గీకరణ విస్తరణ |
| RoboCasa, 2024 | 1,250 మానవ డెమోలు (25 అణు పనులలో ఒక్కో పనికి 50), 100 మూల్యాంకన పనులు, 150 కంటే ఎక్కువ వస్తువుల వర్గాలు | 100,000 MimicGen ట్రాజెక్టరీలు; 72,000-డెమో ఉపసమితి ప్రధాన పోలికను నడిపిస్తుంది | మానవ సమితిలో మొత్తం 28.8 శాతం, పూర్తిగా ఉత్పత్తి చేయబడిన సమితిలో 47.6 శాతంతో పోలిస్తే, చూడని వస్తువుల ఉదాహరణలపై మాత్రమే మూల్యాంకనం చేయబడింది |
| Sim-and-real co-training, 2025 | నిజమైన డెమోలు ప్లస్ సిమ్యులేషన్ డేటాసెట్లు, రెండు డొమైన్లు (రోబోట్ ఆర్మ్ మరియు హ్యూమనాయిడ్) | ఒక మిశ్రమం, ప్రత్యామ్నాయం కాదు | సిమ్యులేషన్ డేటా నిజ-ప్రపంచ పనితీరును సగటున 38 శాతం పెంచింది |
| DreamGen, 2025 | ఒక వాతావరణంలో ఒకే పిక్-అండ్-ప్లేస్ పని నుండి టెలిఆపరేషన్ డేటా | లాటెంట్ యాక్షన్ మోడల్ లేదా ఇన్వర్స్ డైనమిక్స్ మోడల్ నుండి సింథటిక్ వీడియో ప్లస్ సూడో-యాక్షన్లు | చూసిన మరియు చూడని వాతావరణాలలో ఒక హ్యూమనాయిడ్పై 22 కొత్త ప్రవర్తనలు |
| GR00T N1 data pyramid, 2025 | 88 గంటల అంతర్గత GR-1 టెలిఆపరేషన్ | 827 గంటల న్యూరల్ ట్రాజెక్టరీలు (సుమారు 10x); 780,000 సిమ్ ట్రాజెక్టరీలు, 6,500 గంటల సమానం, 11 గంటలలో ఉత్పత్తి చేయబడింది | న్యూరల్ ట్రాజెక్టరీలు RoboCasaలో 30, 100 మరియు 300 డెమోలు-ప్రతి-పని విధానాలలో 4.2, 8.8 మరియు 6.8 పాయింట్లను, మరియు 8 నిజమైన GR-1 పనులలో సగటున 5.8 పాయింట్లను జోడించాయి |
గుణకం అనేది అడ్డు వరుసల సంఖ్య. MimicGen యొక్క ముఖాముఖిలో, ఉత్పత్తి చేయబడిన డేటా మానవ డేటా యొక్క అదే సంఖ్య కంటే కొద్దిగా తక్కువగా ఉంది (84 శాతానికి వ్యతిరేకంగా 79 శాతం), మరియు GR00T N1 అబ్లేషన్ ఇప్పటికే నిజమైన గంటలు ఉన్న మోడల్కు ఒకే అంకె శాతం పాయింట్లను జోడిస్తుంది. RoboCasa మానవ డేటాను ఓడించింది, 28.8 శాతానికి వ్యతిరేకంగా 47.6 శాతం, కానీ 1,250 మానవ డెమోలకు వ్యతిరేకంగా 72,000 ఉత్పత్తి చేయబడిన డెమోలతో. పరిమాణం కవరేజీని కొనుగోలు చేస్తుంది. మీ ప్రదర్శనలలో ఎప్పుడూ లేని సమాచారాన్ని అది కొనుగోలు చేయదు.
ప్రతి నిజాయితీ గల అబ్లేషన్ (ablation) లోనూ నమూనా ఒకే విధంగా ఉంటుంది. సింథటిక్ డేటా తక్కువ ఖర్చుతో కవరేజీని విస్తరిస్తుంది. ఇది మీ గ్రిప్పర్, మీ సర్వో సాగ్, మీ లైటింగ్ లేదా మీ టేబుల్ ఎత్తు గురించి నిజమైన ప్రదర్శనలలో ఎక్కడా లేని సమాచారాన్ని సృష్టించదు. మీ పాలసీ విఫలమైతే, ఎందుకంటే ఎండ్ ఎఫెక్టర్ అర సెకను ఆలస్యంగా మూసుకుంటే, ఎంత సిమ్యులేటెడ్ వైవిధ్యం కూడా దాన్ని సరిచేయదు. అది ఒక గ్రిప్పర్ టైమింగ్ సమస్య నిజమైన రికార్డింగ్లలో.
ఒక MimicGen పరిశోధనను మీ రికార్డింగ్ సెషన్లలోకి తీసుకెళ్లడం విలువైనది, ఎందుకంటే ఇది సాధారణ సలహాలకు విరుద్ధంగా ఉంటుంది. ఈ ప్రాజెక్ట్ Square D2 పై రెండు డేటాసెట్లను రూపొందించింది, ఒకటి మెరుగైన నాణ్యత గల మానవ ఆపరేటర్ నుండి 10 డెమోలతో, మరొకటి తక్కువ నాణ్యత గల ఆపరేటర్ నుండి 10 డెమోలతో, రెండూ robomimic మల్టీ-హ్యూమన్ స్క్వేర్ డేటాసెట్ నుండి తీసుకోబడ్డాయి. ప్రతి దానిపై శిక్షణ పొందిన పాలసీలు పోల్చదగిన ఫలితాలను సాధించాయి, దీనిని రచయితలు పెద్ద-స్థాయి డేటా విధానంలో డేటా నాణ్యత అంతగా ప్రాముఖ్యత వహించకపోవచ్చని సూచించే సంకేతంగా భావించారు. జాగ్రత్తగా చదవండి, ఇది పది సీడ్ ప్రదర్శనల గురించి ఒక ప్రకటన, మీ యాభై నిజమైన ఎపిసోడ్ల గురించి కాదు. దీని అర్థం కొద్దిగా అస్తవ్యస్తమైన సీడ్ సెట్ మీకు మరియు ఉపయోగించదగిన రూపొందించిన డేటాసెట్కు మధ్య అడ్డుగా నిలబడదు. మీరు సహ-శిక్షణ పొందే నిజమైన ఎపిసోడ్లు అస్తవ్యస్తంగా ఉండవని దీని అర్థం కాదు, ఎందుకంటే సిమ్యులేటర్కు లేని సమాచారాన్ని అవి కలిగి ఉంటాయి.
సిమ్-టు-రియల్ గ్యాప్, స్పష్టంగా
ఈ అంతరాన్ని సాధారణంగా ఒకే పరిమాణంగా చర్చిస్తారు, ఇది అంతగా ఉపయోగపడదు. ఇది కనీసం ఐదు వేర్వేరు సరిపోలని అంశాలను కలిగి ఉంటుంది, మరియు 110 నుండి 150 EUR విలువైన హాబీ ఆర్మ్పై వాటి పరిమాణాలు ఫ్రాంకాపై ఉన్న వాటి కంటే భిన్నంగా ఉంటాయి.
- సంపర్కం మరియు ఘర్షణ. ఐజాక్ ల్యాబ్ స్పష్టంగా పేర్కొంటుంది, ఒకే హార్డ్వేర్ మరియు ఒకే ఐజాక్ సిమ్, ఫిజిక్స్ వెర్షన్ ఉన్నప్పుడు సిమ్యులేషన్ పునరుత్పత్తి చేయదగినది, అయితే ఫ్లోటింగ్ పాయింట్ ఖచ్చితత్వం మరియు రౌండింగ్ లోపాల కారణంగా వివిధ హార్డ్వేర్ కాన్ఫిగరేషన్లలో ఫలితాలు మారుతూ ఉంటాయి, మరియు క్లాత్ లేదా సాఫ్ట్ బాడీస్ వంటి నాన్-రిజిడ్ బాడీస్ ఉన్న ఏ సన్నివేశానికైనా ఫిజిక్స్ నిర్దిష్టతకు హామీ ఇవ్వదు.
- యాక్చుయేషన్. 7.4 V వద్ద నడుస్తున్న Feetech STS3215 బస్ సర్వో లోడ్ కింద వంగుతుంది, బ్యాక్లాష్ కలిగి ఉంటుంది మరియు వేడెక్కే కొద్దీ దాని ప్రవర్తన మారుతుంది. SO-101 కోసం MJCF మోడల్ దాని మోటార్ పారామితులను మీ ఆర్మ్పై గుర్తించడం కంటే సంబంధం లేని ప్రాజెక్ట్ నుండి తీసుకుంటుంది.
- రెండరింగ్. కెమెరా నాయిస్, రోలింగ్ షట్టర్, ఆటో-ఎక్స్పోజర్ మరియు మీ టేబుల్ యొక్క ఖచ్చితమైన రంగు రెండర్లో ఉండవు. ఈ అంతరంలో సగం Cosmos-Transfer1 మూసివేయడానికి నిర్మించబడింది: దాని రోబోటిక్స్ ఆగ్మెంటేషన్ వర్క్ఫ్లో ఒక రోబోటిక్స్ సింథటిక్ ఉదాహరణను సెగ్మెంటేషన్, డెప్త్ లేదా ఎడ్జ్ కండిషనింగ్ నుండి బహుళ వాస్తవిక ఉదాహరణలకు మ్యాప్ చేస్తుంది.
- టైమింగ్. ఒక సిమ్యులేటర్ స్థిరమైన రేటుతో అడుగులు వేస్తుంది. నిజమైన కంట్రోల్ లూప్ అలా చేయదు, మరియు మీరు ఎంచుకున్న దాని ఆధారంగా మోడల్ స్వయంగా ప్రతి చర్య దశకు 20 నుండి 485 ms ఖర్చు అవుతుంది. ఇన్ఫరెన్స్ లేటెన్సీ చూడండి.
- వస్తువు గణాంకాలు. సిమ్యులేటెడ్ సన్నివేశాలు ఎవరో రాసిన పంపిణీ నుండి నమూనా చేయబడతాయి. మీ కిచెన్ టేబుల్ అలా కాదు.
సిమ్యులేటెడ్ SO-100 మీ ఆర్మ్ గురించి నిజంగా ఏమి తెలుసు
పైన పేర్కొన్న వాటిలో ఏదైనా మీ వారాంతానికి విలువైనదా అని నిర్ణయించే భాగం ఇది, మరియు మొదటి ఆశ్చర్యం ఏమిటంటే SO-100 మరియు SO-101 సమానంగా సేవ చేయబడవు. TheRobotStudio యొక్క SO-ARM100 రిపోజిటరీ దాని సిమ్యులేషన్ ఆస్తులను Simulation/ కింద ఉంచుతుంది. SO100 ఫోల్డర్ ఒకే URDF ఫైల్ను మాత్రమే కలిగి ఉంటుంది. SO101 ఫోల్డర్ URDF మరియు MuJoCo ఫైల్లు రెండింటినీ కలిగి ఉంటుంది: scene.xml, so101_new_calib.xml, so101_old_calib.xml, సరిపోలే URDFలు మరియు joints_properties.xml. మీకు కైనమాటిక్ చైన్ కాకుండా ఫిజిక్స్ మోడల్ కావాలంటే, మీకు SO-101 ఫైల్లు కావాలి.
వాటిని Onshapeలో రూపొందించిన CAD మోడల్ నుండి onshape-to-robot ప్లగిన్తో రూపొందించారు, అంటే కైనమాటిక్స్ మరియు విజువల్ మెష్లు CAD వలెనే మంచివి. డైనమిక్స్ వేరే కథ, మరియు రిపోజిటరీ యొక్క README మూడు విషయాల గురించి స్పష్టంగా ఉంది. సిమ్యులేషన్ మరియు ప్లానింగ్ సమయంలో సమస్యలతో కూడిన కొలిషన్ ప్రవర్తన కారణంగా బేస్ కొలిషన్ మెష్లను తొలగించారు. STS3215 మోటార్ లక్షణాలు SO-101లో కొలవబడకుండా Open Duck Mini ప్రాజెక్ట్ నుండి స్వీకరించబడ్డాయి. మరియు LeRobot గ్రిప్పర్ కన్వెన్షన్, ఇక్కడ 0 పూర్తిగా మూసివేయబడింది మరియు 100 పూర్తిగా తెరిచి ఉంది, ఇది URDF మరియు MuJoCo ఫైల్లలో ఇంకా స్పష్టంగా ప్రతిబింబించలేదు. ఈ ప్రతి ఒక్కటి, ఆ మోడల్లో మాత్రమే శిక్షణ పొందిన పాలసీ మీ డెస్క్పై భిన్నంగా ప్రవర్తించే ప్రదేశం.
షిప్ చేయబడిన MuJoCo ఫైల్లలో రెండు జీరో కన్వెన్షన్లు ఉన్నాయి, మరియు scene.xml అది ఏ రోబోట్ ఫైల్ను చేర్చుకుంటుందో దాని ద్వారా వాటి మధ్య ఎంపిక చేస్తుంది. so101_new_calib.xmlలో, డిఫాల్ట్గా, ప్రతి జాయింట్ యొక్క వర్చువల్ జీరో దాని జాయింట్ పరిధి యొక్క మధ్యలో ఉంటుంది. so101_old_calib.xmlలో జీరో అనేది రోబోట్ పూర్తిగా అడ్డంగా విస్తరించబడిన కాన్ఫిగరేషన్. మీ సిమ్యులేటెడ్ ఎపిసోడ్లు ఒక కన్వెన్షన్ను ఉపయోగిస్తే మరియు మీ రికార్డ్ చేయబడిన నిజమైన ఎపిసోడ్లు మరొకటి ఉపయోగిస్తే, మిశ్రమ డేటాసెట్లోని ప్రతి జాయింట్ యాంగిల్ పదుల డిగ్రీల ద్వారా ఆఫ్సెట్ చేయబడుతుంది, లాస్ ఇప్పటికీ తగ్గుతుంది, మరియు పాలసీ నమ్మకంగా తప్పు చేస్తుంది. మీరు కో-ట్రైన్ చేసే ముందు రెండు వైపులా కన్వెన్షన్ను తనిఖీ చేయండి, మరియు ముందుగా కాలిబ్రేషన్ మరియు లాస్ తగ్గుతుంది, పాలసీ ఏమీ చేయదు చదవండి.
డొమైన్ రాండమైజేషన్, మరియు అది ఏమి పరిష్కరించదు
ఈ అంతరానికి ప్రామాణిక సమాధానం ఏమిటంటే, వాస్తవికతకు సరిపోలడానికి ప్రయత్నించడం మానేసి, బదులుగా వాస్తవికత దానిలో పడేంత విస్తృత పంపిణీలో శిక్షణ ఇవ్వడం. టోబిన్ మరియు సహోద్యోగులు 2017లో దీని యొక్క బలమైన వెర్షన్ను చూపించారు: వాస్తవికత లేని యాదృచ్ఛిక అల్లికలతో కూడిన సిమ్యులేటెడ్ చిత్రాలపై మాత్రమే శిక్షణ పొందిన ఒక ఆబ్జెక్ట్ డిటెక్టర్, నిజమైన చిత్రాలపై ఎటువంటి ప్రీ-ట్రైనింగ్ లేకుండా, నిజమైన వస్తువులను 1.5 సెం.మీ. ఖచ్చితత్వంతో గుర్తించింది మరియు డిస్ట్రాక్టర్లు మరియు పాక్షిక అడ్డుపడటాలకు నిరోధకతను కలిగి ఉంది.
ఐజాక్ ల్యాబ్ మీరు ఎన్విరాన్మెంట్ కాన్ఫిగ్కు జోడించే ఈవెంట్ టర్మ్స్తో సమానమైన ఆలోచనను అందిస్తుంది. ఇవి వాటి అసలు ఫంక్షన్ పేర్లతో కూడిన నాబ్లు isaaclab.envs.mdpలో ఉన్నాయి, కాబట్టి మీరు వాటిని ఊహించకుండా చదవగలరు.
| ఈవెంట్ ఫంక్షన్ | ఇది దేనిని ప్రభావితం చేస్తుంది |
|---|---|
| randomize_rigid_body_material | కాంటాక్ట్ ఫ్రిక్షన్ మరియు రెస్ట్యూషన్ |
| randomize_rigid_body_mass, randomize_rigid_body_com | వస్తువు మరియు లింక్ ద్రవ్యరాశి, ద్రవ్యరాశి కేంద్రం ఆఫ్సెట్లు |
| randomize_actuator_gains | జాయింట్ కంట్రోలర్ దృఢత్వం మరియు డంపింగ్ |
| randomize_joint_parameters, randomize_fixed_tendon_parameters | జాయింట్ ఫ్రిక్షన్, ఆర్మేచర్ మరియు పరిమితులు |
| randomize_visual_texture_material, randomize_visual_color | స్వరూపం, గ్యాప్ యొక్క ఫోటోమెట్రిక్ సగం |
| randomize_physics_scene_gravity | గురుత్వాకర్షణ వెక్టర్ |
| apply_external_force_torque, push_by_setting_velocity | రన్టైమ్ అంతరాయాలు |
| reset_root_state_uniform, reset_joints_by_offset | ప్రతి ఎపిసోడ్ రీసెట్లో ప్రారంభ స్థితి వ్యాప్తి |
ఇది పరిమితి, మరియు ప్రజలు దీనిపై తడబడతారు. మీరు నిర్మించిన మోడల్లో పాలసీ చూసిన పంపిణీని రాండమైజేషన్ విస్తరిస్తుంది. సిమ్యులేటర్ సూచించని భౌతిక ప్రభావాన్ని ఇది ప్రవేశపెట్టదు. మీ STS3215 సర్వోల బ్యాక్లాష్ మరియు థర్మల్ డ్రూప్ను PhysX మోడలింగ్ చేయకపోతే, వాటి దృఢత్వాన్ని రాండమైజ్ చేయడం పాలసీకి బ్యాక్లాష్ గురించి ఏమీ నేర్పదు. అందుకే సిమ్-శిక్షణ పొందిన పాలసీ కింద చేయి రాండమైజేషన్-బడ్జెట్ సమస్య కాదు. ఇది మోడలింగ్ సమస్య.
మాన్యువల్ మార్గం: ఐజాక్ ల్యాబ్లో డేటాను రూపొందించడం
ఐజాక్ జిమ్ లెగసీ సాఫ్ట్వేర్. NVIDIA యొక్క సొంత పేజీ "ఐజాక్ జిమ్ - ఇప్పుడు నిలిపివేయబడింది" అని శీర్షికతో ఉంది మరియు డెవలపర్లు దానిని డౌన్లోడ్ చేసి ఉపయోగించడం కొనసాగించవచ్చని, అయితే దానికి ఇకపై మద్దతు లేదని, ఐజాక్ ల్యాబ్ను సూచిస్తుందని పేర్కొంది. మీకు చరిత్ర కావాలంటే, మేము రెండింటినీ కవర్ చేసాము: మరియు . 2026లో కొత్త పని కోసం, ఐజాక్ ల్యాబ్తో ప్రారంభించండి.
- 1ఐజాక్ సిమ్ మరియు ఐజాక్ ల్యాబ్ను ఇన్స్టాల్ చేయండి
పిప్ ఇన్స్టాలేషన్ పేజీ సూచనలు ఐజాక్ సిమ్ 5.X కోసం అని పేర్కొంది, దీనికి పైథాన్ 3.11 అవసరం. సోర్స్ క్లోన్ తదుపరి దశలకు అవసరమైన స్క్రిప్ట్లను మీకు అందిస్తుంది.
bashpip install "isaacsim[all,extscache]==5.1.0" \ --extra-index-url https://pypi.nvidia.com git clone https://github.com/isaac-sim/IsaacLab.git --branch main cd IsaacLab sudo apt install cmake build-essential ./isaaclab.sh --install # smoke test ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py - 2సుమారు పది మానవ ప్రదర్శనలను రికార్డ్ చేయండి
ఐజాక్ ల్యాబ్ డాక్యుమెంటేషన్ నిర్దిష్టంగా ఉంటుంది: తదుపరి దశలు విజయవంతం కావడానికి సుమారు 10 విజయవంతమైన ప్రదర్శనలు అవసరం. దాని చిట్కాలు కూడా అంతే నిర్దిష్టంగా ఉంటాయి. ప్రదర్శనలను తక్కువగా ఉంచండి, ఏకపక్ష అక్షాల వెంట కదలడానికి బదులుగా ప్రత్యక్ష మార్గాన్ని తీసుకోండి మరియు పాజ్ చేయవద్దు, ఎందుకంటే ఎప్పుడు, ఎందుకు పాజ్ చేయాలో ఒక పాలసీకి స్పష్టంగా ఉండదు.
bash./isaaclab.sh -p scripts/tools/record_demos.py \ --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \ --device cpu \ --teleop_device spacemouse \ --dataset_file ./datasets/dataset.hdf5 \ --num_demos 10 - 3సబ్టాస్క్ సరిహద్దులను అనోటేట్ చేయండి
మిమిక్ ఇన్పుట్ ప్రదర్శనలను సబ్టాస్క్లుగా విభజిస్తుంది, తద్వారా అది విభాగాలను తిరిగి సమయం మరియు తిరిగి లక్ష్యంగా చేసుకోవచ్చు. --auto ఫ్లాగ్ ఆటోమేటిక్ అనోటేషన్ను నిర్వచించే పనుల కోసం మానవ ప్రమేయం లేకుండా దీన్ని చేస్తుంది; అది లేకుండా మీరు B తో పాజ్ చేస్తారు, N తో కొనసాగుతారు మరియు S తో సరిహద్దును గుర్తించండి. టాస్క్ ఐడికి -Mimic సఫిక్స్ వస్తుందని గమనించండి.
bash./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \ --device cpu \ --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \ --auto \ --input_file ./datasets/dataset.hdf5 \ --output_file ./datasets/annotated_dataset.hdf5 - 4గుణించిన డేటాసెట్ను రూపొందించండి
ఇది 10ని 1000గా మార్చే దశ. మిమిక్ ప్రతి అభ్యర్థికి బూలియన్ విజయ ప్రమాణాన్ని వర్తింపజేస్తుంది మరియు పనిని పూర్తి చేసిన వాటిని మాత్రమే ఉంచుతుంది, కాబట్టి అవుట్పుట్ సంఖ్య ట్రయల్ సంఖ్య కంటే తక్కువగా ఉంటుంది. డాక్యుమెంట్లు ఆ అభ్యర్థి విజయ రేటును సాధారణ సందర్భాలలో 70 శాతం వరకు మరియు కఠినమైన పనులు మరియు సంక్లిష్ట రోబోట్లకు 1 శాతం కంటే తక్కువగా పేర్కొన్నాయి: ఫ్రాంకా క్యూబ్ స్టాక్కు సుమారు 50 శాతం, మరియు GR1T2 పిక్ అండ్ ప్లేస్కు 65 నుండి 80 శాతం, ఇక్కడ 1000 డెమోలు 18 నుండి 40 నిమిషాలు పడుతుంది (80 శాతం వద్ద RTX ADA 6000లో 19 నిమిషాలు).
bash./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \ --device cpu \ --num_envs 10 \ --generation_num_trials 1000 \ --headless \ --input_file ./datasets/annotated_dataset.hdf5 \ --output_file ./datasets/generated_dataset.hdf5 - 5HDF5 ను LeRobot డేటాసెట్గా మార్చండి
పైన పేర్కొన్నవన్నీ రోబోమిమిక్-ఫ్లేవర్డ్ HDF5 ను ఉత్పత్తి చేస్తాయి, మరియు ఐజాక్ ల్యాబ్ కోర్ దాని స్వంత LeRobot కన్వర్టర్ను కలిగి లేదు: దాని డాక్యుమెంట్లు మీరు రూపొందించిన డేటాసెట్ను LeRobot ఫార్మాట్కు మార్చవచ్చని మాత్రమే చెబుతాయి. రెండు ప్రాజెక్టులు వాస్తవ కన్వర్టర్ను అందిస్తాయి. IsaacLab-Arena పూర్తిగా YAML కాన్ఫిగ్తో నడిచే GR00T-లక్ష్యంగా ఉన్నదాన్ని అందిస్తుంది, మరియు LeIsaac SO-101 మార్గం కోసం దాని స్వంత జతను అందిస్తుంది (క్రింద చూడండి).
bash# IsaacLab-Arena, GR00T LeRobot format python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \ --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml
23 ఆగస్టు 2026 నాటికి, main కోసం ఐజాక్ ల్యాబ్ డాక్యుమెంటేషన్ ఐజాక్ సిమ్ 6.0.1 బ్యాడ్జ్ను కలిగి ఉంది మరియు v2.3.2 తో పాటు దాని వెర్షన్ స్విచర్లో release/3.0.0 మరియు v3.0.0-beta2 లను అందిస్తుంది, అయితే అదే ట్రీలోని పిప్ ఇన్స్టాలేషన్ పేజీ ఇప్పటికీ isaacsim[all,extscache]==5.1.0 ను పిన్ చేస్తుంది మరియు సూచనలు ఐజాక్ సిమ్ 5.X కోసం అని వివరిస్తుంది. NVIDIA synthetic-manipulation-motion-generation బ్లూప్రింట్ కంటైనర్ మళ్ళీ పాతది: ఐజాక్ సిమ్ 4.5.0 లో ఐజాక్ ల్యాబ్ 2.0.2. LeIsaac యొక్క సొంత అనుకూలత పట్టిక ఐజాక్ సిమ్ 5.1 ను ఐజాక్ ల్యాబ్ v2.3.0 తో జత చేస్తుంది. ఈ ట్రీలు డాక్యుమెంటేషన్ సమన్వయం చేసే దానికంటే వేగంగా కదులుతాయి. ఒక విడుదలను ఎంచుకోండి, దానిని వ్రాసుకోండి మరియు మూడు నెలల క్రితం వ్రాసిన ట్యుటోరియల్ను మీరు అనుసరిస్తే స్క్రిప్ట్ పాత్లు మరియు ఫ్లాగ్ పేర్లు మారతాయని ఆశించండి.
జనరేషన్ ప్రయత్నాలు ఎందుకు విఫలమవుతాయి మరియు ఏమి మార్చాలి
70 శాతం నుండి 1 శాతం కంటే తక్కువకు మారే అభ్యర్థి విజయ రేటు రహస్యం కాదు, మరియు ఐజాక్ ల్యాబ్ మీరు ఊహించేలా వదిలివేయకుండా సాధారణ లోపాలను నమోదు చేస్తుంది. వాటిలో ప్రతి ఒక్కటి రికార్డింగ్ సమయంలో మీరు నియంత్రించేదే, అందుకే మొదటి నిరాశాజనకమైన జనరేషన్ రన్ తర్వాత కాకుండా, పది సీడ్ డెమాన్స్ట్రేషన్లను రికార్డు చేయడానికి ముందు ఈ జాబితాను చదవడం లాభదాయకం.
- డెమాన్స్ట్రేషన్లు చాలా పొడవుగా ఉన్నాయి. ఎక్కువ సమయ పరిధిని పాలసీ నేర్చుకోవడం కష్టం. మొదటి వస్తువుకు దగ్గరగా ప్రారంభించండి మరియు కదలికను తగ్గించండి.
- డెమాన్స్ట్రేషన్లు మృదువుగా లేవు. సక్రమంగా లేని కదలికను పాలసీ అర్థం చేసుకోవడం కష్టం, మరియు మెరుగైన టెలిఆపరేషన్ హార్డ్వేర్ మెరుగైన డేటాను అందిస్తుంది: స్పేస్మౌస్ కీబోర్డ్ను అధిగమిస్తుందని డాక్యుమెంటేషన్ స్పష్టంగా చెబుతుంది.
- పాజ్లు. పాజ్లను నేర్చుకోవడం కష్టం, ఎందుకంటే ఎప్పుడు, ఎందుకు పాజ్ చేయాలో పాలసీకి స్పష్టంగా తెలియదు. కదలికను నిరంతరాయంగా ఉంచండి.
- చాలా ఎక్కువ సబ్టాస్క్లు. ఎక్కువ సబ్టాస్క్లు అంటే ట్రాజెక్టరీ సెగ్మెంట్ల మధ్య ఎక్కువ స్టిచింగ్, ఇది తక్కువ మృదువైన కదలిక మరియు తక్కువ జనరేషన్ విజయ రేటుకు దారితీస్తుంది. చేయి దేనితోనూ ఢీకొనే అవకాశం లేని సరిహద్దులను గుర్తించండి.
- యాక్షన్ నాయిస్ లేదు. యాక్షన్ నాయిస్ ఫలిత పాలసీలను మరింత పటిష్టంగా చేస్తుంది.
- రికార్డింగ్ చాలా గట్టిగా కత్తిరించబడింది. విజయ పదం ట్రిగ్గర్ అయిన ఖచ్చితమైన ఫ్రేమ్లో రికార్డింగ్ ఆగిపోతే, అది రీప్లే సమయంలో మళ్లీ ట్రిగ్గర్ కాకపోవచ్చు. చివరలో బఫర్ను వదిలివేయండి.
- నాన్-డిటర్మినిస్టిక్ రీప్లే. ఐజాక్ ల్యాబ్లోని ఫిజిక్స్ env.reset అంతటా నిర్ణయాత్మకంగా పునరుత్పత్తి చేయబడవు, కాబట్టి కొన్ని మానవ డెమోలు రీప్లేలో విఫలమవుతాయి. మీకు అవసరమైన దానికంటే ఎక్కువ సేకరించండి మరియు అనోటేషన్ తర్వాత మిగిలిన వాటిని ఉంచుకోండి. మిమిక్-జనరేట్ చేసిన HDF5 ఫైల్లో చేరిన ప్రతిదీ విజయవంతమైన డెమో మరియు రీప్లే తర్వాత విఫలమైనప్పటికీ శిక్షణ కోసం ఉపయోగించవచ్చు.
స్టిచ్ చేయబడిన సబ్టాస్క్ సెగ్మెంట్ల మధ్య ఇంటర్పోలేషన్ దశకు దాని స్వంత ట్యూనింగ్ నాబ్ ఉంటుంది, మరియు మీకు అవసరమైన ఇంటర్పోలేషన్ దశల సంఖ్య రోబోట్ ఎంత వేగంగా కదులుతుంది మరియు ఆబ్జెక్ట్ రీసెట్ డిస్ట్రిబ్యూషన్ ఎంత విస్తృతంగా ఉంటుంది అనే దానిపై ఆధారపడి ఉంటుంది. పెద్ద రీసెట్ డిస్ట్రిబ్యూషన్తో కూడిన సంక్లిష్టమైన పని సెగ్మెంట్ల మధ్య పెద్ద ఖాళీలను వదిలివేస్తుంది, దీనికి నిరంతర కదలికగా రావడానికి ఎక్కువ ఇంటర్పోలేషన్ దశలు అవసరం. మీ జనరేట్ చేయబడిన వీడియోలు చేయి దశల మధ్య కదులుతున్నట్లు చూపిస్తే, సీడ్ డెమోలను నిందించే ముందు చూడవలసిన పరామితి అది.
SO-101లో అదే పైప్లైన్, నిజమైన లీడర్ ఆర్మ్తో
ఈ పేజీని చదివే ఎవరికైనా ఇది ఆసక్తికరమైనది, ఎందుకంటే ఇది ఒక ను Isaac Lab లో ఉంచి, మీరు ఇప్పటికే కలిగి ఉన్న భౌతిక లీడర్ ఆర్మ్తో నడపడానికి అనుమతించే ఏకైక ఓపెన్ పైప్లైన్ ఇది. ఈ రచన సమయానికి LeIsaac, వెర్షన్ 0.4.0, LeRobot యొక్క EnvHub లో విలీనం చేయబడిన అధికారిక అనుకరణ-అభ్యాస సిమ్యులేషన్ ప్లేగ్రౌండ్. దీని అనుకూలత పట్టిక మూడు పని చేసే కాంబినేషన్లను జాబితా చేస్తుంది; సరికొత్తది Isaac Sim 5.1 ను Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 మరియు Python 3.11 తో జత చేస్తుంది, మరియు డాక్యుమెంట్లు 50-సిరీస్ కార్డ్ల కోసం Isaac Sim 5.0 లేదా కొత్త వెర్షన్ను సిఫార్సు చేస్తాయి.
git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
--index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0అది అమర్చిన తర్వాత, /dev/ttyACM0 లోని లీడర్ ఆర్మ్ సిమ్యులేటెడ్ ఫాలోవర్ను నడుపుతుంది మరియు నేరుగా HDF5 కు రికార్డ్ చేస్తుంది. లూప్ మీకు నిజమైన రికార్డింగ్ నుండి ఇప్పటికే తెలిసినదే, ఫాలోవర్ మాత్రమే PhysX లో ఒక దృఢమైన శరీరం.
python scripts/environments/teleoperation/teleop_se3_agent.py \
--task=LeIsaac-SO101-PickOrange-v0 \
--teleop_device=so101leader \
--port=/dev/ttyACM0 \
--num_envs=1 \
--device=cuda \
--enable_cameras \
--record \
--dataset_file=./datasets/dataset.hdf5| ఎన్విరాన్మెంట్ ID | పని వివరణ | రోబోట్ |
|---|---|---|
| LeIsaac-SO101-PickOrange-v0 | మూడు నారింజ పండ్లను తీసి ప్లేట్లో ఉంచండి, ఆపై చేతిని విశ్రాంతి స్థితికి రీసెట్ చేయండి | సింగిల్-ఆర్మ్ SO101 ఫాలోవర్ |
| LeIsaac-SO101-LiftCube-v0 | ఎరుపు క్యూబ్ను పైకి ఎత్తండి | సింగిల్-ఆర్మ్ SO101 ఫాలోవర్ |
| LeIsaac-SO101-CleanToyTable-v0 | రెండు 'e' అక్షర వస్తువులను పెట్టెలోకి తీసుకోండి, ఆపై చేతిని విశ్రాంతి స్థితికి రీసెట్ చేయండి | సింగిల్-ఆర్మ్ SO101 ఫాలోవర్ |
| LeIsaac-SO101-CleanToyTable-BiArm-v0 | రెండు చేతులతో అదే పని | బై-ఆర్మ్ SO101 ఫాలోవర్ |
| LeIsaac-SO101-FoldCloth-BiArm-v0 | వస్త్రాన్ని మడవండి, ఆపై చేతిని విశ్రాంతి స్థితికి రీసెట్ చేయండి. DirectEnv వేరియంట్ మాత్రమే check_successకి మద్దతు ఇస్తుంది | బై-ఆర్మ్ SO101 ఫాలోవర్ |
| LeIsaac-LeKiwi-CleanupTrash-v0 | నేల నుండి టిష్యూ చెత్తను తీసి చెత్త డబ్బాలో వేయండి | LeKiwi |
ఆ IDలలో చాలా వరకు -Direct-v0 వేరియంట్గా కూడా ఉన్నాయి, మరియు python scripts/environments/list_envs.py ప్రస్తుత జాబితాను ప్రింట్ చేస్తుంది. మీరు HDF5 దారి మళ్లింపును పూర్తిగా దాటవేసి, మూడు ఫ్లాగ్లను జోడించడం ద్వారా టెలిఆపరేషన్ సమయంలో LeRobot ఫార్మాట్ను వ్రాయవచ్చు. డాక్యుమెంటేషన్ నుండి రెండు హెచ్చరికలు వస్తాయి: రికార్డర్ ప్రారంభ స్థితుల నుండి అస్థిరతను నివారించడానికి ప్రతి ఎపిసోడ్ యొక్క మొదటి 5 ఫ్రేమ్లను స్వయంచాలకంగా దాటవేస్తుంది, మరియు ఇది టెలిఆపరేషన్లో స్వల్ప ఆలస్యానికి కారణం కావచ్చు, ఇది మీ ప్రదర్శనల స్వభావాన్ని నిశ్శబ్దంగా మార్చే విషయం. ఇది పని విజయవంతమైనదిగా గుర్తించిన ఎపిసోడ్లను మాత్రమే ఫ్లష్ చేస్తుంది.
python scripts/environments/teleoperation/teleop_se3_agent.py \
--task=LeIsaac-SO101-PickOrange-v0 \
--teleop_device=so101leader \
--port=/dev/ttyACM0 \
--num_envs=1 --device=cuda --enable_cameras --record \
--use_lerobot_recorder \
--lerobot_dataset_repo_id=<your-user>/<dataset-name> \
--lerobot_dataset_fps=30గుణకార దశ ఆ రికార్డింగ్లపై నడుస్తుంది. LeIsaac, Isaac Lab Mimicను నాలుగు కమాండ్లలో చుట్టేస్తుంది, ఎందుకంటే Mimic ఎండ్-ఎఫెక్టర్ మరియు ఆబ్జెక్ట్ పోజ్ల నుండి ట్రాజెక్టరీలను సాధారణీకరిస్తుంది: జాయింట్-స్పేస్ చర్యలను IK-ఆధారిత చర్యలుగా మార్చండి, ఉల్లేఖించండి, రూపొందించండి, ఆపై తిరిగి జాయింట్ స్పేస్కు మార్చండి.
python scripts/mimic/eef_action_process.py \
--input_file ./datasets/mimic-lift-cube-example.hdf5 \
--output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
--to_ik --headless
python scripts/mimic/annotate_demos.py --device cuda \
--task LeIsaac-SO101-LiftCube-Mimic-v0 \
--input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
--output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
--enable_cameras
python scripts/mimic/generate_dataset.py --device cuda \
--num_envs 1 --generation_num_trials 10 \
--input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
--output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
--enable_cameras
python scripts/mimic/eef_action_process.py \
--input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
--output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
--to_joint --headlessతర్వాత LeRobotకి మార్చండి. ప్లాట్ఫారమ్ యొక్క ఫార్మాట్ నియమం ఇబ్బంది పెట్టే దశ ఇది, మరియు LeIsaac మీకు అవసరమైన రెండు కన్వర్టర్లను అందిస్తుంది: isaaclab2lerobot.py LeRobot v2ని వ్రాస్తుంది, దీనిని GR00T లోడర్లు తీసుకుంటాయి, మరియు isaaclab2lerobotv3.py కోసం v3ని వ్రాస్తుంది Pi0.5, SmolVLA మరియు ACT. రెండు స్క్రిప్ట్లు ఒకే విధమైన ఆర్గ్యుమెంట్లను తీసుకుంటాయి కానీ వేర్వేరు lerobot వెర్షన్లను పిన్ చేస్తాయి, మరియు విజయవంతమైన ఎపిసోడ్లు మాత్రమే మార్చబడతాయి.
pip install lerobot==0.3.3
pip install numpy==1.26.0
python scripts/convert/isaaclab2lerobot.py \
--task_name=LeIsaac-SO101-PickOrange-v0 \
--repo_id=<your-user>/so101_pick_orange_sim \
--hdf5_root=./datasets \
--hdf5_files=dataset.hdf5LeIsaac NVIDIA Brevలో మొత్తం స్టాక్ను నడపడాన్ని డాక్యుమెంట్ చేస్తుంది: డిప్లాయ్ చేయండి, బ్రౌజర్-ఆధారిత VS కోడ్ సర్వర్ను తెరవడానికి పోర్ట్ 80 లింక్ను క్లిక్ చేయండి, మరియు --kit_args="--no-window --enable omni.kit.livestream.webrtc"తో నాలుగు ముందుగా ఇన్స్టాల్ చేయబడిన దృశ్యాలను నడపండి, అదే చిరునామాలో /viewerని జోడించి రెండర్ను వీక్షించండి. మీ డెస్క్ కింద వర్క్స్టేషన్ కార్డ్ లేకపోతే, మీ పని యొక్క సిమ్యులేటెడ్ వెర్షన్ హార్డ్వేర్కు కట్టుబడి ఉండటానికి ముందు దగ్గరగా ఉందో లేదో తెలుసుకోవడానికి ఇది చౌకైన మార్గం.
శిక్షణ పొందిన పాలసీకి రెండు మార్గాలు
మీరు దృశ్యాన్ని నిర్మిస్తారు, డేటాను ఉత్పత్తి చేస్తారు, GPUని అద్దెకు తీసుకుంటారు మరియు సేవను మీరే ఏర్పాటు చేసుకుంటారు. భౌతికంగా ఏర్పాటు చేయలేని పర్యావరణ వైవిధ్యం పనికి అవసరమైతే, లేదా పునరావృత మూల్యాంకనం కావాలంటే ఇది సరైన ఎంపిక.
- మీ రోబోట్ SO-101 అయితే Isaac Sim 5.1 మరియు Isaac Lab, లేదా LeIsaac స్టాక్ను ఇన్స్టాల్ చేయండి.
- దృశ్యాన్ని మోడల్ చేయండి లేదా దిగుమతి చేయండి. ఇది ఎవరూ బడ్జెట్ చేయని దశ మరియు ఇది సాధారణంగా ఎక్కువ సమయం తీసుకుంటుంది.
- సిమ్యులేటెడ్ ఫాలోవర్ ద్వారా సుమారు 10 స్పష్టమైన ప్రదర్శనలను రికార్డ్ చేయండి.
- ఉపకార్యాలను ఉల్లేఖించండి, generate_dataset.pyని అమలు చేయండి మరియు వైఫల్యాలు విస్మరించబడతాయని అంగీకరించండి.
- HDF5ని LeRobot ఫార్మాట్కు మార్చండి, GR00T కోసం v2ని మరియు ఇతరుల కోసం v3ని ఎంచుకోండి.
- ఏమైనప్పటికీ భౌతిక ఆర్మ్పై నిజమైన ఎపిసోడ్లను రికార్డ్ చేయండి, ఆపై మిశ్రమంపై సహ-శిక్షణ ఇవ్వండి.
- ఒక GPUని అద్దెకు తీసుకోండి, ఫైన్-ట్యూన్ను అమలు చేయండి, ఆర్మ్ పక్కన చెక్పాయింట్ను అందించండి.
| వనరు | మూలాలు ఏమి చెబుతున్నాయి |
|---|---|
| స్థానిక సిమ్యులేషన్ GPU | NVIDIA సింథటిక్-మానిప్యులేషన్ బ్లూప్రింట్ Ubuntu 22.04 మరియు 48 GB VRAMతో కూడిన NVIDIA RTX A6000ని కోరుతుంది |
| వరల్డ్-మోడల్ నోడ్ | అదే బ్లూప్రింట్ Isaac Lab సిమ్యులేషన్ నుండి వేరుగా ఉన్న నోడ్లో 80 GBతో కూడిన H100 లేదా అంతకంటే ఎక్కువ కోరుతుంది |
| కంటైనర్ వెర్షన్లు | ఆ బ్లూప్రింట్ ఇమేజ్లో Isaac Sim 4.5.0 లో Isaac Lab 2.0.2 |
| ఉత్పత్తి సామర్థ్యం | Isaac Lab 1000 GR1T2 పిక్-అండ్-ప్లేస్ డెమోలను 18 నుండి 40 నిమిషాల్లో, RTX ADA 6000లో 80 శాతం విజయంతో 19 నిమిషాల్లో నివేదిస్తుంది |
| న్యూరల్ ట్రాజెక్టరీ ఖర్చు | GR00T N1 దాని 827 గంటల కలల కోసం సుమారు 105,000 L40 GPU గంటలు, సుమారు 3,600 L40లపై 1.5 రోజులు నివేదిస్తుంది |
1000 ట్రాజెక్టరీలను రూపొందించడం ఒక మధ్యాహ్నం పని. మీ దృశ్యం, మీ కెమెరా ఎక్స్ట్రిన్సిక్స్, మీ ఆబ్జెక్ట్ మెష్లు మరియు మీ సర్వో మోడల్ను ఆ ట్రాజెక్టరీలు బదిలీ అయ్యేంత దగ్గరగా పొందడం వారాలు పడుతుంది. నమూనా కోసం కాకుండా మోడలింగ్ కోసం బడ్జెట్ చేయండి.
ఇక్కడ ప్లాట్ఫారమ్ ఉద్దేశపూర్వకంగా పరిమితంగా ఉంటుంది. ఇది సిమ్యులేటర్ను అమలు చేయదు మరియు సింథటిక్ డేటాను ఉత్పత్తి చేయదు. ఇది ఏమి చేస్తుందంటే, మీరు ఏ విధంగా ఉత్పత్తి చేసినా, ఒక LeRobot డేటాసెట్ను తీసుకుని, దానిని అందించబడిన మారుస్తుంది. మీ Isaac Lab అవుట్పుట్ శుభ్రంగా మార్చబడినంత కాలం చెల్లుబాటు అయ్యే ఇన్పుట్.
- 1డేటాసెట్ను తీసుకురండి
టెలిఆపరేషన్ సెషన్ నుండి నేరుగా డెస్క్టాప్ క్లయింట్తో రికార్డ్ చేయండి, Hugging Face రెపో ఐడిని సూచించండి లేదా మార్చబడిన సిమ్యులేటర్ ఎగుమతిని అప్లోడ్ చేయండి.
- 2మోడల్ మరియు ఆర్మ్ను ఎంచుకోండి
/trainలోని మ్యాట్రిక్స్ ఐదు శిక్షణ పొందే పాలసీలలో ప్రతి దానిని మద్దతు ఉన్న ప్రతి ఆర్మ్తో జత చేస్తుంది మరియు ఆ ఖచ్చితమైన గైడ్కు లింక్ చేస్తుంది.
- 3బ్యాకెండ్ GPUని అద్దెకు తీసుకోనివ్వండి
ట్రైనర్ అవసరమైన VRAM ద్వారా స్పాట్-మార్కెట్ GPUని ఎంచుకుంటుంది, పనిని అమలు చేస్తుంది మరియు చెక్పాయింట్లను ఆబ్జెక్ట్ స్టోరేజ్కు వ్రాస్తుంది. సజీవంగా ఉంచడానికి క్లస్టర్ అవసరం లేదు.
- 4దానిని తిరిగి ఆర్మ్కు అందించండి
ఇన్ఫరెన్స్ పాడ్ స్వయంచాలకంగా అందించబడుతుంది, స్థానిక రోబోట్ క్లయింట్ ఆ ఎండ్పాయింట్తో మాట్లాడుతుంది మరియు నిష్క్రియ వాచ్డాగ్ పాడ్ను నాశనం చేస్తుంది కాబట్టి ఏదీ నిశ్శబ్దంగా బిల్ చేయబడదు.
| Model | GPU శ్రేణి | కనీస ఎపిసోడ్లు | Dataset format | సాధారణ రన్ ఖర్చు |
|---|---|---|---|---|
| GR00T N1.7 | A100 80 GB or H100 80 GB | 50 | LeRobot v2.0 or v2.1 | 4 to 12 USD |
| GR00T N1.5 | A100 80 GB or H100 80 GB | 50 | LeRobot v2.0 or v2.1 | 4 to 12 USD |
| Pi0.5 | A100 80 GB or H100 80 GB | 50 | LeRobot v3.0 | 4 to 12 USD |
| SmolVLA | RTX 4090 or any 24 GB card | 30 | LeRobot v3.0 | 1 to 3 USD |
| ACT | RTX 4090 or any 24 GB card | 50 | LeRobot v3.0 | 1 to 3 USD |
ఫార్మాట్ కాలమ్ను గమనించండి, మరియు LeIsaac రెండు కన్వర్టర్లను ఎందుకు పంపుతుందో అది కారణం. ఒక LeRobot v3.0 డేటాసెట్ GR00T లోడర్ను క్రాష్ చేస్తుంది మరియు మొదట v2.1కి మార్చబడాలి, ఇది అత్యంత సాధారణ తిరస్కరణ. మీరు దానిని ఎదుర్కొంటే, దాని కోసం పేజీ.
వీడియో వరల్డ్ మోడల్స్: సరికొత్త లేయర్, మరియు తక్కువగా కొలవబడినది
డ్రీమ్జెన్ వెనుక ఉన్న ఆలోచన ఏమిటంటే, లక్ష్య రోబోట్ ఎంబోడిమెంట్కు అనుగుణంగా మార్చబడిన వీడియో జనరేటివ్ మోడల్, మీరు ఎప్పుడూ సందర్శించని దృశ్యాలలో ఆమోదయోగ్యమైన ఎపిసోడ్లను ఊహించగలదు. పైప్లైన్లో నాలుగు దశలు ఉన్నాయి: వీడియో వరల్డ్ మోడల్ను ఫైన్-ట్యూన్ చేయడం, ఫోటోరియలిస్టిక్ సింథటిక్ రోబోట్ వీడియోలను రూపొందించడం, లేటెంట్ యాక్షన్ మోడల్ లేదా ఇన్వర్స్ డైనమిక్స్ మోడల్తో సూడో-యాక్షన్ సీక్వెన్స్లను తిరిగి పొందడం, ఆపై ఫలితంపై రోబోట్ పాలసీకి శిక్షణ ఇవ్వడం. NVIDIA యొక్క GR00T-dreams రిపోజిటరీ సరిగ్గా దానినే అమలు చేస్తుంది.
ముఖ్యమైన ఫలితం వాస్తవమైనది మరియు తీవ్రంగా పరిగణించదగినది: ఒకే పికప్-అండ్-ప్లేస్ టాస్క్ నుండి ఒకే వాతావరణంలో సేకరించిన టెలిఆపరేషన్ డేటా, చూసిన మరియు చూడని వాతావరణాలలో మానవరూప రోబోట్పై 22 కొత్త ప్రవర్తనలను ఉత్పత్తి చేసింది. అయితే, దీనికి ఒక ముఖ్యమైన షరతు ఉంది, అది మూడవ దశలో ఉంది.
- వాస్తవ ప్రపంచంలో నిజంగా ఖరీదైన అక్షం వెంబడి అవి స్కేల్ అవుతాయి: కొత్త దృశ్యాలు, కొత్త వస్తువుల అమరికలు, సూచనల కొత్త పదజాలం.
- GR00T-dreams దాని యాక్షన్-ఎక్స్ట్రాక్షన్ మరియు ఫైన్-ట్యూనింగ్ స్క్రిప్ట్ల కోసం నాలుగు మద్దతు ఉన్న ఎంబోడిమెంట్లను జాబితా చేస్తుంది: franka, gr1, robocasa మరియు so100. ఇది మానవరూప రోబోట్లకు మాత్రమే పరిమితమైన సాంకేతికత కాదు.
- Cosmos-Transfer1 నేరుగా గ్యాప్లోని ఫోటోమెట్రిక్ భాగాన్ని లక్ష్యంగా చేసుకుంటుంది, ఒక రోబోటిక్స్ సింథటిక్ ఉదాహరణను సెగ్మెంటేషన్, డెప్త్ లేదా ఎడ్జ్ కండిషనింగ్ నుండి బహుళ వాస్తవిక ఉదాహరణలకు మ్యాప్ చేస్తుంది. Isaac Lab స్వయంగా scripts/tools/cosmos కింద దీని కోసం ప్రాంప్ట్ టూలింగ్ను అందిస్తుంది.
- డ్రీమ్జెన్ పని DreamGen Benchను అందిస్తుంది, ఇది బెంచ్మార్క్ పనితీరు మరియు డౌన్స్ట్రీమ్ పాలసీ విజయం మధ్య బలమైన సంబంధాన్ని చూపే వీడియో-జనరేషన్ బెంచ్మార్క్, కాబట్టి మీరు వాటిపై శిక్షణ ఇచ్చే ముందు జనరేషన్లను స్క్రీన్ చేయవచ్చు.
- చర్యలు మోడల్ ద్వారా పునరుద్ధరించబడతాయి, ఎన్కోడర్ ద్వారా కొలవబడవు. సరిగ్గా కనిపించే వీడియో మీ చేయి అమలు చేయలేని జాయింట్ ట్రాజెక్టరీని కలిగి ఉండవచ్చు.
- ఉత్పత్తి ఖరీదైనది. GR00T N1 ప్రకారం, L40లో ఒక సెకను వీడియోను రూపొందించడానికి రెండు నిమిషాలు పడుతుంది, ఇది సుమారు 105,000 L40 GPU గంటలు, అంటే దాని 827 గంటల న్యూరల్ ట్రాజెక్టరీల కోసం 3,600 L40 GPUలపై సుమారు 1.5 రోజులు.
- కొలవబడిన లాభం సింగిల్ డిజిట్స్లో ఉంది: మూడు డేటా రెజీమ్లలో రోబోకాసాపై 4.2, 8.8 మరియు 6.8 పాయింట్లు, మరియు ఇప్పటికే నిజమైన డేటా ఉన్న మోడల్పై 8 నిజమైన GR-1 టాస్క్లలో సగటున 5.8 పాయింట్లు.
- 7.4 V హాబీ-సర్వో ఆర్మ్ కోసం ఎండ్-టు-ఎండ్ దీనిని ధృవీకరించే ప్రచురించబడిన రెసిపీ ఏదీ లేదు. మీరు పోర్టింగ్ చేస్తున్నారు, అనుసరించడం లేదు.
సిమ్యులేషన్కు సంబంధం లేనిది, కానీ ఎవరైనా సిమ్యులేటెడ్ ఆర్మ్ నుండి నిజమైన ఆర్మ్కు మారినప్పుడు మరియు పవర్ సప్లైని తాత్కాలికంగా ఏర్పాటు చేసినప్పుడు ఇది వస్తుంది. SO-100, SO-101 మరియు LeKiwi ఆర్మ్ అన్నీ 7.4 V వద్ద Feetech STS3215 సర్వోలను నడుపుతాయి. వాటికి 12 V ఇవ్వడం వాటిని నాశనం చేస్తుంది, మరియు LeKiwi ఒక ప్రత్యేకమైన ఉచ్చు, ఎందుకంటే దాని బేస్ రైల్ నిజానికి 12 V. మీరు ఏదైనా వైరింగ్ చేసే ముందు SO-100 హార్డ్వేర్ పేజీని చూడండి.
కో-ట్రైనింగ్ నిజానికి లాభాలను చూపించే రెసిపీ
సాహిత్యం నుండి మీరు ఒక కార్యాచరణ పాఠాన్ని నేర్చుకుంటే, దీన్ని తీసుకోండి. సిమ్-అండ్-రియల్ కో-ట్రైనింగ్ అధ్యయనం (మద్దుకూరి మరియు సహచరులు, 2025) విజన్-ఆధారిత రోబోటిక్ మానిప్యులేషన్ పనులను పరిష్కరించడానికి సిమ్యులేషన్ డేటాను ఉపయోగించడానికి ఒక సాధారణ పద్ధతిని కనుగొనడానికి ప్రయత్నించింది, రెండు డొమైన్లలో - ఒక రోబోట్ ఆర్మ్ మరియు ఒక హ్యూమనాయిడ్ - మరియు దాని ముగింపు ఏమిటంటే మీరు మిశ్రమంపై శిక్షణ ఇవ్వాలి. సిమ్యులేషన్ డేటా నిజ-ప్రపంచ పనితీరును సగటున 38 శాతం పెంచింది, మరియు సిమ్యులేషన్ మరియు నిజ-ప్రపంచ డేటా మధ్య గుర్తించదగిన తేడాలు ఉన్నప్పటికీ ఇది వర్తిస్తుందని పేపర్ స్పష్టంగా పేర్కొంది.
ఆ చివరి నిబంధన 38 శాతం కంటే ఎక్కువ ముఖ్యమైనది. దీని అర్థం, నిజమైన డేటా మిశ్రమంలో దానిని స్థిరీకరించడానికి ఉన్నంతవరకు, సిమ్యులేషన్ ఉపయోగకరంగా ఉండటానికి ఖచ్చితమైన డిజిటల్ ట్విన్ కానవసరం లేదు. సిమ్-మాత్రమే బదిలీ ఖరీదైన మార్గం: అదే పేపర్ ప్రకారం, ఒక విధానాన్ని కేవలం సిమ్యులేషన్లో శిక్షణ ఇచ్చి, దానిని నిజ ప్రపంచానికి బదిలీ చేయడం తరచుగా వాస్తవికత అంతరాన్ని తగ్గించడానికి గణనీయమైన మానవ ప్రయత్నాన్ని కోరుతుంది. కో-ట్రైనింగ్ ఆ ప్రయత్నంలో ఎక్కువ భాగాన్ని దాటవేస్తుంది, ఎందుకంటే విధానాన్ని దాని స్వంతంగా అంతరాన్ని పూడ్చమని ఎప్పుడూ అడగదు.
ఆచరణాత్మకంగా, ఈ ప్లాట్ఫారమ్లో, కో-ట్రైనింగ్ అంటే ఒకటే: రెండు ఎపిసోడ్ల సెట్లను ఒకే LeRobot dataset స్థిరమైన కెమెరా కీలు, స్థిరమైన జాయింట్ ఆర్డర్ మరియు స్థిరమైన యూనిట్లతో, ఆపై సాధారణ ఫైన్-ట్యూన్. శిక్షణ ఫారమ్లో మిశ్రమ-బరువు నాబ్ లేదు. మీరు 3:1 సిమ్-టు-రియల్ నిష్పత్తిని కోరుకుంటే, మీరు డేటాసెట్లో ఒక్కొక్కటి ఎన్ని ఎపిసోడ్లను ఉంచుతారనే దాని ద్వారా దాన్ని వ్యక్తపరుస్తారు.
సిమ్యులేషన్ నుండి లభించే చౌకైన విజయం శిక్షణ డేటా కాదు
ఇది మూల్యాంకనం. రెండు పోల్చడానికి ప్రతి పనికి డజన్ల కొద్దీ నిజమైన ట్రయల్స్ నిర్వహించడం అనేది ఒక రోజు ఆర్మ్ సమయం, మరియు ఆర్మ్ ట్రయల్స్ మధ్య కదులుతుంది. SIMPLER (లీ మరియు సహచరులు, 2024) సిమ్యులేటెడ్ వాతావరణాలను నిర్మించింది, వీటి ఉద్దేశ్యం నిజమైన విధానాలను శిక్షణ ఇవ్వడం కాకుండా వాటిని స్కోర్ చేయడం, ఆపై సిమ్ ర్యాంకింగ్ నిజమైన దానిని ఎంత బాగా అంచనా వేస్తుందో కొలిచింది. ఒక SIMPLER వాతావరణం వినియోగదారు RTX 4090లో 640 బై 512 రిజల్యూషన్లో సెకనుకు 3,500 సిమ్యులేషన్ స్టెప్పుల వద్ద రెండర్ అవుతుంది, ఇది 500 Hz సిమ్యులేషన్ ఫ్రీక్వెన్సీ కింద నిజమైన మూల్యాంకనం కంటే 7x వేగవంతమైనది.
| మూల్యాంకన ప్రోటోకాల్ | MMRV (తక్కువ ఉంటే మంచిది) | పియర్సన్ r (ఎక్కువ ఉంటే మంచిది) |
|---|---|---|
| ధృవీకరణ MSE | 0.375 | 0.308 |
| SIMPLER, వేరియంట్ అగ్రిగేషన్ | 0.143 | 0.778 |
| SIMPLER, విజువల్ మ్యాచింగ్ | 0.056 | 0.924 |
అవి ఆరు సాధారణ ఓపెన్-సోర్స్ చెక్పాయింట్ల కోసం మూడు Google Robot టాస్క్ గ్రూపులలో సగటులు: విభిన్న శిక్షణ దశలలో మూడు RT-1 చెక్పాయింట్లు, RT-1-X, RT-2-X మరియు Octo-Base. నిజమైన వైపు ఒకే విధమైన ట్రయల్ సంఖ్య కాదు, మీరు దానిని ఉటంకించే ముందు తెలుసుకోవడం విలువ: కోక్ క్యాన్ తీయడానికి 75 ట్రయల్స్, దగ్గరకు తరలించడానికి 60, డ్రాయర్ తెరవడానికి మరియు మూయడానికి 54 మరియు పొడవైన డ్రాయర్-మరియు-ఆపిల్ పనికి 27. ధృవీకరణ MSEతో పోలిక ఉపయోగకరమైన భాగం. ధృవీకరణ నష్టం ద్వారా మోడల్ ఎంపిక ఈ చెక్పాయింట్లను తప్పుగా ర్యాంక్ చేస్తుంది, మరియు విజువల్ మ్యాచింగ్ కింద 0.924 పియర్సన్ r అంటే ఒక చెక్పాయింట్ SIMPLERలో మెరుగ్గా స్కోర్ చేస్తే అది బహుశా బెంచ్లో కూడా మెరుగ్గా స్కోర్ చేస్తుంది. అది పునరావృతమయ్యే రాత్రిపూట స్కోర్బోర్డ్, మరియు సిమ్-టు-రియల్ శిక్షణ బదిలీ గురించి మీరు ఏదైనా నమ్మాల్సిన అవసరం లేదు.
ఈ బెంచ్మార్క్ నంబర్లు దేని గురించి చెబుతాయి మరియు దేని గురించి చెప్పవు అనే విస్తృత సందర్భం మీకు కావాలంటే, విజన్-లాంగ్వేజ్-యాక్షన్ మోడల్, మేము దానిని విడిగా వ్రాసాము VLA అవలోకనం.
ఈ ప్లాట్ఫారమ్ మీకు ఎక్కడ సహాయపడదు
పరిమితి గురించి స్పష్టంగా ఉండటం అందరి సమయాన్ని ఆదా చేస్తుంది. AY-Robots అనేది రికార్డింగ్, శిక్షణ మరియు సేవలను అందించే ప్లాట్ఫారమ్. దీనిలో సిమ్యులేటర్ లేదు.
- Isaac Lab లేదు, MimicGen లేదు, ప్రపంచ మోడల్ లేదు, సీన్ ఆథరింగ్ లేదు. మీకు జనరేట్ చేయబడిన డేటా కావాలంటే, మీరు దానిని మరెక్కడైనా జనరేట్ చేసి ఫలితాన్ని తీసుకురావాలి.
- ట్రైనర్లు LeRobot డేటాసెట్లను మాత్రమే వినియోగిస్తాయి. సిమ్యులేటర్ ఎగుమతి ఇన్పుట్గా మారడానికి ముందు మార్చబడాలి, మరియు అది సరైన వెర్షన్ అయి ఉండాలి: GR00T N1.5 మరియు N1.7 కోసం v2.0 లేదా v2.1, Pi0.5, SmolVLA మరియు ACT కోసం v3.0.
- GR00T యొక్క ఫైన్-ట్యూనింగ్ ఎంట్రీ పాయింట్ అనేది సీడ్ను బహిర్గతం చేయని టైరో CLI, కాబట్టి GR00T రన్లు బిట్-ఫర్-బిట్ పునరుత్పత్తి చేయబడవు. మీరు జాగ్రత్తగా సిమ్-వర్సెస్-రియల్ అబ్లేషన్ను నడుపుతున్నట్లయితే, అది నిజమైన పరిమితి. lerobot యొక్క డిఫాల్ట్ సీడ్ 1000, మరియు ACT, SmolVLA మరియు Pi0.5 ఫారమ్లు సీడ్ ఫీల్డ్ను బహిర్గతం చేస్తాయి.
- గ్రాడియంట్ అక్యుములేషన్ రెండు GR00T ట్రైనర్లకు మాత్రమే వర్తిస్తుంది. Pi0.5 మరియు SmolVLA కోసం ఫీల్డ్ ఫారమ్లో ఉంది, కానీ lerobot 0.5.1కి అలాంటి ఫ్లాగ్ లేదు, కాబట్టి అది ఏమీ చేయదు.
- వేగవంతమైన పనుల కోసం ఇన్ఫరెన్స్ సర్వోల పక్కన ఉండాలి. కంట్రోల్ లూప్ మోడల్ను బట్టి ఒక్కో యాక్షన్ స్టెప్కు 20 నుండి 485 ms ఉంటుంది, మరియు పబ్లిక్-ఇంటర్నెట్ రౌండ్ ట్రిప్లను జోడించడం వలన పని చేసే పాలసీ సంకోచించే పాలసీగా మారుతుంది. రిమోట్ ఇన్ఫరెన్స్ నెమ్మదిగా పికప్-అండ్-ప్లేస్ కోసం ఆచరణీయం, వేగవంతమైన రియాక్టివ్ మోషన్ కోసం కాదు.
చేయి లేకుండా కో-ట్రైనింగ్ మిశ్రమం యొక్క నిజమైన భాగాన్ని రికార్డ్ చేయండి. /live సైన్అప్ లేకుండా, క్యూ-ఆధారితంగా భౌతిక SO-100ని స్ట్రీమ్ చేస్తుంది, మరియు ఆపరేటర్ ప్రోగ్రామ్ ఎందుకంటే ఎవరైనా వాటిని నడపాలి. మీ బాటిల్నెక్ మీకు సిమ్యులేటర్ ఉంది మరియు నిజమైన ఎపిసోడ్లు లేవు అయితే, ఈ ప్లాట్ఫారమ్ పూడ్చే అంతరం అది.
మీరు సమర్థించగల బడ్జెట్
రెండు మార్గాలను పక్కపక్కన ఉంచండి, ప్రతి మార్గం వాస్తవానికి ప్రచురించే సంఖ్యలతో, మరియు తక్కువ-ధర చేతితో ఒకే-పని ప్రాజెక్ట్ కోసం నిర్ణయం సాధారణంగా దానికదే జరుగుతుంది.
| లైన్ ఐటెమ్ | సిమ్యులేషన్-ఫస్ట్ | రికార్డ్-ఫస్ట్ |
|---|---|---|
| ముందుగానే మోడలింగ్ | సీన్, మెషెస్, కెమెరా ప్లేస్మెంట్, సర్వో మోడల్. రోజులు నుండి వారాలు | ఏమీ లేదు |
| డేటా సేకరణ | సిమ్లో సుమారు 10 డెమోలు, ఆపై జనరేషన్ | 30 నుండి 50 నిజమైన ఎపిసోడ్లు, కొన్ని గంటల టెలిఆపరేషన్ |
| సొంతం చేసుకోవాల్సిన హార్డ్వేర్ | ఐజాక్ ల్యాబ్ బ్లూప్రింట్ కోసం 48 GB కార్డ్, కాస్మోస్ స్టేజ్ కోసం 80 GB | ఒక ఆర్మ్ మరియు ఒక ల్యాప్టాప్ |
| శిక్షణ ఖర్చు | కుడి కాలమ్తో సమానం, డేటా ఎక్కడ నుండి వచ్చిందో ట్రైనర్కు పట్టింపు లేదు | 4090 టైర్లో 1 నుండి 3 USD, A100 లేదా H100 టైర్లో 4 నుండి 12 USD |
| ప్రతిఫలానికి ఉత్తమ సాక్ష్యం | సహ-శిక్షణ పొందినప్పుడు సగటున 38 శాతం నిజ-ప్రపంచ లాభం, న్యూరల్ ట్రాజెక్టరీల నుండి 4 నుండి 9 పాయింట్లు | పైన పేర్కొన్న ప్రతిదీ కొలవబడే బేస్లైన్ |
| విఫలమవుతుంది ఎప్పుడు | మీ పని కాంటాక్ట్, డిఫార్మబుల్స్ లేదా సర్వో కంప్లయన్స్ పై ఆధారపడి ఉన్నప్పుడు | మీరు భౌతికంగా ఏర్పాటు చేయలేని పర్యావరణ వైవిధ్యాన్ని మీకు అవసరం అయినప్పుడు |
SO-100లో మొదటి పాలసీ కోసం, రికార్డ్ చేయండి. మరియు మీకు కాఫీ ధరకే సర్వ్ చేయబడిన చెక్పాయింట్ను అందిస్తాయి, మరియు భవిష్యత్తులో ఏ సహ-శిక్షణ మిశ్రమంలోనైనా మీకు నిజమైన సగం ఉంటుంది. మీకు పని చేసే బేస్లైన్ మరియు మీరు పేరు పెట్టగల నిర్దిష్ట సాధారణీకరణ వైఫల్యం ఉన్నప్పుడు సిమ్యులేటర్ను ఉపయోగించండి, ఉదాహరణకు, ఒక పాలసీ .
మీ డెస్క్పై ఇంకా ఆర్మ్ లేదా?
బ్రౌజర్లో నిజమైన SO-100ని నడపండి, క్యూ-ఆధారితంగా, సైన్అప్ లేకుండా, మరియు సిమ్యులేటర్లో ఒకదాన్ని మోడలింగ్ చేయడానికి వారాంతం గడపడానికి ముందు నిజమైన ఎపిసోడ్ ఎలా ఉంటుందో చూడండి.
నిజమైన ఆర్మ్ను నడపండిసాక్ష్యాలను గౌరవించే ఒక రెసిపీ
- 1ముందుగా నిజమైన బేస్లైన్ను రికార్డ్ చేయండి
SmolVLA కోసం 30 ఎపిసోడ్లు, ACT కోసం 50, GR00T N1.7 మరియు Pi0.5 కోసం. ఒకసారి శిక్షణ ఇవ్వండి. ఆ పాలసీ దేనిలో విఫలమైతే, అదే సింథటిక్ డేటా కోసం మీ స్పెసిఫికేషన్.
- 2సాధారణీకరణ వైఫల్యాన్ని గుర్తించండి
వస్తువు యొక్క భంగిమ? లైటింగ్? టేబుల్ ఎత్తు? అడ్డంకులు? సూచన యొక్క విభిన్న పదజాలం? సింథటిక్ డేటా ఒకేసారి వీటిలో ఒకదానిలో మాత్రమే మంచిది, మరియు ఏది అని మీరు చెప్పలేకపోతే అది పనికిరాదు.
- 3దానిని కవర్ చేసే చౌకైన కుటుంబాన్ని ఎంచుకోండి
భంగిమ మరియు లేఅవుట్ వైవిధ్యం: ట్రాజెక్టరీ గుణకారం. లైటింగ్ మరియు ఆకృతి: ముందుగా ఇమేజ్ ఆగ్మెంటేషన్, తర్వాత వరల్డ్ మోడల్. సరికొత్త దృశ్యాలు: ఫిజిక్స్ రోల్అవుట్లు, మరియు మోడలింగ్ ఖర్చును అంగీకరించండి.
- 4ఉత్పత్తి చేయండి, ఆపై దూకుడుగా విస్మరించండి
జనరేషన్ ప్రయత్నాలు విఫలమవుతాయి, మరియు ఐజాక్ ల్యాబ్ యొక్క అభ్యర్థి విజయ రేటు పనిని బట్టి 70 శాతం నుండి 1 శాతం కంటే తక్కువకు మారుతుంది. విజయవంతమైన, పనిని పూర్తి చేసే ట్రాజెక్టరీలను మాత్రమే ఉంచండి, మరియు బ్యాచ్ను విశ్వసించే ముందు వీడియోగా ఒక నమూనాను పరిశీలించండి.
bashpython scripts/mimic/generate_dataset.py --device cuda \ --num_envs 8 --generation_num_trials 500 \ --input_file ./datasets/annotated.hdf5 \ --output_file ./datasets/generated.hdf5 --enable_cameras - 5సహ-శిక్షణ ఇవ్వండి, భర్తీ చేయవద్దు
ఉత్పత్తి చేయబడిన ఎపిసోడ్లను నిజమైన వాటితో ఒకే LeRobot డేటాసెట్లో ఒకే కెమెరా కీలు మరియు జాయింట్ ఆర్డరింగ్తో విలీనం చేయండి. 38 శాతం అనేది సహ-శిక్షణ సంఖ్య.
- 6నిజమైన ఆర్మ్పై మాత్రమే మూల్యాంకనం చేయండి
సిమ్యులేటెడ్ మూల్యాంకనం ఒక మంచి ర్యాంకింగ్ సిగ్నల్ (SIMPLER యొక్క విజువల్-మ్యాచింగ్ సెటప్లో పియర్సన్ r 0.924) కానీ అది ఆమోద పరీక్ష కాదు. మీరు దానిని నమ్మే ముందు బెంచ్పై చెక్పాయింట్ను అమలు చేయండి.
మీరు నిజమైన రికార్డింగ్ల కోసం ఒక చెక్లిస్ట్ నుండి ప్రారంభించాలనుకుంటే, కెమెరా ప్లేస్మెంట్ను కవర్ చేస్తుంది, చిక్కులు మరియు ఒక డేటాసెట్ను పనికిరాకుండా చేసే వైఫల్య రీతులను కవర్ చేస్తుంది. ఫార్మాట్ వివరాలు , మరియు హైపర్పారామీటర్ వైపు .
నేను రోబోట్ పాలసీని పూర్తిగా సింథటిక్ డేటాపై శిక్షణ ఇవ్వగలనా?▾
నిజమైన ఆర్మ్పై మానిప్యులేషన్ టాస్క్ కోసం, విశ్వసనీయంగా కాదు. బలమైన సంఖ్యతో ప్రచురించబడిన ప్రతి ఫలితం సహ-శిక్షణ ఫలితం లేదా నిజమైన డేటాపై ఆగ్మెంటేషన్ ఫలితం. MimicGen యొక్క స్వంత పోలిక ప్రకారం, అదే పనిలో 200 మానవ డెమోలకు 84 శాతం కాగా, 200 ఉత్పత్తి చేయబడిన డెమోలు 79 శాతం వద్ద ఉన్నాయి, మరియు 2025 సిమ్-అండ్-రియల్ సహ-శిక్షణ పత్రం ప్రకారం, సిమ్యులేషన్లో మాత్రమే శిక్షణ ఇవ్వడం మరియు బదిలీ చేయడం తరచుగా వాస్తవికత అంతరాన్ని తగ్గించడానికి గణనీయమైన మానవ ప్రయత్నాన్ని కోరుతుంది. RoboCasa ఉత్పత్తి చేయబడిన డేటా మానవ డేటాను 47.6 శాతంకు వ్యతిరేకంగా 28.8 శాతం వద్ద అధిగమించినట్లు చూపిస్తుంది, కానీ 72,000 ఉత్పత్తి చేయబడిన డెమోలతో 1,250 మానవ డెమోలకు వ్యతిరేకంగా, రెండింటినీ ఉత్పత్తి చేసిన సిమ్యులేటర్ లోపల మాత్రమే.
నేను సింథటిక్ ఎపిసోడ్లను ఉత్పత్తి చేస్తే నాకు ఇంకా ఎన్ని నిజమైన ఎపిసోడ్లు అవసరం?▾
AY-Robotsలో, ఎపిసోడ్లు ఎక్కడ నుండి వచ్చినా సంబంధం లేకుండా, SmolVLA కోసం కనీసం 30 ఎపిసోడ్లు మరియు ACT, GR00T N1.5, GR00T N1.7 మరియు Pi0.5 కోసం 50 ఎపిసోడ్లు శిక్షకులకు అవసరం. ఐజాక్ ల్యాబ్ యొక్క Mimic డాక్యుమెంటేషన్ ప్రకారం, ఉత్పత్తికి సీడ్గా సుమారు 10 విజయవంతమైన మానవ ప్రదర్శనలు అవసరం. అవి వేర్వేరు ప్రశ్నలకు సమాధానం ఇచ్చే వేర్వేరు సంఖ్యలు: 10 జనరేటర్కు అవసరం, 30 నుండి 50 శిక్షకుడికి అవసరం.
సిమ్యులేటెడ్ డేటా LeRobot ఫార్మాట్లో ఉండాలా?▾
ఈ ప్లాట్ఫారమ్లో శిక్షణ ఇవ్వడానికి, అవును. ఐజాక్ ల్యాబ్ మరియు LeIsaac రెండూ రోబోమిమిక్-ఫ్లేవర్డ్ HDF5ను ఉత్పత్తి చేస్తాయి. ఐజాక్ ల్యాబ్ కోర్ LeRobot కన్వర్టర్ను అందించదు, కానీ LeIsaac LeRobot v2 కోసం isaaclab2lerobot.py మరియు v3 కోసం isaaclab2lerobotv3.pyను అందిస్తుంది, మరియు IsaacLab-Arena YAML కాన్ఫిగ్తో నడిచే GR00T-లక్ష్యంగా convert_hdf5_to_lerobot.pyను అందిస్తుంది. వెర్షన్ను గమనించండి: GR00T N1.5 మరియు N1.7 LeRobot v2.0 లేదా v2.1ను తీసుకుంటాయి, అయితే Pi0.5, SmolVLA మరియు ACT v3.0ను తీసుకుంటాయి. v3.0 డేటాసెట్ GR00T లోడర్ను క్రాష్ చేస్తుంది మరియు v2.1కి మార్చబడాలి.
2026లో ఐజాక్ జిమ్ నేర్చుకోవడానికి సరైనదేనా?▾
లేదు. NVIDIA యొక్క స్వంత ఉత్పత్తి పేజీ "Isaac Gym - ఇప్పుడు నిలిపివేయబడింది" అని శీర్షికతో ఉంది మరియు ఇది లెగసీ సాఫ్ట్వేర్ అని, డెవలపర్లు దానిని డౌన్లోడ్ చేసి ఉపయోగించడం కొనసాగించవచ్చని కానీ అది ఇకపై మద్దతు ఇవ్వబడదని, మరియు ఐజాక్ ల్యాబ్ను ప్రత్యామ్నాయంగా సూచిస్తుంది. ఐజాక్ ల్యాబ్ IsaacGymEnvs నుండి, OmniIsaacGymEnvs నుండి మరియు Orbit నుండి మైగ్రేషన్ గైడ్లను అందిస్తుంది, కాబట్టి ఇప్పటికే ఉన్న వాతావరణం పోర్టబుల్ అవుతుంది తప్ప కోల్పోదు.
నేను SO-100 లేదా SO-101ని ఐజాక్ ల్యాబ్లో ఉంచగలనా?▾
SO-101, అవును, సరిగ్గా. TheRobotStudio రిపోజిటరీ SO-101 కోసం URDF మరియు MJCF ఫైల్లు రెండింటినీ అందిస్తుంది, ఇవి Onshape CAD మోడల్ నుండి onshape-to-robotతో ఉత్పత్తి చేయబడ్డాయి, మరియు LeIsaac భౌతిక SO101 లీడర్ ఆర్మ్ నుండి టెలిఆపరేషన్తో LeIsaac-SO101-PickOrange-v0 వంటి సిద్ధంగా ఉన్న ఐజాక్ ల్యాబ్ పనులను అందిస్తుంది. SO-100 కోసం అదే రిపోజిటరీ ఒకే URDFని మాత్రమే అందిస్తుంది మరియు MuJoCo మోడల్ను అందించదు. SO-101 README ఏ విధంగానైనా పేర్కొన్న పరిమితుల గురించి తెలుసుకోండి: సమస్యాత్మక ఘర్షణ ప్రవర్తన కారణంగా బేస్ కొలిషన్ మెష్లు తొలగించబడ్డాయి, STS3215 మోటార్ లక్షణాలు SO-101పై గుర్తించబడకుండా Open Duck Mini ప్రాజెక్ట్ నుండి స్వీకరించబడ్డాయి, మరియు 0-క్లోజ్డ్ నుండి 100-ఓపెన్ గ్రిప్పర్ కన్వెన్షన్ ఇంకా మోడల్ ఫైల్లలో ప్రతిబింబించలేదు.
ప్లాట్ఫారమ్ నా కోసం సిమ్యులేషన్ను అమలు చేస్తుందా?▾
లేదు. AY-Robots నిజమైన టెలిఆపరేషన్ నుండి LeRobot డేటాసెట్లను రికార్డ్ చేస్తుంది, అద్దెకు తీసుకున్న GPUలలో ఐదు మద్దతు ఉన్న పాలసీలను ఫైన్-ట్యూన్ చేస్తుంది మరియు ఫలిత చెక్పాయింట్ను ఆర్మ్కు తిరిగి అందిస్తుంది. ఇందులో సిమ్యులేటర్ లేదు, సింథటిక్ డేటా జనరేషన్ లేదు మరియు సీన్ ఆథరింగ్ లేదు. మీరు డేటాను మరెక్కడైనా ఉత్పత్తి చేసి, దానిని చెల్లుబాటు అయ్యే LeRobot డేటాసెట్గా మార్చినట్లయితే, శిక్షకులు దానిని నిజమైన రికార్డింగ్ల వలెనే అంగీకరిస్తారు.
Sources
- MimicGen project page (CoRL 2023): fewer than 200 human demos to over 50,000 across 18 tasks, Panda/Sawyer/IIWA/UR5e, Square D0 79 percent generated against 84 percent human
- DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning (Jiang et al., 2024), 21K demos from 60 source human demos
- RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots (Nasiriany et al., 2024), 100 tasks, 150+ object categories, 100K MimicGen trajectories, 28.8 vs 47.6 percent
- Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation (Maddukuri et al., 2025), average 38 percent real-world improvement
- GR00T N1: An Open Foundation Model for Generalist Humanoid Robots (NVIDIA, 2025), data pyramid, 780,000 sim trajectories in 11 hours, 88 to 827 hours of neural trajectories, ablations
- DreamGen: Unlocking Generalization in Robot Learning through Video World Models (Jang et al., 2025), 22 new behaviours from one task, DreamGen Bench
- Evaluating Real-World Robot Manipulation Policies in Simulation (SIMPLER, Li et al., 2024), MMRV and Pearson r for visual matching and variant aggregation, 7x speedup over real eval
- Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (Tobin et al., 2017), 1.5 cm real-world localisation from random textures
- Isaac Lab docs: record_demos.py, annotate_demos.py, generate_dataset.py, the about-10-demos guidance and the candidate success rates, read 23 Aug 2026
- Isaac Lab pip installation: isaacsim[all,extscache]==5.1.0, Isaac Sim 5.X requires Python 3.11, ./isaaclab.sh --install
- Isaac Lab reproducibility and determinism: identical on identical hardware, varies across hardware, no determinism guarantee for non-rigid bodies
- Isaac Lab events API: randomize_rigid_body_material, randomize_actuator_gains, randomize_visual_texture_material and the related randomisation terms
- NVIDIA Isaac Gym product page: now deprecated, legacy software, no longer supported, Isaac Lab is the replacement
- LeIsaac documentation: installation and compatibility table, SO101 teleoperation, available environments, LeRobot recorder, MimicGen env, isaaclab2lerobot converters, NVIDIA Brev
- SO-ARM100 Simulation/SO101: scene.xml, so101_new_calib.xml, so101_old_calib.xml, onshape-to-robot origin, borrowed Open Duck Mini motor parameters, gripper mapping caveat
Ready for high-quality robotics data?
AY-Robots connects your robots to skilled operators worldwide.
Get Started