LeRobot දත්ත කට්ටල ආකෘතිය සඳහා AY-Robots පාරිභාෂික ශබ්දකෝෂ ප්‍රවේශය, කථාංග පටිගත කර තිබුණත් හෝ ජනනය කර තිබුණත්, වේදිකාවේ සිටින සෑම පුහුණුකරුවෙකුම පරිභෝජනය කරන ආකෘතිය.
කෘත්‍රිම දත්තසිම්-ටු-රියල්Isaac Labඅනුකරණ ඉගෙනීමMimicGenSO-101

රොබෝ ප්‍රතිපත්ති සඳහා කෘත්‍රිම දත්ත: අනුකරණය උපකාරී වන තැන

AY-Robots ResearchAugust 23, 202631 මිනිත්තු කියවීම

අනුකරණය මගින් අතළොස්සක් වූ නිරූපණ දහස් ගණනක් දක්වා ගුණ කළ හැක. ප්‍රකාශිත සංඛ්‍යා ඇත්ත වශයෙන්ම පවසන්නේ කුමක්ද යන්න මෙහි දැක්වේ, සිම්-ටු-රියල් පරතරය බලපාන තැන, සහ තවමත් පටිගත කළ යුතු දේ.

සෑම මාස කිහිපයකට වරක්ම යමෙක් තේරුම් ගන්නේ පනහක් පටිගත කිරීම කථාංග අතින් කිරීම මන්දගාමී බවත්, ඒ වෙනුවට සිමියුලේටරයකට ඒවා නිපදවිය හැකිදැයි අසන බවත්ය. එය සාධාරණ ප්‍රශ්නයකි. අවංක පිළිතුරට කොටස් තුනක් ඇත: ජනනය කරන ලද දත්ත උපකාරී වේ, එය සැබෑ පටිගත කිරීම් ප්‍රතිස්ථාපනය නොකරයි, එම කරුණු දෙක අතර අනුපාතය ඔබ අදහස් කරන කෘතිම දත්ත වර්ගය මත සම්පූර්ණයෙන්ම රඳා පවතී.

මෙම පිටුවෙන් ප්‍රකාශිත කාර්යයන් ඇත්ත වශයෙන්ම මැන බැලූ දේ, ඔබට අද අඩු වියදම් අතක් මත ධාවනය කළ හැකි දේ, SO-100 සහ සිම්-ටු-රියල් පරතරය වාසි අනුභව කරන ආකාරය විස්තර කරයි. විස්තරයට පෙර කෙටි අනුවාදය: විශාලතම ගුණක වාර්තා කරන පද්ධති සැබෑ මානව නිරූපණ කුඩා කට්ටලයක් ගුණ කරයි. ඒවායේ අවශ්‍යතාවය ඉවත් නොකරයි.

ඔබ දැනගත යුතු දේ

  • හැසිරවීමේදී කෘතිම දත්ත ලෙස හැඳින්වෙන සම්බන්ධයක් නැති ශිල්පීය ක්‍රම හතරක් ඇත: ගමන් පථ ගුණ කිරීම, භෞතික විද්‍යා රෝල්අවුට්, වීඩියෝ ලෝක ආකෘති, සහ රූප-අවකාශ වර්ධනය. ඒවා විවිධ ආකාරවලින් අසාර්ථක වන අතර විවිධ ප්‍රමාණවලින් වටී.
  • MimicGen මානව නිරූපණ 200කට වඩා අඩු ප්‍රමාණයක් කාර්යයන් 18ක් හරහා ජනනය කරන ලද 50,000කට වඩා වැඩි ප්‍රමාණයක් බවට පත් කළේය. එහි Square D0 කාර්යයේදී, මානව නිරූපණ 10කින් ජනනය කරන ලද නිරූපණ 200ක් 79%ක සාර්ථකත්වයක් ලබා දුන් අතර, සැබෑ මානව නිරූපණ 200ක් සඳහා 84%ක් විය.
  • RoboCasa ප්‍රති-උදාහරණයකි: ජනනය කරන ලද නිරූපණ 72,000ක් 47.6%ක් ලබා ගත් අතර, මානව නිරූපණ 1,250ක් සඳහා 28.8%ක් විය. එය 58x පරිමා වාසියක් මිස, සමාන-සමාන ජයග්‍රහණයක් නොවේ.
  • සිම්-සහ-සැබෑ සම-පුහුණු අධ්‍යයනය සැබෑ ලෝක කාර්ය සාධනයේ සාමාන්‍ය 38%ක දියුණුවක් වාර්තා කරයි. වට්ටෝරුව මිශ්‍රණයක් මත සම-පුහුණු කිරීම මිස, සිම්-පමණක් මාරු කිරීම නොවේ.
  • GR00T N1 සිමියුලේෂන් ගමන් පථ 780,000ක් (පැය 6,500කට සමාන, පැය 11කින් ජනනය කරන ලද) සහ සැබෑ පැය 88කින් වර්ධනය වූ ස්නායු ගමන් පථ පැය 827ක් මත පදනම් වේ. එම සැබෑ පැය 88 තවමත් පිරමීඩයේ මුදුනයි.
  • SO-101 සඳහා අද ක්‍රියාකාරී විවෘත පයිප්ලයකි: Isaac Lab තුළ LeIsaac, භෞතික නායක අත සමඟ දුරස්ථව ක්‍රියාත්මක කිරීම, Isaac Lab Mimic සමඟ ගුණ කිරීම, LeRobot ආකෘතියට අපනයනය කිරීම, GR00T සියුම්-සුසර කිරීම.
  • AY-Robots කෘතිම දත්ත ජනනය නොකරයි. එය ඔබ ලබා දෙන LeRobot දත්ත කට්ටලය මත පුහුණු කරයි, එම දත්ත කට්ටලය නිපදවූ ආකාරය කුමක් වුවත්, පුහුණුකරුවන්ට ආකෘතිය අනුව අවම වශයෙන් කථාංග 30 සිට 50 දක්වා අවශ්‍ය වේ.

කෘතිම දත්ත ලෙස හැඳින්වෙන විවිධ දේවල් හතරක්

සංඛ්‍යා සංසන්දනය කිරීමට පෙර, පවුල් වෙන් කිරීම වටී, මන්ද 100x ගුණකයක් වාර්තා කරන පත්‍රිකාවක් සහ 5-ලක්ෂ්‍ය සාර්ථකත්වයක් වාර්තා කරන පත්‍රිකාවක් බොහෝ විට එකම පයිප්ලය විවිධ අන්තවලින් විස්තර කරයි. පොදු කරුණ නම් LeRobot දත්ත කට්ටලය යන්ත්‍රයක් මගින් නිපදවා ඇති අතර භෞතික අතකින් පටිගත කර නොමැති වීමයි. වෙනස් වන්නේ කුමන කොටසද යන්නයි.

පවුලසත්‍ය ලෙස පවතින දේජනනය වන දේවාර්තාගත ගුණකයප්‍රධාන අසාර්ථක වීමේ ක්‍රමය
පථ ගුණ කිරීම (MimicGen, DexMimicGen, Isaac Lab Mimic)මිනිස් නිරූපණ කිහිපයක්, වස්තු දැල්, භෞතික විද්‍යා එන්ජිමනව වස්තු ඉරියව් සහ දර්ශන සැකසුම් වලට අනුවර්තනය වූ නව පථ10 human demos to 1,000 per reset distribution; 60 to 21,000; under 200 to over 50,000ජනනය කිරීමේ උත්සාහයන් අසාර්ථක වේ. Isaac Lab සරල අවස්ථාවන්හිදී අපේක්ෂිත සාර්ථකත්ව අනුපාතය 70 percent ක් තරම් ඉහළ අගයක් ලෙසත්, දුෂ්කර අවස්ථාවන්හිදී 1 percent ට වඩා අඩු අගයක් ලෙසත් දක්වයි.
කාර්ය සිමියුලේටරයක භෞතික විද්‍යා රෝල්අවුට් (Isaac Lab, robosuite, RoboCasa)භෞතික විද්‍යා එන්ජිම සහ වත්කම් පුස්තකාලයසම්පූර්ණ කථාංග, ස්ක්‍රිප්ට් කරන ලද පාලක, සැලසුම්කරුවන් හෝ RL මගින් ධාවනය වේGPU hours වලින් පමණක් සීමා වේඅනුකරණය කරන ලද අත ඔබේ අත නොවේ. ස්පර්ශ සහ සර්වෝ ගතිකත්වය ආසන්න කිරීම් වේ.
වීඩියෝ ලෝක ආකෘති (DreamGen, Cosmos Transfer)කොන්දේසි කිරීම සඳහා භාවිතා කරන ලද සැබෑ ටෙලිඔපරේෂන් කථාංග කිහිපයක්නව හැසිරීම් වල ඡායාරූප යථාර්ථවාදී වීඩියෝ, පසුව ප්‍රතිසාධනය කරන ලද ව්‍යාජ ක්‍රියා සමඟ88 hours to 827 hours in GR00T N1, about 10xක්‍රියා අනුමාන කරනු ලැබේ, මනිනු නොලැබේ. විශ්වාසනීය වීඩියෝවකට අවිශ්වාසනීය ක්‍රියාවක් රැගෙන යා හැක.
රූප-අවකාශ වර්ධනය (random crop, colour jitter)පික්සල හැර අන් සියල්ලඔබට දැනටමත් ඇති කථාංගවලට බාධා කළ දසුන්1x, එය නව පථයක් නිර්මාණය නොකරයිජ්‍යාමිතික වර්ධනය රූපය සහ ක්‍රියා ලේබලය අතර සම්බන්ධය බිඳ දමයි.

මෙම ලිපිය අදහස් කරන අර්ථයෙන් කෘතිම දත්ත වන්නේ පළමු තුන පමණි. හතරවැන්න සඳහන් කිරීම වටී, මන්ද එය එකම සංවාදයට ඇතුළත් වන අතර ලැයිස්තුවේ ඇති ලාභම දෙය එයයි. ඔබේ පුහුණුකරු සමඟ එන වර්ධනයන් ඔබ තවමත් සක්‍රිය කර නොමැති නම්, සිමියුලේටරයක් ​​ස්ථාපනය කිරීමට පෙර එය කරන්න.

ඔබට කිසිවක් ජනනය කිරීමට පෙර සැබෑ කෘතිම දත්ත බැලිය හැක

NVIDIA විසින් GR00T N1 පුහුණුවෙන් පසු භාවිතා කරන ලද අනුකරණය කරන ලද පථ nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim Hugging Face හි ප්‍රකාශයට පත් කරන ලදී, එය cc-by-4.0 යටතේ 1.87 TB පමණ වේ. එය 9,000 හරස්-ශරීර ද්විමාන Panda සහ GR1 පථ, 240,000 මානව මේස පථ, 72,000 තනි-Panda මුළුතැන්ගෙයි පථ සහ 102 Unitree G1 loco-manipulation පථ ලෙස බෙදී යයි. huggingface-cli download --include "gr1_arms_only.CanSort/**" සමඟ එක් උප කට්ටලයක් බාගත කිරීම සහ කථාංග කිහිපයක් නැරඹීම, ජනනය කරන ලද පථ මොනවාදැයි තේරුම් ගැනීමට ඇති වේගවත්ම ක්‍රමය වන අතර, එයට කලාප පළල හැර වෙනත් කිසිවක් වැය නොවේ.

ප්‍රකාශිත සංඛ්‍යා ඇත්ත වශයෙන්ම පවසන්නේ කුමක්ද

මෙහි දැක්වෙන්නේ සාක්ෂි පදනමයි, සංඛ්‍යා ප්‍රවෘත්ති නිවේදන සාරාංශ කරනවාට වඩා මූලාශ්‍රවල සඳහන් වන ආකාරයටම ඉදිරිපත් කර ඇත. පහත සෑම පේළියක්ම 2026 අගෝස්තු 23 දින කියවන ලද පත්‍රිකාවකින් හෝ ව්‍යාපෘති පිටුවකින් ලබාගෙන ඇත.

පද්ධතියආදානයජනනය කරන ලදීවාර්තාගත ප්‍රතිඵලය
MimicGen, CoRL 2023මිනිස් නිරූපණ 200කට අඩු ප්‍රමාණයක්; මුහුණට මුහුණ තරඟයේදී මිනිස් නිරූපණ 10ක්නිරූපණ 50,000කට අධික ප්‍රමාණයක්, කාර්යයන් 18ක්, අත් හතරක් (Panda, Sawyer, IIWA, UR5e)Square D0: මිනිස් නිරූපණ 10කින් ජනනය කරන ලද නිරූපණ 200කින් 79%ක්, මිනිස් නිරූපණ 200කින් 84%කට එරෙහිව
DexMimicGen, 2024මූලාශ්‍ර මිනිස් නිරූපණ 60ක්ද්විමාන දක්ෂ රොබෝවරුන් සඳහා නිරූපණ 21,000ක්අනුකරණයේදී ද්විමාන දක්ෂ කාර්යයන්, තවද සැබෑ-සිට-අනුකරණ-සිට-සැබෑ මානව රොබෝ කෑන් වර්ග කිරීමේ යෙදවීමක්
RoboCasa, 2024මිනිස් නිරූපණ 1,250ක් (පරමාණුක කාර්යයන් 25ක් පුරා එක් කාර්යයකට 50ක්), ඇගයීම් කාර්යයන් 100ක්, වස්තු කාණ්ඩ 150කට අධික ප්‍රමාණයක්100,000 MimicGen trajectories; නිරූපණ 72,000ක උප කුලකය ප්‍රධාන සංසන්දනය මෙහෙයවයිමිනිස් කට්ටලය මත සමස්තයක් ලෙස 28.8%ක්, සම්පූර්ණයෙන් ජනනය කරන ලද කට්ටලය මත 47.6%කට එරෙහිව, නොදුටු වස්තු අවස්ථා මත පමණක් ඇගයීම සිදු කරන ලදී
Sim-and-real co-training, 2025සැබෑ නිරූපණ සහ අනුකරණ දත්ත කට්ටල, වසම් දෙකක් (රොබෝ අත සහ මානව රොබෝ)මිශ්‍රණයක් මිස ආදේශකයක් නොවේඅනුකරණ දත්ත මගින් සැබෑ ලෝක කාර්ය සාධනය සාමාන්‍යයෙන් 38%කින් වැඩි දියුණු කරන ලදී
DreamGen, 2025එක් පරිසරයක තනි තෝරා-තැබීමේ කාර්යයකින් ලැබෙන දුරස්ථ මෙහෙයුම් දත්තගුප්ත ක්‍රියාකාරී ආකෘතියකින් හෝ ප්‍රතිලෝම ගතික ආකෘතියකින් කෘතිම වීඩියෝ සහ ව්‍යාජ ක්‍රියාමානව රොබෝවක් මත නව හැසිරීම් 22ක්, දුටු සහ නොදුටු පරිසරයන්හිදී
GR00T N1 data pyramid, 2025අභ්‍යන්තර GR-1 දුරස්ථ මෙහෙයුම් පැය 88ක්ස්නායු ගමන් පථ පැය 827ක් (ආසන්න වශයෙන් 10x); සිම් ගමන් පථ 780,000ක්, පැය 6,500කට සමාන, පැය 11කින් නිෂ්පාදනය කරන ලදීස්නායු ගමන් පථ මගින් RoboCasa මත කාර්යයකට නිරූපණ 30, 100 සහ 300 යන පාලන තන්ත්‍රයන්හිදී පිළිවෙලින් 4.2, 8.8 සහ 6.8 ලකුණු එකතු කරන ලදී, තවද සැබෑ GR-1 කාර්යයන් 8ක් හරහා සාමාන්‍යයෙන් 5.8 ලකුණු එකතු කරන ලදී
ගුණකයන් හැකියාවන් ලෙස නොව ගමන් පථ ගණන් ලෙස කියවන්න

ගුණකයක් යනු පේළි ගණනකි. MimicGen හිම මුහුණට මුහුණ තරඟයේදී ජනනය කරන ලද දත්ත මිනිස් දත්තවල එකම ගණනට වඩා මඳක් අඩු (84%ට එරෙහිව 79%) බව පෙන්වයි, තවද GR00T N1 ablation මගින් දැනටමත් සැබෑ පැය ගණනක් තිබූ ආකෘතියකට තනි-අංක ප්‍රතිශත ලකුණු එකතු කරයි. RoboCasa මිනිස් දත්ත පරදවයි, 28.8%ට එරෙහිව 47.6%ක්, නමුත් මිනිස් නිරූපණ 1,250කට එරෙහිව ජනනය කරන ලද නිරූපණ 72,000ක් සමඟිනි. පරිමාව ආවරණය මිලදී ගනී. එය ඔබගේ නිරූපණවල කිසිදා අඩංගු නොවූ තොරතුරු මිලදී නොගනී.

සෑම අවංක ඇබ්ලේෂන් එකකම රටාව එක හා සමානයි. කෘත්‍රිම දත්ත අඩු වියදමකින් ආවරණය පුළුල් කරයි. එය ඔබගේ ග්‍රිපරය, සර්වෝ සැග්, ආලෝකය හෝ මේසයේ උස පිළිබඳ තොරතුරු නිර්මාණය නොකරයි, ඒවා සැබෑ නිරූපණවල කොතැනක හෝ නොතිබුණි නම්. ඔබගේ ප්‍රතිපත්තිය අසාර්ථක වන්නේ අන්ත-ක්‍රියාකාරකය තත්පර භාගයක් ප්‍රමාද වී වැසෙන්නේ නම්, අනුකරණය කරන ලද විචලනයකින් එය නිවැරදි කළ නොහැක. එය ග්‍රිපර් කාල නියම කිරීමේ ගැටලුවක් සැබෑ පටිගත කිරීම් වල ඇති ගැටලුවකි.

සාමාන්‍ය උපදෙස් වලට පටහැනි බැවින්, MimicGen සොයාගැනීමක් ඔබගේම පටිගත කිරීම් සැසි සඳහා වැදගත් වේ. මෙම ව්‍යාපෘතිය Square D2 මත දත්ත කට්ටල දෙකක් ජනනය කරන ලදී, එකක් උසස් තත්ත්වයේ මානව ක්‍රියාකරුවෙකුගෙන් ලබාගත් නිරූපණ 10කින් සහ අනෙක අඩු ගුණාත්මක ක්‍රියාකරුවෙකුගෙන් ලබාගත් නිරූපණ 10කින් සමන්විත විය, මේ දෙකම robomimic බහු-මානව Square දත්ත කට්ටලයෙන් ලබාගෙන ඇත. එක් එක් මත පුහුණු කරන ලද ප්‍රතිපත්ති සැසඳිය හැකි ප්‍රතිඵල ලබා ගත් අතර, කතුවරුන් එය විශාල පරිමාණයේ දත්ත පාලන තන්ත්‍රය තුළ දත්තවල ගුණාත්මකභාවය එතරම් වැදගත් නොවන බවට ලකුණක් ලෙස අර්ථකථනය කළහ. ප්‍රවේශමෙන් කියවන්න, එය දස seed නිරූපණ පිළිබඳ ප්‍රකාශයකි, ඔබගේ සැබෑ කථාංග පනහ ගැන නොවේ. එයින් අදහස් කරන්නේ තරමක් අවුල් සහගත seed කට්ටලයක් ඔබ සහ භාවිත කළ හැකි ජනනය කරන ලද දත්ත කට්ටලයක් අතර ඇති බාධාව නොවන බවයි. එයින් අදහස් කරන්නේ ඔබ සම-පුහුණු කරන සැබෑ කථාංග අවුල් සහගත විය හැකි බව නොවේ, මන්ද සිමියුලේටරය සතුව නොමැති තොරතුරු රැගෙන යන්නේ ඒවාය.

The AY-Robots public dataset directory listing recorded LeRobot datasets with their episode counts.
The public dataset directory at /directory. Every entry here is real recorded episodes. Synthetic data is a multiplier on top of something like this, not a substitute for it.

සිම්-ටු-රියල් පරතරය, ප්‍රායෝගිකව

මෙම පරතරය සාමාන්‍යයෙන් තනි ප්‍රමාණයක් ලෙස සාකච්ඡා කෙරේ, එය ප්‍රයෝජනවත් නොවේ. එය අවම වශයෙන් වෙනම නොගැලපීම් පහක් වන අතර, Franka එකක ඇති ප්‍රමාණයට වඩා 110 සිට 150 EUR දක්වා වූ hobby arm එකක ඒවාට විවිධ ප්‍රමාණ ඇත.

  • සම්බන්ධතා සහ ඝර්ෂණය. එකම දෘඪාංග සහ එකම Isaac Sim සහ PhysX අනුවාදය ලබා දී ඇති විට, අනුකරණය ප්‍රතිනිෂ්පාදනය කළ හැකි බව Isaac Lab පැහැදිලිවම ප්‍රකාශ කරයි. නමුත් floating point නිරවද්‍යතාවය සහ rounding දෝෂ හේතුවෙන් විවිධ දෘඪාංග වින්‍යාසයන් හරහා ප්‍රතිඵල වෙනස් වන බවත්, රෙදි හෝ මෘදු ශරීර වැනි දෘඪ නොවන ශරීර සහිත කිසිදු දර්ශනයක් සඳහා PhysX නිර්ණය කිරීම සහතික නොකරන බවත්ය.
  • ක්‍රියාකාරීත්වය. 7.4 V ධාවනය වන Feetech STS3215 bus servo එකක් බර යටතේ එල්ලා වැටේ, backlash ඇත, සහ රත් වන විට හැසිරීම වෙනස් කරයි. SO-101 සඳහා වන MJCF ආකෘතිය, ඔබේ arm එක මත ඒවා හඳුනා ගැනීම වෙනුවට, අදාළ නොවන ව්‍යාපෘතියකින් එහි මෝටර් පරාමිතීන් ණයට ගනී.
  • නිරූපණය. කැමරා ශබ්දය, rolling shutter, auto-exposure, සහ ඔබේ මේසයේ නිශ්චිත වර්ණය render එකෙහි නොමැත. මෙය Cosmos-Transfer1 වසා දැමීමට ගොඩනගන ලද පරතරයෙන් අඩකි: එහි robotics augmentation workflow එක, එක් robotics synthetic උදාහරණයක් segmentation, depth හෝ edge conditioning වලින් බහු යථාර්ථවාදී උදාහරණ වලට සිතියම්ගත කරයි.
  • කාලය. simulator එකක් ස්ථාවර වේගයකින් පියවර ගනී. සැබෑ පාලන ලූපයක් එසේ නොකරයි, තවද ඔබ තෝරාගත් ආකෘතිය අනුව එක් ක්‍රියාකාරී පියවරක් සඳහා 20 සිට 485 ms දක්වා වැය වේ. බලන්න අනුමාන ප්‍රමාදය.
  • වස්තු සංඛ්‍යාලේඛන. අනුකරණය කරන ලද දර්ශන යමෙකු ලියා තැබූ ව්‍යාප්තියකින් නියැදි කර ඇත. ඔබේ මුළුතැන්ගෙයි මේසය එසේ නොවේ.

අනුකරණය කරන ලද SO-100 එකක් ඔබේ arm එක ගැන සැබවින්ම දන්නේ කුමක්ද

ඉහත සඳහන් දේ ඔබේ සති අන්තයට වටිනවාද යන්න තීරණය කරන කොටස මෙය වන අතර, පළමු පුදුමය නම් SO-100 සහ SO-101 සමානව සේවය නොලැබීමයි. TheRobotStudio's SO-ARM100 repository එක එහි simulation assets තබා ගන්නේ Simulation/. SO100 folder එකෙහි තනි URDF file එකක් පමණක් අඩංගු වේ. SO101 folder එකෙහි URDF සහ MuJoCo files දෙකම අඩංගු වේ: scene.xml, so101_new_calib.xml, so101_old_calib.xml, අනුරූප URDFs සහ joints_properties.xml. ඔබට kinematic chain එකක් වෙනුවට physics model එකක් අවශ්‍ය නම්, ඔබට SO-101 files අවශ්‍ය වේ.

ඒවා Onshape හි නිර්මාණය කරන ලද CAD ආකෘතියකින් onshape-to-robot ප්ලගිනය භාවිතයෙන් ජනනය කරන ලදී, එයින් අදහස් කරන්නේ චාලක විද්‍යාව සහ දෘශ්‍ය දැල් CAD තරම්ම හොඳ බවයි. ගතිකත්වය වෙනස් කතාවකි, සහ ගබඩාවේ README තුන් කරුණක් ගැන අවංකව සඳහන් කරයි. අනුකරණය සහ සැලසුම් කිරීමේදී ගැටළු සහගත ගැටුම් හැසිරීම් හේතුවෙන් පාදක ගැටුම් දැල් ඉවත් කරන ලදී. STS3215 මෝටර් ගුණාංග Open Duck Mini ව්‍යාපෘතියෙන් අනුවර්තනය කර ඇත මිස SO-101 මත මනිනු ලැබුවේ නැත. තවද, 0 සම්පූර්ණයෙන්ම වසා ඇති අතර 100 සම්පූර්ණයෙන්ම විවෘත වන LeRobot ග්‍රිපර් සම්මුතිය, URDF සහ MuJoCo ගොනු වල තවමත් පැහැදිලිව පිළිබිඹු වී නොමැත. ඒ සෑම එකක්ම, එම ආකෘතියෙන් පමණක් පුහුණු කරන ලද ප්‍රතිපත්තියක් ඔබේ මේසය මත වෙනස් ලෙස හැසිරෙන ස්ථානයකි.

දවසක් කන ක්‍රමාංකන සම්මුතිය

නැව්ගත කරන ලද MuJoCo ගොනු වල ශුන්‍ය සම්මුති දෙකක් ඇත, සහ scene.xml ඒවා අතරින් තෝරා ගන්නේ එයට ඇතුළත් වන රොබෝ ගොනුව අනුවය. so101_new_calib.xml හි, පෙරනිමිය ලෙස, එක් එක් සන්ධියේ අතථ්‍ය ශුන්‍යය එහි සන්ධි පරාසයේ මැද පිහිටා ඇත. so101_old_calib.xml හි ශුන්‍යය යනු රොබෝවරයා තිරස් අතට සම්පූර්ණයෙන්ම දිගු කර ඇති වින්‍යාසයයි. ඔබේ අනුකරණය කරන ලද කථාංග එක් සම්මුතියක් භාවිතා කරන්නේ නම් සහ ඔබේ සටහන් කරන ලද සැබෑ කථාංග අනෙක භාවිතා කරන්නේ නම්, මිශ්‍ර දත්ත කට්ටලයේ සෑම සන්ධි කෝණයක්ම අංශක දස ගණනකින් ඕෆ්සෙට් වේ, පාඩුව තවමත් පහත වැටේ, සහ ප්‍රතිපත්තිය විශ්වාසයෙන් වැරදි දෙයක් කරයි. ඔබ සම-පුහුණු කිරීමට පෙර දෙපසම සම්මුතිය පරීක්ෂා කරන්න, සහ පළමුව ක්‍රමාංකනය සහ පාඩුව පහත වැටේ, ප්‍රතිපත්තිය කිසිවක් නොකරයි කියවන්න.

ඩොමේන් අහඹුකරණය, සහ එය නිවැරදි නොකරන දේ

මෙම පරතරයට සම්මත පිළිතුර වන්නේ යථාර්ථයට ගැලපීමට උත්සාහ කිරීම නවතා, ඒ වෙනුවට යථාර්ථය එයට ඇතුළත් වන තරම් පුළුල් ව්‍යාප්තියක් හරහා පුහුණු කිරීමයි. ටොබින් සහ සගයන් 2017 දී මෙහි ප්‍රබල අනුවාදය පෙන්වා දුන්නේය: යථාර්ථවාදී නොවන අහඹු වයනය සහිත අනුකරණය කරන ලද රූප මත පමණක් පුහුණු කරන ලද වස්තු අනාවරකයක්, සැබෑ රූප මත කිසිදු පූර්ව පුහුණුවක් නොමැතිව, සැබෑ වස්තූන් 1.5 cm නිරවද්‍යතාවයකින් ස්ථානගත කළ අතර අවධානය වෙනතකට යොමු කරන්නන්ට සහ අර්ධ බාධාවන්ට ඔරොත්තු දෙන ලෙස පැවතුණි.

Isaac Lab මඟින් ඔබ පරිසර වින්‍යාසයකට අමුණන සිදුවීම් පදවලට සමාන අදහසක් ඉදිරිපත් කරයි. මේවා, ඒවායේ සත්‍ය ක්‍රියාකාරී නම් අනුව, isaaclab.envs.mdp හි පාලක වේ, එබැවින් ඔබට අනුමාන කරනවාට වඩා ඒවා කියවා දැනගත හැක.

Event functionඑය කුමක් වෙනස් කරයිද
randomize_rigid_body_materialස්පර්ශ ඝර්ෂණය සහ ප්‍රතිස්ථාපනය
randomize_rigid_body_mass, randomize_rigid_body_comවස්තු සහ සබැඳි ස්කන්ධය, ස්කන්ධ කේන්ද්‍රයේ ඕෆ්සෙට්
randomize_actuator_gainsසන්ධි පාලකයේ තද බව සහ තෙතමනය
randomize_joint_parameters, randomize_fixed_tendon_parametersසන්ධි ඝර්ෂණය, ආමේචරය සහ සීමාවන්
randomize_visual_texture_material, randomize_visual_colorපෙනුම, පරතරයේ ප්‍රකාශමිතික අර්ධය
randomize_physics_scene_gravityගුරුත්වාකර්ෂණ දෛශිකය
apply_external_force_torque, push_by_setting_velocityක්‍රියාත්මක වන විට ඇතිවන බාධා
reset_root_state_uniform, reset_joints_by_offsetසෑම කථාංගයක්ම යළි පිහිටුවීමේදී ආරම්භක තත්ව ව්‍යාප්තිය

මෙන්න සීමාව, මෙය මිනිසුන් වරදවා වටහා ගන්නා දෙයකි. අහඹුකරණය මඟින් ඔබ ගොඩනඟන ලද ආකෘතිය තුළ ප්‍රතිපත්තිය දැක ඇති ව්‍යාප්තිය පුළුල් කරයි. සිමියුලේටරය නිරූපණය නොකරන භෞතික බලපෑමක් එයට හඳුන්වා දිය නොහැක. PhysX ඔබේ STS3215 සර්වෝ වල පසුබෑම සහ තාප පහත වැටීම ආකෘතිකරණය නොකරන්නේ නම්, ඒවායේ තද බව අහඹුකරණය කිරීමෙන් ප්‍රතිපත්තියට පසුබෑම ගැන කිසිවක් උගන්වන්නේ නැත. සිම්-පුහුණු ප්‍රතිපත්තියක් යටතේ අතක් , යනු අහඹුකරණ-අයවැය ගැටලුවක් නොවේ. එය ආකෘතිකරණ ගැටලුවකි.

අතින් මාර්ගය: Isaac Lab හි දත්ත ජනනය කිරීම

Isaac Gym යනු පැරණි මෘදුකාංගයකි. NVIDIA හිම පිටුවේ "Isaac Gym - දැන් අත්හිටුවා ඇත" යනුවෙන් සඳහන් වන අතර, සංවර්ධකයින්ට එය බාගත කර දිගටම භාවිතා කළ හැකි නමුත් එය තවදුරටත් සහාය නොදක්වන බවත්, ඒ වෙනුවට Isaac Lab වෙත යොමු කරන බවත් පවසයි. ඔබට ඉතිහාසය දැන ගැනීමට අවශ්‍ය නම්, අපි දෙකම ආවරණය කළෙමු: Isaac Gym සහ GPU-ස්වදේශීය භෞතික විද්‍යාව සහ Isaac Lab. 2026 දී නව වැඩ සඳහා, Isaac Lab වෙතින් ආරම්භ කරන්න.

  1. 1
    Isaac Sim සහ Isaac Lab ස්ථාපනය කරන්න

    pip ස්ථාපන පිටුවේ සඳහන් වන්නේ මෙම උපදෙස් Isaac Sim 5.X සඳහා වන අතර, එයට Python 3.11 අවශ්‍ය බවයි. මූලාශ්‍ර ක්ලෝනය මඟින් ඊළඟ පියවර සඳහා අවශ්‍ය ස්ක්‍රිප්ට් ඔබට ලබා දේ.

    bash
    pip install "isaacsim[all,extscache]==5.1.0" \
        --extra-index-url https://pypi.nvidia.com
    
    git clone https://github.com/isaac-sim/IsaacLab.git --branch main
    cd IsaacLab
    sudo apt install cmake build-essential
    ./isaaclab.sh --install
    
    # smoke test
    ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py
  2. 2
    මිනිස් නිරූපණ දහයක් පමණ පටිගත කරන්න

    Isaac Lab ලේඛනගත කිරීම නිශ්චිතය: පහත පියවර සාර්ථක වීමට සාර්ථක නිරූපණ 10ක් පමණ අවශ්‍ය වේ. එහි ඉඟි ද ඒ හා සමානව නිශ්චිතය. නිරූපණ කෙටිව තබා ගන්න, අත්තනෝමතික අක්ෂ ඔස්සේ ගමන් කරනවා වෙනුවට සෘජු මාර්ගයක් ගන්න, සහ විරාම නොකරන්න, මන්ද ප්‍රතිපත්තියකට විරාම කළ යුත්තේ ඇයිද සහ කවදාද යන්න පැහැදිලි නොවන බැවිනි.

    bash
    ./isaaclab.sh -p scripts/tools/record_demos.py \
        --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
        --device cpu \
        --teleop_device spacemouse \
        --dataset_file ./datasets/dataset.hdf5 \
        --num_demos 10
  3. 3
    උපකාර්ය සීමා සටහන් කරන්න

    Mimic ආදාන නිරූපණ උපකාර්යයන්ට බෙදයි, එවිට එයට කොටස් නැවත කාලය හා නැවත ඉලක්ක කළ හැක. --auto ධජය ස්වයංක්‍රීය සටහන් කිරීම නිර්වචනය කරන කාර්යයන් සඳහා මිනිස් මැදිහත්වීමකින් තොරව මෙය සිදු කරයි; එය නොමැතිව ඔබ B සමඟ විරාම කරයි, N සමඟ ඉදිරියට යයි සහ S සමඟ සීමාවක් සලකුණු කරයි. කාර්ය හැඳුනුම්පතට -Mimic උපසර්ගයක් ලැබෙන බව සලකන්න.

    bash
    ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
        --device cpu \
        --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
        --auto \
        --input_file ./datasets/dataset.hdf5 \
        --output_file ./datasets/annotated_dataset.hdf5
  4. 4
    ගුණ කළ දත්ත කට්ටලය ජනනය කරන්න

    මෙය 10 1000 බවට පත් කරන පියවරයි. Mimic එක් එක් අපේක්ෂකයාට බූලියන් සාර්ථකත්ව නිර්ණායකයක් යොදන අතර කාර්යය සම්පූර්ණ කළ ඒවා පමණක් තබා ගනී, එබැවින් ප්‍රතිදාන ගණන අත්හදා බැලීම් ගණනට වඩා අඩුය. ලේඛනවලට අනුව, සරල අවස්ථාවන්හිදී අපේක්ෂක සාර්ථකත්ව අනුපාතය සියයට 70ක් තරම් ඉහළ වන අතර, දුෂ්කර කාර්යයන් සහ සංකීර්ණ රොබෝවරුන් සඳහා සියයට 1ට වඩා අඩුය: Franka cube stack සඳහා සියයට 50ක් පමණ, සහ GR1T2 pick and place සඳහා සියයට 65 සිට 80 දක්වා, එහිදී නිරූපණ 1000ක් සඳහා මිනිත්තු 18 සිට 40 දක්වා ගතවේ (සියයට 80කදී RTX ADA 6000 මත මිනිත්තු 19ක්).

    bash
    ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
        --device cpu \
        --num_envs 10 \
        --generation_num_trials 1000 \
        --headless \
        --input_file ./datasets/annotated_dataset.hdf5 \
        --output_file ./datasets/generated_dataset.hdf5
  5. 5
    HDF5 LeRobot දත්ත කට්ටලයකට පරිවර්තනය කරන්න

    ඉහත සියල්ල robomimic-රසැති HDF5 නිපදවන අතර, Isaac Lab core තමන්ගේම LeRobot පරිවර්තකයක් සමඟ නොපැමිණේ: එහි ලේඛනවල සඳහන් වන්නේ ඔබට ජනනය කරන ලද දත්ත කට්ටලය LeRobot ආකෘතියට පරිවර්තනය කළ හැකි බව පමණි. ව්‍යාපෘති දෙකක් සත්‍ය පරිවර්තකය සපයයි. IsaacLab-Arena සම්පූර්ණයෙන්ම YAML වින්‍යාසයකින් ධාවනය වන GR00T-ඉලක්කගත එකක් සපයන අතර, LeIsaac SO-101 මාර්ගය සඳහා තමන්ගේම යුගලයක් සපයයි (පහත බලන්න).

    bash
    # IsaacLab-Arena, GR00T LeRobot format
    python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
        --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml
ඔබේ අනුවාද සවි කරන්න, සහ main විශ්වාස නොකරන්න

2026 අගෝස්තු 23 වන දින main සඳහා වන Isaac Lab ලේඛනවල Isaac Sim 6.0.1 ලාංඡනයක් ඇති අතර, එහි අනුවාද මාරු කරන්නා තුළ v2.3.2 සමඟින් release/3.0.0 සහ v3.0.0-beta2 ඉදිරිපත් කරයි, එම ගසෙහිම pip ස්ථාපන පිටුව තවමත් isaacsim[all,extscache]==5.1.0 අගය සවි කර ඇති අතර උපදෙස් Isaac Sim 5.X සඳහා බව විස්තර කරයි. NVIDIA synthetic-manipulation-motion-generation බ්ලූප්‍රින්ට් කන්ටේනරය නැවතත් පැරණිය: Isaac Sim 4.5.0 මත Isaac Lab 2.0.2. LeIsaac හිම අනුකූලතා වගුව Isaac Sim 5.1 Isaac Lab v2.3.0 සමඟ යුගල කරයි. මෙම ගස් ලේඛන සමපාත වනවාට වඩා වේගයෙන් චලනය වේ. එක් නිකුතුවක් තෝරාගෙන, එය සටහන් කර ගන්න, සහ මාස තුනකට පෙර ලියන ලද නිබන්ධනයක් අනුගමනය කරන්නේ නම් ස්ක්‍රිප්ට් මාර්ග සහ ධජ නම් වෙනස් වී ඇති බව අපේක්ෂා කරන්න.

ජනනය කිරීමේ උත්සාහයන් අසාර්ථක වන්නේ ඇයි, සහ වෙනස් කළ යුත්තේ කුමක්ද

70% ත් 1% ත් අතර උච්චාවචනය වන අපේක්ෂිත සාර්ථකත්ව අනුපාතය අභිරහසක් නොවන අතර, Isaac Lab ඔබට අනුමාන කිරීමට ඉඩ නොදී පොදු අඩුපාඩු ලේඛනගත කරයි. ඒවා සියල්ලම පටිගත කිරීමේදී ඔබට පාලනය කළ හැකි දේවල් වන අතර, පළමු බලාපොරොත්තු සුන් කරන උත්පාදන ධාවනයෙන් පසුව නොව, බීජ නිරූපණ දහය පටිගත කිරීමට පෙර මෙම ලැයිස්තුව කියවීම වටින්නේ එබැවිනි.

  • නිරූපණ ඉතා දිගුයි. දිගු කාල සීමාවක් ප්‍රතිපත්තියකට ඉගෙන ගැනීමට අපහසුය. පළමු වස්තුවට සමීපව ආරම්භ කර චලනය අවම කරන්න.
  • නිරූපණ සුමට නැත. අක්‍රමවත් චලනය ප්‍රතිපත්තියකට තේරුම් ගැනීමට අපහසු වන අතර, වඩා හොඳ ටෙලිඔපරේෂන් දෘඪාංග වඩා හොඳ දත්ත සපයයි: SpaceMouse එකක් යතුරුපුවරුවකට වඩා හොඳ බව ලේඛනවල පැහැදිලිව සඳහන් වේ.
  • විරාම. විරාම ඉගෙන ගැනීමට අපහසුය, මන්ද ප්‍රතිපත්තියකට විරාම තැබිය යුත්තේ ඇයි සහ කවදාද යන්න පැහැදිලි නොවන බැවිනි. චලනය ද්‍රවශීලීව තබා ගන්න.
  • උප කාර්යයන් වැඩියි. වැඩි උප කාර්යයන් යනු ගමන් පථ කොටස් අතර වැඩි සම්බන්ධීකරණයක් වන අතර, එය අඩු සුමට චලනයක් සහ අඩු උත්පාදන සාර්ථකත්ව අනුපාතයක් ලබා දෙයි. අත කිසිවකට ගැටීමට ඉඩක් නොමැති සීමා සලකුණු කරන්න.
  • ක්‍රියාකාරී ශබ්දයක් නැත. ක්‍රියාකාරී ශබ්දය ප්‍රතිඵලයක් ලෙස ලැබෙන ප්‍රතිපත්ති වඩාත් ශක්තිමත් කරයි.
  • පටිගත කිරීම ඉතා තදින් කපා ඇත. සාර්ථකත්ව පදය ක්‍රියාත්මක වන නිශ්චිත රාමුවේදී පටිගත කිරීම නතර වුවහොත්, නැවත ධාවනය කිරීමේදී එය නැවත ක්‍රියාත්මක නොවීමට ඉඩ ඇත. අවසානයේදී බෆරයක් තබන්න.
  • නො-නිශ්චිත නැවත ධාවනය. Isaac Lab හි භෞතික විද්‍යාව env.reset හරහා නිශ්චිතව ප්‍රතිනිෂ්පාදනය කළ නොහැක, එබැවින් සමහර මානව නිරූපණ නැවත ධාවනය කිරීමේදී අසාර්ථක වේ. ඔබට අවශ්‍ය ප්‍රමාණයට වඩා එකතු කර සලකුණු කිරීමෙන් පසු ඉතිරි වන ඒවා තබා ගන්න. Mimic-ජනනය කරන ලද HDF5 ගොනුවකට ඇතුළු වන සෑම දෙයක්ම සාර්ථක නිරූපණයක් වන අතර, නැවත ධාවනය පසුව අසාර්ථක වුවද පුහුණුව සඳහා භාවිතා කළ හැක.

සම්බන්ධිත උප කාර්ය කොටස් අතර අන්තර්පෝලේෂන් පියවරට තමන්ගේම සුසර කිරීමේ බොත්තමක් ඇති අතර, ඔබට අවශ්‍ය අන්තර්පෝලේෂන් පියවර ගණන රොබෝවරයා චලනය වන වේගය සහ වස්තු යළි පිහිටුවීමේ ව්‍යාප්තියේ පළල අනුව වෙනස් වේ. විශාල යළි පිහිටුවීමේ ව්‍යාප්තියක් සහිත සංකීර්ණ කාර්යයක් කොටස් අතර විශාල හිඩැස් ඇති කරන අතර, එය අඛණ්ඩ චලනයක් ලෙස පිටතට ඒමට වැඩි අන්තර්පෝලේෂන් පියවර අවශ්‍ය වේ. ඔබගේ ජනනය කරන ලද වීඩියෝවල අත අදියර අතර දෝලනය වන බව පෙන්වන්නේ නම්, බීජ නිරූපණවලට දොස් පැවරීමට පෙර බැලිය යුතු පරාමිතිය එයයි.

SO-101 මත, සැබෑ නායක අත සමඟින්, එම පයිප්ලයම

මෙය මෙම පිටුව කියවන ඕනෑම කෙනෙකුට සිත්ගන්නා සුළු එකකි, මන්ද එය Isaac Lab තුළට ඇතුළු කර, ඔබට දැනටමත් හිමි භෞතික ලීඩර් අතින් එය ධාවනය කිරීමට ඉඩ සලසන එකම විවෘත පයිප්ලය මෙය වන බැවිනි. ලියන අවස්ථාව වන විට 0.4.0 අනුවාදය වන LeIsaac, LeRobot හි EnvHub තුළට ඒකාබද්ධ කර ඇති නිල අනුකරණ-ඉගෙනුම් අනුකරණ ක්‍රීඩා පිටියයි. එහි ගැළපුම් වගුවේ ක්‍රියාකාරී සංයෝජන තුනක් ලැයිස්තුගත කර ඇත; අලුත්ම එක Isaac Sim 5.1, Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 සහ Python 3.11 සමඟ යුගල වන අතර, 50-ශ්‍රේණියේ කාඩ්පත් සඳහා Isaac Sim 5.0 හෝ ඊට නවතම එකක් ලේඛන මගින් නිර්දේශ කරයි.

bash
git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0
මූලාශ්‍රයෙන් LeIsaac. numpy pin එක නිල උපදෙස් වල ඇත, එය workaround එකක් නොවේ.

එය ස්ථාපනය කිරීමෙන් පසු, /dev/ttyACM0 හි ඇති ලීඩර් අත අනුකරණය කරන ලද ෆලෝවර් එක ධාවනය කරන අතර කෙලින්ම HDF5 වෙත වාර්තා කරයි. ලූප් එක සැබෑ පටිගත කිරීම් වලින් ඔබ දැනටමත් දන්නා එකම එකයි, මෙහි ෆලෝවර් එක PhysX හි දෘඩ වස්තුවක් පමණි.

bash
python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5
Environment IDTask descriptionRobot
LeIsaac-SO101-PickOrange-v0තැටියට දොඩම් තුනක් ගෙන දමන්න, ඉන්පසු අත විවේකී තත්ත්වයට පත් කරන්නතනි අත SO101 අනුගාමිකයා
LeIsaac-SO101-LiftCube-v0රතු ඝනකය ඉහළට ඔසවන්නතනි අත SO101 අනුගාමිකයා
LeIsaac-SO101-CleanToyTable-v0e අකුර සහිත වස්තූන් දෙකක් පෙට්ටියට දමන්න, ඉන්පසු අත විවේකී තත්ත්වයට පත් කරන්නතනි අත SO101 අනුගාමිකයා
LeIsaac-SO101-CleanToyTable-BiArm-v0අත් දෙකකින් එකම කාර්යයද්වි-අත SO101 අනුගාමිකයා
LeIsaac-SO101-FoldCloth-BiArm-v0රෙදි නමන්න, ඉන්පසු අත විවේකී තත්ත්වයට පත් කරන්න. DirectEnv ප්‍රභේදය පමණක් check_success සඳහා සහය දක්වයිද්වි-අත SO101 අනුගාමිකයා
LeIsaac-LeKiwi-CleanupTrash-v0බිම ඇති ටිෂූ කසළ අහුලා කුණු බක්කියට දමන්නLeKiwi

බොහෝ ID -Direct-v0 ප්‍රභේදයක් ලෙසද පවතී, තවද python scripts/environments/list_envs.py වත්මන් ලැයිස්තුව මුද්‍රණය කරයි. ඔබට HDF5 මගහැරීම සම්පූර්ණයෙන්ම මඟහැර, ධජ තුනක් එකතු කිරීමෙන් ටෙලිඔපරේෂන් අතරතුර LeRobot ආකෘතියෙන් ලිවිය හැක. අනතුරු ඇඟවීම් දෙකක් ලේඛනගත කිරීමෙන්ම පැමිණේ: ආරම්භක තත්ත්වයන්ගෙන් ඇතිවන අස්ථාවරත්වය වළක්වා ගැනීම සඳහා රෙකෝඩරය එක් එක් කථාංගයේ පළමු 5 frames ස්වයංක්‍රීයව මඟහරියි, තවද එය ටෙලිඔපරේෂන් වලදී සුළු ප්‍රමාදයන් ඇති කළ හැක, එය ඔබගේ නිරූපණවල ස්වභාවය නිහඬව වෙනස් කරන ආකාරයේ දෙයකි. එය සාර්ථක ලෙස සලකුණු කළ කථාංග පමණක් ෆ්ලෂ් කරයි.

bash
python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

ගුණ කිරීමේ පියවර පසුව එම පටිගත කිරීම් මත ක්‍රියාත්මක වේ. LeIsaac, Isaac Lab Mimic විධාන හතරකින් ආවරණය කරයි, මන්ද Mimic අවසාන-ප්‍රයෝගික සහ වස්තු ඉරියව් වලින් ගමන් පථ සාමාන්‍යකරණය කරයි: සන්ධි-අවකාශ ක්‍රියා IK-පාදක ක්‍රියා බවට පරිවර්තනය කරන්න, සටහන් කරන්න, ජනනය කරන්න, ඉන්පසු නැවත සන්ධි අවකාශයට පරිවර්තනය කරන්න.

bash
python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

ඉන්පසු LeRobot වෙත පරිවර්තනය කරන්න. වේදිකාවේ ආකෘති රීතිය බලපාන පියවර මෙය වන අතර, LeIsaac ඔබට අවශ්‍ය පරිවර්තක දෙකම සපයයි: isaaclab2lerobot.py LeRobot v2 ලියයි, එය GR00T ලෝඩර් මගින් ගන්නා අතර, isaaclab2lerobotv3.py සඳහා v3 ලියයි Pi0.5, SmolVLA සහ ACT. ස්ක්‍රිප්ට් දෙකම එකම තර්ක ගනී, නමුත් විවිධ lerobot සංස්කරණ භාවිතා කරන අතර, සාර්ථක කථාංග පමණක් පරිවර්තනය කෙරේ.

bash
pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5
GR00T සඳහා LeRobot v2 ප්‍රතිදානය. v3 පුහුණුකරුවන් සඳහා lerobot 0.4.2 සමඟ isaaclab2lerobotv3.py මාරු කරන්න.
GPU රහිත ගැලවීමේ මාර්ගයක් ඇත

LeIsaac මගින් NVIDIA Brev මත සම්පූර්ණ ස්ටැක් එක ධාවනය කිරීම ලේඛනගත කරයි: යොදවන්න, බ්‍රවුසරය මත පදනම් වූ VS Code Server එකක් විවෘත කිරීමට port 80 සබැඳිය ක්ලික් කරන්න, සහ --kit_args="--no-window --enable omni.kit.livestream.webrtc" සමඟින් පෙර-ස්ථාපිත අවස්ථා හතර ධාවනය කරන්න, /viewer එකතු කර එකම ලිපිනයෙන් රෙන්ඩරය බලන්න. ඔබේ මේසය යට වැඩපොළ කාඩ්පතක් නොමැති නම්, ඔබේ කාර්යයේ අනුකරණය කරන ලද අනුවාදය දෘඪාංග සඳහා කැපවීමට පෙර එය සමීපදැයි සොයා ගැනීමට මෙය ලාභදායී ක්‍රමයකි.

පුහුණු ප්‍රතිපත්තියකට මාර්ග දෙකක්

ඔබ දර්ශනය ගොඩනඟා, දත්ත ජනනය කර, GPU එක කුලියට ගෙන, සේවාව ඔබම සකස් කර ගන්න. කාර්යයට භෞතිකව වේදිකාගත කළ නොහැකි පරිසර විචලනයක් අවශ්‍ය නම් හෝ ඔබට නැවත නැවත කළ හැකි ඇගයීමක් අවශ්‍ය නම් මෙය නිවැරදි තේරීමයි.

  1. ඔබේ රොබෝවරයා SO-101 නම් Isaac Sim 5.1 සහ Isaac Lab, හෝ LeIsaac stack ස්ථාපනය කරන්න.
  2. දර්ශනය ආකෘතිගත කරන්න හෝ ආනයනය කරන්න. මෙය කිසිවෙකු අයවැය නොකරන පියවරක් වන අතර එය සාමාන්‍යයෙන් දීර්ඝතම එකකි.
  3. අනුකරණය කරන ලද අනුගාමිකයා හරහා පිරිසිදු නිරූපණ 10ක් පමණ පටිගත කරන්න.
  4. උප කාර්යයන් සටහන් කරන්න, generate_dataset.py ධාවනය කරන්න, සහ අසාර්ථකවීම් ඉවතලන බව පිළිගන්න.
  5. HDF5 LeRobot ආකෘතියට පරිවර්තනය කරන්න, GR00T සඳහා v2 සහ අනෙකුත් ඒවා සඳහා v3 තෝරන්න.
  6. කෙසේ හෝ භෞතික අත මත සැබෑ කථාංග පටිගත කරන්න, ඉන්පසු මිශ්‍රණය මත සම-පුහුණු කරන්න.
  7. GPU එකක් කුලියට ගන්න, fine-tune ධාවනය කරන්න, checkpoint එක අත අසල සේවය කරන්න.
සම්පතමූලාශ්‍රවල සඳහන් දේ
දේශීය අනුකරණ GPUNVIDIA කෘතිම-හැසිරවීමේ සැලැස්ම Ubuntu 22.04 සහ 48 GB VRAM සහිත NVIDIA RTX A6000 එකක් ඉල්ලා සිටී
ලෝක-ආකෘති නෝඩයඑම සැලැස්ම Isaac Lab අනුකරණයෙන් වෙන් වූ නෝඩයක 80 GB සහිත H100 හෝ ඊට වැඩි එකක් ඉල්ලා සිටී
කන්ටේනර් අනුවාදඑම සැලැස්මේ රූපය තුළ Isaac Sim 4.5.0 මත Isaac Lab 2.0.2
ජනන ධාරිතාවIsaac Lab වාර්තා කරන්නේ GR1T2 pick-and-place නිරූපණ 1000ක් විනාඩි 18 සිට 40 දක්වා කාලයකදී, RTX ADA 6000 මත 80% සාර්ථකත්වයකින් විනාඩි 19ක් තුළ බවයි
ස්නායු ගමන් පථ පිරිවැයGR00T N1 වාර්තා කරන්නේ එහි පැය 827ක සිහින සඳහා L40 GPU පැය 105,000ක් පමණ, L40s 3,600ක් මත දින 1.5ක් පමණ බවයි
සැබෑ පිරිවැය දින දර්ශන කාලය මිස GPU කාලය නොවේ

ගමන් පථ 1000ක් ජනනය කිරීම දහවල් කාලයකි. ඔබේ දර්ශනය, ඔබේ කැමරා බාහිර දත්ත, ඔබේ වස්තු දැල් සහ ඔබේ සර්වෝ ආකෘතිය එම ගමන් පථ මාරු කිරීමට තරම් සමීප කර ගැනීම සඳහා සති ගණනක් ගතවේ. නියැදීම සඳහා නොව ආකෘතිකරණය සඳහා අයවැය කරන්න.

වීඩියෝ ලෝක ආකෘති: නවතම ස්ථරය, සහ අවම වශයෙන් මනින ලද

DreamGen පිටුපස ඇති අදහස නම්, ඉලක්කගත රොබෝ ප්‍රතිමූර්තියට අනුවර්තනය කරන ලද වීඩියෝ ජනක ආකෘතියකට, ඔබ කිසිදා නොගිය දර්ශනවල විශ්වාසනීය කථාංග සිතාගත හැකි බවයි. මෙම නල මාර්ගයට අදියර හතරක් ඇත: වීඩියෝ ලෝක ආකෘතිය fine-tune කිරීම, ඡායාරූප යථාර්ථවාදී කෘතිම රොබෝ වීඩියෝ ජනනය කිරීම, ගුප්ත ක්‍රියා ආකෘතියක් හෝ ප්‍රතිලෝම ගතික ආකෘතියක් සමඟ ව්‍යාජ-ක්‍රියා අනුක්‍රමයන් ප්‍රතිසාධනය කිරීම, ඉන්පසු ප්‍රතිඵලය මත රොබෝ ප්‍රතිපත්තිය පුහුණු කිරීම. NVIDIA හි GR00T-dreams repository එක හරියටම එය ක්‍රියාත්මක කරයි.

ප්‍රධාන ප්‍රතිඵලය සත්‍ය වන අතර බැරෑරුම් ලෙස සැලකිය යුතුය: එක් පරිසරයක තනි තෝරාගැනීමේ සහ තැබීමේ කාර්යයකින් ලැබුණු ටෙලිඔපරේෂන් දත්ත මගින්, දර්ශනීය සහ නොදැකූ පරිසරයන් දෙකෙහිම, මානව රොබෝවරයෙකු මත නව හැසිරීම් 22ක් ජනනය විය. අනතුරු ඇඟවීම ද ඒ හා සමානව සත්‍ය වන අතර එය තුන්වන අදියරේ පවතී.

දත්ත මූලාශ්‍රයක් ලෙස වීඩියෝ ලෝක ආකෘති
වාසි
  • ඒවා සැබෑ ලෝකයේ සැබවින්ම මිල අධික වන අක්ෂය ඔස්සේ පරිමාණය වේ: නව දර්ශන, නව වස්තු සැකසුම්, උපදෙස් වල නව වාක්‍ය ඛණ්ඩ.
  • GR00T-dreams එහි ක්‍රියා-නිස්සාරණ සහ සියුම්-සුසර කිරීමේ ස්ක්‍රිප්ට් සඳහා සහාය දක්වන ශරීර හතරක් ලැයිස්තුගත කරයි: franka, gr1, robocasa සහ so100. මෙය මානව රොබෝවරුන්ට පමණක් සීමා වූ තාක්ෂණයක් නොවේ.
  • Cosmos-Transfer1 පරතරයේ ප්‍රකාශමිතික අර්ධයට සෘජුවම පහර දෙයි, එක් රොබෝටික් කෘතිම උදාහරණයක්, segmentation, depth හෝ edge conditioning මගින් බහු යථාර්ථවාදී උදාහරණ වලට සිතියම්ගත කරයි. Isaac Lab විසින්ම scripts/tools/cosmos යටතේ ඒ සඳහා prompt tooling සපයයි.
  • DreamGen කාර්යය DreamGen Bench නිකුත් කරයි, එය වීඩියෝ-ජනන මිණුම් සලකුණක් වන අතර, මිණුම් සලකුණු කාර්ය සාධනය සහ downstream policy සාර්ථකත්වය අතර ප්‍රබල සහසම්බන්ධයක් පෙන්නුම් කරයි, එබැවින් ඔබට පුහුණු කිරීමට පෙර ජනනයන් පරීක්ෂා කළ හැක.
හුවමාරු
  • ක්‍රියා ආකෘතියක් මගින් ප්‍රතිසාධනය කරනු ලැබේ, එන්කෝඩරයක් මගින් මනිනු නොලැබේ. නිවැරදි යැයි පෙනෙන වීඩියෝවකට ඔබේ අතට ක්‍රියාත්මක කළ නොහැකි සන්ධි ගමන් පථයක් රැගෙන යා හැක.
  • ජනනය කිරීම මිල අධිකය. GR00T N1 වාර්තා කරන්නේ L40 එකක් මත එක් තත්පරයක වීඩියෝවක් ජනනය කිරීමට මිනිත්තු දෙකක් ගතවන බවයි, එය දළ වශයෙන් L40 GPU පැය 105,000ක්, L40 GPU 3,600ක් මත දින 1.5ක් පමණ වන අතර, එහි ස්නායු ගමන් පථ පැය 827ක් සඳහා වේ.
  • මනින ලද ලාභය තනි ඉලක්කම් වලින් පවතී: දත්ත පාලන තන්ත්‍ර තුන හරහා RoboCasa මත ලකුණු 4.2, 8.8 සහ 6.8, සහ සැබෑ GR-1 කාර්යයන් 8ක් හරහා සාමාන්‍යයෙන් ලකුණු 5.8ක්, දැනටමත් සැබෑ දත්ත තිබූ ආකෘතියකට අමතරව.
  • 7.4 V හොබි-සර්වෝ අතක් සඳහා මෙය සම්පූර්ණයෙන් වලංගු කරන ප්‍රකාශිත වට්ටෝරුවක් නොමැත. ඔබ අනුගමනය කරනවා වෙනුවට පෝර්ට් කරනු ඇත.
STS3215 එකකට කිසිවිටෙක 12 V ලබා නොදෙන්න

අනුකරණයට සම්බන්ධ නැත, නමුත් යමෙකු අනුකරණය කරන ලද අතකින් සැබෑ අතකට මාරු වී බල සැපයුමක් වැඩිදියුණු කරන සෑම විටම මෙය මතුවෙයි. SO-100, SO-101 සහ LeKiwi අත් සියල්ලම Feetech STS3215 සර්වෝ 7.4 V දී ක්‍රියාත්මක කරයි. ඒවාට 12 V ලබා දීමෙන් ඒවා විනාශ වේ, LeKiwi විශේෂ උගුලක් වන්නේ එහි පාදක රේල් පීල්ල 12 V වන බැවිනි. යමක් වයර් කිරීමට පෙර SO-100 දෘඪාංග පිටුව බලන්න.

සහ-පුහුණුව යනු සැබවින්ම ලාභ පෙන්වන වට්ටෝරුවයි

සාහිත්‍යයෙන් එක් මෙහෙයුම් පාඩමක් ලබා ගන්නේ නම්, මෙය ගන්න. සිම්-සහ-සැබෑ සම-පුහුණු අධ්‍යයනය (Maddukuri සහ සගයන්, 2025) දෘශ්‍ය-පාදක රොබෝටික් හැසිරවීමේ කාර්යයන් විසඳීම සඳහා අනුකරණ දත්ත භාවිතා කිරීම සඳහා සරල වට්ටෝරුවක් සොයා ගැනීමට උත්සාහ කළේය, එය රොබෝ අතක් සහ මානව රූපයක් යන වසම් දෙකක් හරහා සිදු වූ අතර, එහි නිගමනය වන්නේ ඔබ මිශ්‍රණයක් මත පුහුණු විය යුතු බවයි. අනුකරණ දත්ත සැබෑ ලෝකයේ කාර්ය සාධනය සාමාන්‍යයෙන් සියයට 38 කින් වැඩි දියුණු කළ අතර, අනුකරණය සහ සැබෑ ලෝක දත්ත අතර සැලකිය යුතු වෙනස්කම් තිබියදීත් මෙය වලංගු වූ බව පත්‍රිකාව පැහැදිලිව දක්වයි.

එම අවසාන වගන්තිය සියයට 38 ට වඩා වැදගත් වේ. එයින් අදහස් වන්නේ සැබෑ දත්ත මිශ්‍රණයේ තිබී එයට පදනමක් සපයන්නේ නම්, අනුකරණය ප්‍රයෝජනවත් වීමට පරිපූර්ණ ඩිජිටල් නිවුන් දරුවෙකු විය යුතු නැති බවයි. සිම්-පමණක් මාරු කිරීම මිල අධික මාර්ගයකි: එම පත්‍රිකාවම සඳහන් කරන්නේ ප්‍රතිපත්තියක් අනුකරණයෙන් පමණක් පුහුණු කර එය සැබෑ ලෝකයට මාරු කිරීම බොහෝ විට යථාර්ථයේ පරතරය පියවීමට සැලකිය යුතු මානව ප්‍රයත්නයක් ඉල්ලා සිටින බවයි. සම-පුහුණුව එම ප්‍රයත්නයෙන් වැඩි කොටසක් මඟ හරියි, ප්‍රතිපත්තියට තනිවම පරතරය පියවීමට කිසි විටෙකත් ඉල්ලා නොසිටීමෙන්.

The AY-Robots policy comparison table showing parameters, GPU tier, inference latency and minimum episodes for GR00T N1.7, GR00T N1.5, Pi0.5, SmolVLA and ACT.
The five trainable policies at /policies. The minimum-episode column is the number that decides whether synthetic data is a nice-to-have or the only way you reach a trainable dataset.

ප්‍රායෝගිකව, මෙම වේදිකාවේදී, සම-පුහුණුව යනු එක් දෙයකි: කථාංග කට්ටල දෙකම එකම LeRobot dataset ස්ථාවර කැමරා යතුරු, ස්ථාවර සන්ධි අනුපිළිවෙල සහ ස්ථාවර ඒකක සමඟින්, පසුව සාමාන්‍ය සියුම්-සුසර කිරීම. පුහුණු ආකෘතියේ මිශ්‍රණ-බර පාලකයක් නොමැත. ඔබට 3:1 සිම්-ටු-රියල් අනුපාතයක් අවශ්‍ය නම්, ඔබ එය දත්ත කට්ටලයට ඇතුළත් කරන එක් එක් කථාංග ගණන අනුව ප්‍රකාශ කරයි.

අනුකරණයෙන් ලැබෙන ලාභම ජයග්‍රහණය පුහුණු දත්ත නොවේ

එය ඇගයීමයි. කාර්යයක් සඳහා සැබෑ පරීක්ෂණ දුසිම් ගණනක් ධාවනය කිරීමෙන් දෙකක් සංසන්දනය කිරීම දවසක අතේ කාලයකි, එමෙන්ම අත පරීක්ෂණ අතරතුරදී වෙනස් වේ. SIMPLER (Li සහ සගයන්, 2024) විසින් සැබෑ ප්‍රතිපත්ති පුහුණු කිරීමට වඩා ඒවා ලකුණු කිරීමේ අරමුණින් අනුකරණය කරන ලද පරිසරයන් ගොඩනඟා ඇති අතර, පසුව සිම් ශ්‍රේණිගත කිරීම සැබෑ එක පුරෝකථනය කරන්නේ කෙසේදැයි මැන බැලීය. තනි SIMPLER පරිසරයක් පාරිභෝගික RTX 4090 එකක 640 by 512 විභේදනයකින් තත්පරයට 3,500 අනුකරණ පියවරයන්ගෙන් විදැහෙන අතර, 500 Hz අනුකරණ සංඛ්‍යාතයක් යටතේ එය සැබෑ ඇගයීමට වඩා 7x වේගවත් වීමකි.

ඇගයීම් ප්‍රොටෝකෝලයMMRV (අඩු වන තරමට වඩා හොඳයි)Pearson r (වැඩි වන තරමට වඩා හොඳයි)
වලංගුකරණ MSE0.3750.308
SIMPLER, ප්‍රභේද එකතු කිරීම0.1430.778
SIMPLER, දෘශ්‍ය ගැලපීම0.0560.924

ඒවා පොදු විවෘත මූලාශ්‍ර චෙක්පොයින්ට් හයක් සඳහා Google Robot කාර්ය කණ්ඩායම් තුනක සාමාන්‍යයන් වේ: විවිධ පුහුණු අවධිවල RT-1 චෙක්පොයින්ට් තුනක්, RT-1-X, RT-2-X සහ Octo-Base. සැබෑ පැත්ත ඒකාකාරී පරීක්ෂණ ගණනක් නොවේ, එය උපුටා දැක්වීමට පෙර දැන ගැනීම වටී: කෝක් කෑන් එකක් ගැනීමට පරීක්ෂණ 75ක්, ළඟට ගෙන යාමට 60ක්, ලාච්චු විවෘත කිරීමේ සහ වැසීමේ කාර්යයන් සඳහා 54ක් සහ දිගු ලාච්චු-සහ-ඇපල් කාර්යය සඳහා 27ක්. වලංගුකරණ MSE ට එරෙහිව සංසන්දනය කිරීම ප්‍රයෝජනවත් කොටසයි. වලංගුකරණ අලාභය මගින් ආකෘති තේරීම මෙම චෙක්පොයින්ට් නරක ලෙස ශ්‍රේණිගත කරන අතර, දෘශ්‍ය ගැලපීම යටතේ 0.924 ක Pearson r අගයක් යනු චෙක්පොයින්ට් එකක් SIMPLER හි වඩා හොඳින් ලකුණු කරන්නේ නම් එය බංකුව මත වඩා හොඳින් ලකුණු කිරීමට බොහෝ දුරට ඉඩ ඇති බවයි. එය නැවත නැවත කළ හැකි එක රැයකින් ලැබෙන ලකුණු පුවරුවක් වන අතර, සිම්-ටු-රියල් පුහුණු මාරු කිරීම ගැන කිසිවක් විශ්වාස කිරීමට ඔබට අවශ්‍ය නොවේ.

The AY-Robots Arena leaderboard, a sortable table of 85 vision-language-action models with 332 benchmark results, each value linked to its source paper or model card.
The Arena at /arena collects 332 benchmark results across 85 models. Almost all of them are simulated benchmarks, which is exactly the point of the SIMPLER argument: simulation is a good scoreboard long before it is a good data source.

මෙම මිණුම් සලකුණු සංඛ්‍යා මඟින් දෘශ්‍ය-භාෂා-ක්‍රියා ආකෘතියක් ගැන ඔබට කුමක් කියන්නේද සහ නොකියන්නේද යන්න පිළිබඳ පුළුල් සන්දර්භය දැන ගැනීමට අවශ්‍ය නම්, අපි එය VLA දළ විශ්ලේෂණයෙහි වෙන වෙනම ලියා ඇත.

මෙම වේදිකාව ඔබට උදව් නොකරන තැන්

සීමාවන් පැහැදිලිව තේරුම් ගැනීමෙන් සියලු දෙනාගේ කාලය ඉතිරි වේ. AY-Robots යනු පටිගත කිරීම, පුහුණු කිරීම සහ සේවා සැපයීම සඳහා වූ වේදිකාවකි. එහි කිසිදු සිමියුලේටරයක් අඩංගු නොවේ.

  • Isaac Lab නැත, MimicGen නැත, ලෝක ආකෘතියක් නැත, දර්ශන නිර්මාණය කිරීමක් නැත. ඔබට ජනනය කළ දත්ත අවශ්‍ය නම්, ඔබ එය වෙනත් තැනක ජනනය කර ප්‍රතිඵලය ගෙන එන්න.
  • පුහුණුකරුවන් LeRobot දත්ත කට්ටල පමණක් පරිභෝජනය කරයි. සිමියුලේටර් අපනයනයක් ආදානයක් වීමට පෙර පරිවර්තනය කළ යුතු අතර, එය නිවැරදි අනුවාදය විය යුතුය: GR00T N1.5 සහ N1.7 සඳහා v2.0 හෝ v2.1, Pi0.5, SmolVLA සහ ACT සඳහා v3.0.
  • GR00T හි fine-tuning ඇතුල්වීමේ ලක්ෂ්‍යය වන්නේ seed එකක් නොපෙන්වන tyro CLI එකකි, එබැවින් GR00T ධාවන bit-for-bit ප්‍රතිනිෂ්පාදනය කළ නොහැක. ඔබ ප්‍රවේශමෙන් sim-versus-real ablation එකක් ධාවනය කරන්නේ නම්, එය සැබෑ සීමාවකි. lerobot හි පෙරනිමි seed එක 1000 වන අතර, ACT, SmolVLA සහ Pi0.5 ආකෘති seed field එකක් පෙන්වයි.
  • Gradient accumulation ඇත්ත වශයෙන්ම යොදනු ලබන්නේ GR00T පුහුණුකරුවන් දෙදෙනා සඳහා පමණි. Pi0.5 සහ SmolVLA සඳහා field එක ආකෘතියේ පවතී, නමුත් lerobot 0.5.1 හි එවැනි flag එකක් නොමැති බැවින් එය කිසිවක් නොකරයි.
  • වේගවත් කාර්යයන් සඳහා Inference servos අසල තිබිය යුතුය. පාලන ලූපය ආකෘතිය අනුව ක්‍රියාකාරී පියවරකට 20 සිට 485 ms දක්වා වන අතර, පොදු අන්තර්ජාල වට සංචාර එකතු කිරීමෙන් ක්‍රියාකාරී ප්‍රතිපත්තියක් පැකිලෙන එකක් බවට පත් වේ. දුරස්ථ inference මන්දගාමී pick-and-place සඳහා ශක්‍ය වේ, වේගවත් ප්‍රතික්‍රියාශීලී චලනයන් සඳහා නොවේ.
වෙනත් තැනක සැබවින්ම අපහසු දේ මෙහිදී ඔබට කළ හැකි දේ

අතක් හිමි නොවී සම-පුහුණු මිශ්‍රණයක සැබෑ භාගය වාර්තා කරන්න. /live ලියාපදිංචියකින් තොරව, පෝලිම් පදනම් කරගත් භෞතික SO-100 එකක් විකාශනය කරයි, සහ ක්‍රියාකරු වැඩසටහන පවතින්නේ යමෙකුට ඒවා ධාවනය කිරීමට සිදුවන බැවිනි. ඔබේ බාධකය වන්නේ ඔබට සිමියුලේටරයක් ​​සහ සැබෑ කථාංග නොමැති නම්, මෙම වේදිකාව වසා දමන පරතරය එයයි.

ඔබට ආරක්ෂා කළ හැකි අයවැයක්

මාර්ග දෙක එකිනෙක අසල තබා, එක් එක් මාර්ගය ඇත්ත වශයෙන්ම ප්‍රකාශයට පත් කරන සංඛ්‍යා සමඟ, තීරණය සාමාන්‍යයෙන් අඩු වියදම් අතක් මත තනි කාර්ය ව්‍යාපෘතියක් සඳහා තනිවම ගනු ලැබේ.

අයිතමයපළමුව අනුකරණයපළමුව වාර්තා කිරීම
පූර්ව ආකෘතිකරණයදර්ශනය, දැල්, කැමරා ස්ථානගත කිරීම, සර්වෝ ආකෘතිය. දින කිහිපයක සිට සති කිහිපයක් දක්වාකිසිවක් නැත
දත්ත එකතු කිරීමඅනුකරණයේදී ආදර්ශන 10ක් පමණ, පසුව ජනනය කිරීමසැබෑ කථාංග 30 සිට 50 දක්වා, ටෙලිඔපරේෂන් පැය කිහිපයක්
අයිති කර ගැනීමට දෘඪාංගIsaac Lab සැලැස්ම සඳහා 48 GB කාඩ්පතක්, Cosmos අදියර සඳහා 80 GBඅතක් සහ ලැප්ටොප් පරිගණකයක්
පුහුණු පිරිවැයදකුණු තීරුවට සමානයි, දත්ත පැමිණියේ කොහෙන්ද යන්න පුහුණුකරුට වැදගත් නැත4090 ස්ථරයේ 1 සිට 3 USD, A100 හෝ H100 ස්ථරයේ 4 සිට 12 USD
ප්‍රතිලාභයේ හොඳම සාක්ෂියසහ-පුහුණු කළ විට සාමාන්‍ය සැබෑ ලෝකයේ 38%ක ලාභයක්, ස්නායු ගමන් පථ වලින් ලකුණු 4 සිට 9 දක්වාඉහත සියල්ල මනිනු ලබන මූලික රේඛාව
අසාර්ථක වන්නේ කවදාදඔබේ කාර්යය ස්පර්ශය, විරූපණය කළ හැකි ද්‍රව්‍ය හෝ සර්වෝ අනුකූලතාව මත රඳා පවතී නම්ඔබට භෞතිකව වේදිකාගත කළ නොහැකි පරිසර විචලනයක් අවශ්‍ය නම්

SO-100 මත පළමු ප්‍රතිපත්තියක් සඳහා, වාර්තා කරන්න. සහ ඔබට කෝපි එකක මිලට සේවය කරන ලද චෙක්පොයින්ට් එකක් ලබා දෙන අතර, අනාගත සහ-පුහුණු මිශ්‍රණයක සැබෑ භාගය ඔබට ලැබෙනු ඇත. ඔබට ක්‍රියාකාරී මූලික රේඛාවක් සහ නම් කළ හැකි නිශ්චිත සාමාන්‍යකරණ අසාර්ථකත්වයක් ඇති විට සිමියුලේටරය වෙත යන්න, උදාහරණයක් ලෙස ප්‍රතිපත්තියක් .

ඔබේ මේසය මත තවම අතක් නැද්ද?

බ්‍රවුසරයේ සැබෑ SO-100ක් ධාවනය කරන්න, පෝලිම් මත පදනම් වූ, ලියාපදිංචි වීමක් නැත, සහ සිමියුලේටරයක එකක් ආකෘතිකරණය කිරීමට සති අන්තයක් ගත කිරීමට පෙර සැබෑ කථාංගයක් ඇත්ත වශයෙන්ම පෙනෙන්නේ කෙසේදැයි බලන්න.

සැබෑ අතක් ධාවනය කරන්න

සාක්ෂිවලට ගරු කරන වට්ටෝරුවක්

  1. 1
    පළමුව සැබෑ මූලික රේඛාව වාර්තා කරන්න

    SmolVLA සඳහා කථාංග 30ක්, ACT, GR00T N1.7 සහ Pi0.5 සඳහා 50ක්. එක් වරක් පුහුණු කරන්න. එම ප්‍රතිපත්තිය අසාර්ථක වන ඕනෑම දෙයක් කෘතිම දත්ත සඳහා ඔබේ පිරිවිතර වේ.

  2. 2
    සාමාන්‍යකරණයේ අසාර්ථකත්වය නම් කරන්න

    වස්තුවේ ඉරියව්ව? ආලෝකකරණය? මේසයේ උස? අවධානය වෙනතකට යොමු කරන්නන්? උපදෙස් වෙනස් ආකාරයකින් ප්‍රකාශ කිරීමක්ද? කෘතිම දත්ත එකවර මේවායින් එකකට පමණක් හොඳ වන අතර, කුමක්දැයි ඔබට කිව නොහැකි නම් නිෂ්ඵල වේ.

  3. 3
    එය ආවරණය කරන ලාභම පවුල තෝරන්න

    ඉරියව් සහ සැකැස්මේ විචලනය: ගමන් පථ ගුණ කිරීම. ආලෝකකරණය සහ වයනය: පළමුව රූප වැඩි දියුණු කිරීම, දෙවනුව ලෝක ආකෘතිය. සම්පූර්ණයෙන්ම නව දර්ශන: භෞතික විද්‍යාත්මක ක්‍රියාකාරකම්, සහ ආකෘතිකරණ පිරිවැය පිළිගන්න.

  4. 4
    ජනනය කරන්න, ඉන්පසු ආක්‍රමණශීලීව ඉවතලන්න

    උත්පාදන උත්සාහයන් අසාර්ථක වන අතර, Isaac Lab හිම අපේක්ෂක සාර්ථකත්ව අනුපාතය කාර්යය අනුව සියයට 70 සිට සියයට 1 ට අඩුව දක්වා පරාසයක පවතී. සාර්ථක, කාර්යය සම්පූර්ණ කරන ගමන් පථ පමණක් තබා ගන්න, සහ කණ්ඩායම විශ්වාස කිරීමට පෙර වීඩියෝවක් ලෙස නියැදියක් පරීක්ෂා කරන්න.

    bash
    python scripts/mimic/generate_dataset.py --device cuda \
        --num_envs 8 --generation_num_trials 500 \
        --input_file ./datasets/annotated.hdf5 \
        --output_file ./datasets/generated.hdf5 --enable_cameras
  5. 5
    සම-පුහුණු කරන්න, ආදේශ නොකරන්න

    ජනනය කරන ලද කථාංග සැබෑ ඒවා සමඟ එකම කැමරා යතුරු සහ සන්ධි අනුපිළිවෙල සහිත තනි LeRobot දත්ත කට්ටලයකට ඒකාබද්ධ කරන්න. සියයට 38 ක අගය සම-පුහුණු අගයකි.

  6. 6
    සැබෑ රොබෝ අත මත පමණක් ඇගයීම සිදු කරන්න

    අනුකරණය කරන ලද ඇගයීම හොඳ ශ්‍රේණිගත කිරීමේ සංඥාවක් (SIMPLER හි දෘශ්‍ය-ගැලපෙන සැකසුමෙහි Pearson r 0.924) නමුත් එය පිළිගැනීමේ පරීක්ෂණය නොවේ. එය විශ්වාස කිරීමට පෙර පරීක්ෂණාගාරයේදී පරීක්ෂා කරන්න.

ඔබට සැබෑ පටිගත කිරීම් සඳහා පිරික්සුම් ලැයිස්තුවකින් ආරම්භ කිරීමට අවශ්‍ය නම්, දත්ත එකතු කිරීමේ මාර්ගෝපදේශය කැමරා ස්ථානගත කිරීම, ක්‍රියා ඛණ්ඩනය ඇඟවුම් සහ අනුකරණ ඉගෙනීම දත්ත කට්ටලයක් භාවිතයට ගත නොහැකි කරන අසාර්ථක ක්‍රම ආවරණය කරයි. ආකෘතිය පිළිබඳ විස්තර දත්ත කට්ටල ලේඛනවල ඇත, සහ අධිපරාමිති පැත්ත පුහුණු ලේඛනවල ඇත.

මට රොබෝ ප්‍රතිපත්තියක් සම්පූර්ණයෙන්ම කෘතිම දත්ත මත පුහුණු කළ හැකිද?

සැබෑ රොබෝ අතක හැසිරවීමේ කාර්යයක් සඳහා, විශ්වාසදායක ලෙස නොවේ. ශක්තිමත් අංකයක් සහිත සෑම ප්‍රකාශිත ප්‍රතිඵලයක්ම සම-පුහුණු ප්‍රතිඵලයක් හෝ සැබෑ දත්ත මත වැඩි දියුණු කිරීමේ ප්‍රතිඵලයකි. MimicGen හිම සංසන්දනයට අනුව, එකම කාර්යය සඳහා ජනනය කරන ලද නිරූපණ 200ක් සියයට 79ක් වන අතර මිනිස් නිරූපණ 200ක් සඳහා සියයට 84ක් වේ. 2025 සිම්-සහ-සැබෑ සම-පුහුණු පත්‍රිකාව පවසන්නේ අනුකරණයෙන් පමණක් පුහුණු කිරීම සහ මාරු කිරීම බොහෝ විට යථාර්ථයේ පරතරය පියවීමට සැලකිය යුතු මිනිස් උත්සාහයක් අවශ්‍ය වන බවයි. RoboCasa පෙන්වන්නේ ජනනය කරන ලද දත්ත මිනිස් දත්ත අභිබවා යන බවයි (සියයට 47.6 එදිරිව 28.8), නමුත් එය ජනනය කරන ලද නිරූපණ 72,000ක් සහ මිනිස් නිරූපණ 1,250ක් සමඟින්, දෙකම නිපදවූ අනුකරණ යන්ත්‍රය තුළ පමණි.

මම කෘතිම කථාංග ජනනය කරන්නේ නම් මට තවමත් සැබෑ කථාංග කීයක් අවශ්‍යද?

AY-Robots මත පුහුණුකරුවන්ට SmolVLA සඳහා අවම වශයෙන් කථාංග 30ක් සහ ACT, GR00T N1.5, GR00T N1.7 සහ Pi0.5 සඳහා 50ක් අවශ්‍ය වේ, කථාංග පැමිණියේ කොහෙන්ද යන්න නොසලකා. Isaac Lab හි Mimic ලේඛනවල සඳහන් වන්නේ උත්පාදනය සඳහා සාර්ථක මිනිස් නිරූපණ 10ක් පමණ අවශ්‍ය බවයි. ඒවා විවිධ ප්‍රශ්නවලට පිළිතුරු සපයන විවිධ සංඛ්‍යා වේ: 10 යනු උත්පාදකයට අවශ්‍ය දේ වන අතර, 30 සිට 50 දක්වා පුහුණුකරුට අවශ්‍ය දේ වේ.

අනුකරණය කරන ලද දත්ත LeRobot ආකෘතියෙන් තිබිය යුතුද?

මෙම වේදිකාවේ පුහුණු වීමට නම්, ඔව්. Isaac Lab සහ LeIsaac යන දෙකම robomimic-ආකාරයේ HDF5 නිපදවයි. Isaac Lab core හි LeRobot පරිවර්තකයක් නොමැත, නමුත් LeIsaac විසින් LeRobot v2 සඳහා isaaclab2lerobot.py සහ v3 සඳහා isaaclab2lerobotv3.py සපයයි, තවද IsaacLab-Arena විසින් YAML config එකකින් ධාවනය වන GR00T-ඉලක්කගත convert_hdf5_to_lerobot.py සපයයි. අනුවාදය ගැන අවධානය යොමු කරන්න: GR00T N1.5 සහ N1.7 සඳහා LeRobot v2.0 හෝ v2.1 අවශ්‍ය වන අතර, Pi0.5, SmolVLA සහ ACT සඳහා v3.0 අවශ්‍ය වේ. v3.0 දත්ත කට්ටලයක් GR00T loader එක බිඳ දමන අතර v2.1 දක්වා පරිවර්තනය කළ යුතුය.

2026 දී ඉගෙන ගැනීමට Isaac Gym තවමත් නිවැරදි දෙයක්ද?

නැත. NVIDIA හිම නිෂ්පාදන පිටුවේ "Isaac Gym - Now Deprecated" යනුවෙන් සිරස්තලයක් ඇති අතර, මෙය පැරණි මෘදුකාංගයක් බවත්, සංවර්ධකයින්ට එය බාගත කර දිගටම භාවිතා කළ හැකි නමුත් එය තවදුරටත් සහාය නොදක්වන බවත්, Isaac Lab ආදේශකය ලෙස පෙන්වා දෙයි. Isaac Lab විසින් IsaacGymEnvs, OmniIsaacGymEnvs සහ Orbit වෙතින් සංක්‍රමණ මාර්ගෝපදේශ සපයයි, එබැවින් පවතින පරිසරයක් නැති නොවී ගෙන යා හැකිය.

මට SO-100 හෝ SO-101 Isaac Lab තුළ තැබිය හැකිද?

SO-101, ඔව්, නිසි ලෙස. TheRobotStudio repository විසින් SO-101 සඳහා URDF සහ MJCF ගොනු දෙකම සපයයි, ඒවා Onshape CAD ආකෘතියෙන් onshape-to-robot සමඟින් ජනනය කර ඇත, තවද LeIsaac විසින් භෞතික SO101 ප්‍රධාන අතෙන් දුරස්ථ ක්‍රියාකාරිත්වය සහිත LeIsaac-SO101-PickOrange-v0 වැනි සූදානම් කළ Isaac Lab කාර්යයන් සපයයි. SO-100 සඳහා එම repository විසින් තනි URDF එකක් පමණක් සපයන අතර MuJoCo ආකෘතියක් නොමැත. SO-101 README හි සඳහන් සීමාවන් ගැන කෙසේ වෙතත් දැනුවත් වන්න: ගැටළු සහගත ගැටුම් හැසිරීම් හේතුවෙන් පාදක ගැටුම් දැල් ඉවත් කර ඇත, STS3215 මෝටර් ගුණාංග SO-101 මත හඳුනා ගැනීම වෙනුවට Open Duck Mini ව්‍යාපෘතියෙන් අනුවර්තනය කර ඇත, සහ 0-වසා සිට 100-විවෘත ග්‍රිපර් සම්මුතිය තවමත් ආකෘති ගොනු වල පිළිබිඹු නොවේ.

වේදිකාව මට අනුකරණය ක්‍රියාත්මක කරනවාද?

නැත. AY-Robots සැබෑ දුරස්ථ ක්‍රියාකාරිත්වයෙන් LeRobot දත්ත කට්ටල වාර්තා කරයි, කුලියට ගත් GPU මත සහාය දක්වන ප්‍රතිපත්ති පහ සියුම්ව සකස් කරයි, සහ ප්‍රතිඵලයක් ලෙස ලැබෙන චෙක්පොයින්ට් එක නැවත රොබෝ අතට සපයයි. එහි අනුකරණ යන්ත්‍රයක්, කෘතිම දත්ත උත්පාදනයක් හෝ දර්ශන නිර්මාණයක් නොමැත. ඔබ වෙනත් තැනක දත්ත ජනනය කර එය වලංගු LeRobot දත්ත කට්ටලයකට පරිවර්තනය කරන්නේ නම්, පුහුණුකරුවන් එය සැබෑ පටිගත කිරීම් මෙන් ම පිළිගනු ඇත.

Sources

Ready for high-quality robotics data?

AY-Robots connects your robots to skilled operators worldwide.

Get Started