روبوٹ پالیسیوں کے لیے مصنوعی ڈیٹا: جہاں سمولیشن مدد کرتا ہے

ہر چند ماہ بعد کوئی نہ کوئی یہ جان لیتا ہے کہ پچاس ایپیسوڈز ہاتھ سے ریکارڈ کرنا سست ہے، اور پوچھتا ہے کہ کیا ایک سمیلیٹر انہیں اس کے بجائے تیار کر سکتا ہے؟ یہ ایک جائز سوال ہے۔ ایماندارانہ جواب کے تین حصے ہیں: تیار کردہ ڈیٹا مدد کرتا ہے، یہ حقیقی ریکارڈنگز کی جگہ نہیں لیتا، اور ان دونوں حقائق کے درمیان کا تناسب مکمل طور پر اس بات پر منحصر ہے کہ آپ کس قسم کے مصنوعی ڈیٹا سے مراد لیتے ہیں۔

یہ صفحہ اس بات پر روشنی ڈالتا ہے کہ شائع شدہ کام نے درحقیقت کیا پیمائش کی، جو آپ آج ایک کم لاگت والے بازو پر چلا سکتے ہیں جیسے کہ SO-100، اور جہاں سم-ٹو-ریل کا فرق فوائد کو کھا جاتا ہے۔ تفصیل سے پہلے مختصر ورژن: وہ سسٹمز جو سب سے بڑے ملٹی پلائرز کی اطلاع دیتے ہیں وہ حقیقی انسانی مظاہروں کے ایک چھوٹے سیٹ کو ضرب دیتے ہیں۔ وہ ان کی ضرورت کو ختم نہیں کرتے۔

چار مختلف چیزوں کو مصنوعی ڈیٹا کہا جاتا ہے

اعداد کا موازنہ کرنے سے پہلے، خاندانوں کو الگ کرنا ضروری ہے، کیونکہ ایک مقالہ جو 100 گنا ضرب کی اطلاع دیتا ہے اور ایک مقالہ جو 5 پوائنٹ کامیابی کے اضافے کی اطلاع دیتا ہے، اکثر ایک ہی پائپ لائن کو مختلف سروں سے بیان کر رہے ہوتے ہیں۔ مشترکہ بات یہ ہے کہ LeRobot ڈیٹا سیٹ میں کچھ کسی مشین نے تیار کیا تھا نہ کہ کسی فزیکل بازو سے ریکارڈ کیا گیا تھا۔ فرق یہ ہے کہ کون سا حصہ۔

صرف پہلے تین مصنوعی ڈیٹا ہیں جس معنی میں یہ مضمون مراد لیتا ہے۔ چوتھے کا ذکر کرنا ضروری ہے کیونکہ اسے اسی گفتگو میں شامل کیا جاتا ہے اور یہ فہرست میں اب تک کی سب سے سستی چیز ہے۔ اگر آپ نے اپنے ٹرینر کے ساتھ آنے والی اگمنٹیشنز کو پہلے سے آن نہیں کیا ہے، تو سمیلیٹر انسٹال کرنے سے پہلے ایسا کریں۔

شائع شدہ اعداد و شمار درحقیقت کیا کہتے ہیں

یہاں شواہد کی بنیاد ہے، جس میں اعداد و شمار کو ذرائع کے مطابق پیش کیا گیا ہے نہ کہ پریس ریلیز کے خلاصے کے مطابق۔ نیچے دی گئی ہر قطار 23 اگست 2026 کو پڑھے گئے ایک مقالے یا پروجیکٹ صفحے سے لی گئی ہے۔

ہر ایماندار ایبلیشن میں پیٹرن ایک جیسا ہوتا ہے۔ مصنوعی ڈیٹا سستے میں کوریج کو وسیع کرتا ہے۔ یہ آپ کے گریپر، آپ کے سروو سیگ، آپ کی روشنی یا آپ کی میز کی اونچائی کے بارے میں ایسی معلومات نہیں بناتا جو حقیقی مظاہروں میں کہیں موجود نہ ہو۔ اگر آپ کی پالیسی اس لیے ناکام ہو جاتی ہے کیونکہ اینڈ ایفیکٹر آدھا سیکنڈ دیر سے بند ہوتا ہے، تو مصنوعی تغیرات کی کوئی مقدار اسے ٹھیک نہیں کر سکتی۔ یہ ایک گریپر ٹائمنگ کا مسئلہ حقیقی ریکارڈنگز میں ہے۔

MimicGen کی ایک دریافت آپ کے اپنے ریکارڈنگ سیشنز میں لے جانے کے قابل ہے، کیونکہ یہ عام مشورے کے خلاف ہے۔ اس پروجیکٹ نے Square D2 پر دو ڈیٹا سیٹ تیار کیے، ایک کو بہتر معیار کے انسانی آپریٹر سے 10 ڈیموز کے ساتھ اور دوسرے کو کم معیار کے آپریٹر سے 10 ڈیموز کے ساتھ، دونوں robomimic ملٹی ہیومن Square ڈیٹا سیٹ سے لیے گئے تھے۔ ہر ایک پر تربیت یافتہ پالیسیوں نے موازنہ کے قابل نتائج حاصل کیے، جسے مصنفین نے اس بات کی علامت سمجھا کہ بڑے پیمانے پر ڈیٹا کے نظام میں ڈیٹا کا معیار اتنا اہم نہیں ہو سکتا۔ غور سے پڑھیں، یہ دس سیڈ مظاہروں کے بارے میں ایک بیان ہے، نہ کہ آپ کے پچاس حقیقی ایپی سوڈز کے بارے میں۔ اس کا مطلب ہے کہ ایک قدرے خراب سیڈ سیٹ وہ چیز نہیں ہے جو آپ اور ایک قابل استعمال تیار کردہ ڈیٹا سیٹ کے درمیان کھڑی ہے۔ اس کا مطلب یہ نہیں ہے کہ حقیقی ایپی سوڈز جن پر آپ شریک تربیت کرتے ہیں وہ خراب ہو سکتے ہیں، کیونکہ وہ وہ ہیں جو وہ معلومات لے کر آتے ہیں جو سمیلیٹر کے پاس نہیں ہے۔

سم ٹو ریل گیپ، ٹھوس طور پر

اس خلا کو عام طور پر ایک واحد مقدار کے طور پر زیر بحث لایا جاتا ہے، جو کہ غیر مددگار ہے۔ یہ کم از کم پانچ الگ الگ عدم مطابقتیں ہیں، اور ان کا سائز 110 سے 150 یورو کے شوقیہ بازو پر فرینکا کے مقابلے میں مختلف ہوتا ہے۔

• رابطہ اور رگڑ۔ آئزک لیب واضح طور پر کہتا ہے کہ ایک ہی ہارڈ ویئر اور ایک ہی آئزک سم اور فزکس ورژن کے ساتھ سمولیشن قابل تولید ہے، لیکن نتائج مختلف ہارڈ ویئر کنفیگریشنز میں فلوٹنگ پوائنٹ کی درستگی اور راؤنڈنگ کی غلطیوں کی وجہ سے مختلف ہوتے ہیں، اور یہ کہ فزکس کسی بھی ایسے منظر کے لیے تعین کی ضمانت نہیں دیتا جس میں غیر سخت اجسام جیسے کپڑا یا نرم اجسام شامل ہوں۔
• حرکت پذیری۔ 7.4 V پر چلنے والا فیٹیک STS3215 بس سروو لوڈ کے نیچے جھک جاتا ہے، اس میں بیک لیش ہوتا ہے، اور گرم ہونے پر اس کا رویہ بدل جاتا ہے۔ SO-101 کے لیے MJCF ماڈل اپنے موٹر پیرامیٹرز کو ایک غیر متعلقہ پروجیکٹ سے لیتا ہے بجائے اس کے کہ انہیں آپ کے بازو پر شناخت کیا جائے۔
• رینڈرنگ۔ کیمرے کا شور، رولنگ شٹر، آٹو ایکسپوژر، اور آپ کی میز کا صحیح رنگ رینڈر میں شامل نہیں ہیں۔ یہ اس خلا کا وہ نصف حصہ ہے جسے Cosmos-Transfer1 کو بند کرنے کے لیے بنایا گیا تھا: اس کا روبوٹکس آگمنٹیشن ورک فلو ایک روبوٹکس مصنوعی مثال کو سیگمنٹیشن، گہرائی یا ایج کنڈیشنگ سے متعدد حقیقت پسندانہ مثالوں میں نقش کرتا ہے۔
• وقت بندی۔ ایک سمیلیٹر ایک مقررہ شرح پر قدم اٹھاتا ہے۔ ایک حقیقی کنٹرول لوپ ایسا نہیں کرتا، اور ماڈل خود ہر ایکشن سٹیپ پر 20 سے 485 ms لاگت کرتا ہے اس بات پر منحصر ہے کہ آپ نے کون سا منتخب کیا۔ دیکھیں انفرنس لیٹنسی۔
• آبجیکٹ کے اعدادوشمار۔ سمولیٹڈ مناظر کو کسی نے لکھی ہوئی تقسیم سے نمونہ بنایا جاتا ہے۔ آپ کی کچن کی میز ایسا نہیں ہے۔

ایک سمولیٹڈ SO-100 دراصل آپ کے بازو کے بارے میں کیا جانتا ہے

یہ وہ حصہ ہے جو فیصلہ کرتا ہے کہ اوپر دی گئی کوئی بھی چیز آپ کے ہفتے کے آخر کے قابل ہے یا نہیں، اور پہلی حیرت یہ ہے کہ SO-100 اور SO-101 کو یکساں طور پر پیش نہیں کیا جاتا۔ TheRobotStudio کی SO-ARM100 ریپوزٹری اپنے سمولیشن اثاثے اس کے تحت رکھتی ہے Simulation/۔ SO100 فولڈر میں ایک واحد URDF فائل اور کچھ نہیں ہے۔ SO101 فولڈر میں URDF اور MuJoCo دونوں فائلیں شامل ہیں: scene.xml, so101_new_calib.xml, so101_old_calib.xml، متعلقہ URDFs اور ایک joints_properties.xml۔ اگر آپ کائینیٹک چین کے بجائے فزکس ماڈل چاہتے ہیں، تو آپ SO-101 فائلیں چاہتے ہیں۔

انہیں Onshape میں ڈیزائن کیے گئے CAD ماڈل سے onshape-to-robot پلگ ان کے ذریعے تیار کیا گیا تھا، جس کا مطلب ہے کہ کائینیٹکس اور بصری میشز CAD کی طرح ہی اچھے ہیں۔ ڈائنامکس ایک مختلف کہانی ہے، اور ریپوزٹری کی اپنی README تین چیزوں کے بارے میں واضح ہے۔ سمولیشن اور پلاننگ کے دوران مسائل پیدا کرنے والے کولیژن رویے کی وجہ سے بیس کولیژن میشز کو ہٹا دیا گیا تھا۔ STS3215 موٹر کی خصوصیات SO-101 پر پیمائش کرنے کے بجائے اوپن ڈک منی پروجیکٹ سے اخذ کی گئی ہیں۔ اور LeRobot گریپر کنونشن، جہاں 0 مکمل طور پر بند ہے اور 100 مکمل طور پر کھلا ہے، واضح طور پر ابھی تک URDF اور MuJoCo فائلوں میں ظاہر نہیں کیا گیا ہے۔ ان میں سے ہر ایک ایسی جگہ ہے جہاں اس ماڈل میں خالصتاً تربیت یافتہ پالیسی آپ کی میز پر مختلف طریقے سے برتاؤ کرے گی۔

ڈومین رینڈمائزیشن، اور وہ کیا ٹھیک نہیں کرتی

اس خلا کا معیاری جواب یہ ہے کہ حقیقت سے مطابقت پیدا کرنے کی کوشش کرنا بند کر دیں اور اس کے بجائے اتنی وسیع تقسیم پر تربیت دیں کہ حقیقت اس کے اندر آ جائے۔ ٹوبن اور ان کے ساتھیوں نے 2017 میں اس کا مضبوط ورژن دکھایا: ایک آبجیکٹ ڈیٹیکٹر جسے صرف سمولیٹڈ تصاویر پر غیر حقیقی بے ترتیب ٹیکسچرز کے ساتھ تربیت دی گئی تھی، جس میں حقیقی تصاویر پر بالکل بھی کوئی پری-ٹریننگ نہیں کی گئی تھی، نے حقیقی اشیاء کو 1.5 سینٹی میٹر کی درستگی کے ساتھ لوکلائز کیا اور ڈسٹریکٹرز اور جزوی رکاوٹوں کے خلاف مضبوط رہا۔

آئزک لیب وہی خیال پیش کرتا ہے جو آپ ماحول کی ترتیب سے منسلک ایونٹ کی شرائط کے طور پر استعمال کرتے ہیں۔ یہ وہ کنٹرولز ہیں، ان کے اصل فنکشن ناموں کے ساتھ isaaclab.envs.mdp میں، تاکہ آپ اندازہ لگانے کے بجائے انہیں پڑھ سکیں۔

یہ وہ حد ہے، اور یہی وہ چیز ہے جس پر لوگ ٹھوکر کھاتے ہیں۔ رینڈمائزیشن اس تقسیم کو وسیع کرتی ہے جو پالیسی نے آپ کے بنائے ہوئے ماڈل کے اندر دیکھی ہے۔ یہ ایسا کوئی طبعی اثر متعارف نہیں کر سکتا جسے سمیلیٹر ظاہر نہ کرے۔ اگر PhysX آپ کے STS3215 سرووز کے بیک لیش اور تھرمل ڈروپ کو ماڈل نہیں کر رہا ہے، تو ان کی سختی کو رینڈمائز کرنا پالیسی کو بیک لیش کے بارے میں کچھ نہیں سکھاتا۔ یہی وجہ ہے کہ ایک بازو جو جھٹکے کھاتا ہے پھر لٹک جاتا ہے ایک سم-ٹرینڈ پالیسی کے تحت رینڈمائزیشن-بجٹ کا مسئلہ نہیں ہے۔ یہ ایک ماڈلنگ کا مسئلہ ہے۔

دستی راستہ: آئزک لیب میں ڈیٹا تیار کرنا

آئزک جم ایک پرانا سافٹ ویئر ہے۔ NVIDIA کے اپنے صفحے پر عنوان ہے "Isaac Gym - Now Deprecated" اور کہا گیا ہے کہ ڈویلپرز اسے ڈاؤن لوڈ اور استعمال کرنا جاری رکھ سکتے ہیں لیکن اب یہ تعاون یافتہ نہیں ہے، اس کے بجائے آئزک لیب کی طرف اشارہ کیا گیا ہے۔ اگر آپ تاریخ جاننا چاہتے ہیں، تو ہم نے دونوں کا احاطہ کیا ہے: اور ۔ 2026 میں نئے کام کے لیے، آئزک لیب سے شروع کریں۔

1. 1
   Isaac Sim اور Isaac Lab انسٹال کریں

   پپ انسٹالیشن صفحہ بتاتا ہے کہ ہدایات Isaac Sim 5.X کے لیے ہیں، جس کے لیے Python 3.11 درکار ہے۔ سورس کلون آپ کو وہ اسکرپٹس فراہم کرتا ہے جن کی اگلے مراحل کو ضرورت ہے۔

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   تقریباً دس انسانی مظاہرے ریکارڈ کریں

   Isaac Lab کی دستاویزات مخصوص ہیں: اگلے مراحل کی کامیابی کے لیے تقریباً 10 کامیاب مظاہروں کی ضرورت ہے۔ اس کی تجاویز بھی اتنی ہی مخصوص ہیں۔ مظاہروں کو مختصر رکھیں، بے ترتیب محوروں کے ساتھ حرکت کرنے کے بجائے براہ راست راستہ اختیار کریں، اور نہ رکیں، کیونکہ کسی پالیسی کے لیے یہ واضح نہیں ہوتا کہ کب اور کیوں رکنا ہے۔

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   ذیلی کام کی حدود کی تشریح کریں

   Mimic ان پٹ مظاہروں کو ذیلی کاموں میں تقسیم کرتا ہے تاکہ یہ حصوں کو دوبارہ وقت دے سکے اور دوبارہ ہدف بنا سکے۔ --auto فلیگ یہ کام خودکار تشریح کی تعریف کرنے والے کاموں کے لیے انسانی مداخلت کے بغیر کرتا ہے؛ اس کے بغیر آپ B کے ساتھ روکتے ہیں، N کے ساتھ جاری رکھتے ہیں اور S کے ساتھ ایک حد کو نشان زد کرتے ہیں۔ نوٹ کریں کہ ٹاسک آئی ڈی کو -Mimic لاحقہ ملتا ہے۔

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   ضرب شدہ ڈیٹا سیٹ تیار کریں

   یہ وہ قدم ہے جو 10 کو 1000 میں بدل دیتا ہے۔ Mimic ہر امیدوار پر ایک بولین کامیابی کا معیار لاگو کرتا ہے اور صرف ان کو رکھتا ہے جنہوں نے کام مکمل کیا، لہذا آؤٹ پٹ کی گنتی آزمائشی گنتی سے کم ہوتی ہے۔ دستاویزات میں امیدوار کی کامیابی کی شرح سادہ صورتوں میں 70 فیصد تک اور مشکل کاموں اور پیچیدہ روبوٹس کے لیے 1 فیصد سے کم بتائی گئی ہے: فرینکا کیوب اسٹیک کے لیے تقریباً 50 فیصد، اور GR1T2 پک اینڈ پلیس کے لیے 65 سے 80 فیصد، جہاں 1000 ڈیمو 18 سے 40 منٹ لیتے ہیں (RTX ADA 6000 پر 80 فیصد پر 19 منٹ)۔

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 کو LeRobot ڈیٹا سیٹ میں تبدیل کریں

   اوپر کی ہر چیز robomimic-flavoured HDF5 تیار کرتی ہے، اور Isaac Lab کور اپنا کوئی LeRobot کنورٹر فراہم نہیں کرتا: اس کی دستاویزات صرف یہ کہتی ہیں کہ آپ تیار کردہ ڈیٹا سیٹ کو LeRobot فارمیٹ میں تبدیل کر سکتے ہیں۔ دو پروجیکٹس اصل کنورٹر فراہم کرتے ہیں۔ IsaacLab-Arena ایک GR00T-ہدف شدہ کنورٹر فراہم کرتا ہے جو مکمل طور پر YAML کنفگ سے چلتا ہے، اور LeIsaac SO-101 روٹ کے لیے اپنا جوڑا فراہم کرتا ہے (نیچے دیکھیں)۔

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

جنریشن کی کوششیں کیوں ناکام ہوتی ہیں، اور کیا تبدیل کرنا ہے

ایک امیدوار کی کامیابی کی شرح جو 70 فیصد اور 1 فیصد سے کم کے درمیان جھولتی رہتی ہے، کوئی راز نہیں ہے، اور آئزک لیب آپ کو اندازہ لگانے کے بجائے عام خامیوں کو دستاویزی شکل دیتی ہے۔ ان میں سے ہر ایک ایسی چیز ہے جسے آپ ریکارڈنگ کے وقت کنٹرول کرتے ہیں، یہی وجہ ہے کہ پہلی مایوس کن جنریشن رن کے بعد دس سیڈ مظاہرے ریکارڈ کرنے سے پہلے اس فہرست کو پڑھنا فائدہ مند ہے۔

• مظاہرے بہت لمبے ہیں۔ ایک طویل وقت کا افق پالیسی کے لیے سیکھنا مشکل بناتا ہے۔ پہلے آبجیکٹ کے قریب سے شروع کریں اور حرکت کو کم سے کم کریں۔
• مظاہرے ہموار نہیں ہیں۔ بے قاعدہ حرکت پالیسی کے لیے سمجھنا مشکل ہے، اور بہتر ٹیلی آپریشن ہارڈویئر بہتر ڈیٹا فراہم کرتا ہے: دستاویزات واضح طور پر کہتی ہیں کہ ایک SpaceMouse کی بورڈ سے بہتر ہے۔
• وقفے۔ وقفے سیکھنا مشکل ہیں، کیونکہ پالیسی کے لیے یہ واضح نہیں ہوتا کہ کب اور کیوں وقفہ کرنا ہے۔ حرکت کو سیال رکھیں۔
• بہت زیادہ ذیلی کام۔ زیادہ ذیلی کاموں کا مطلب ہے ٹریجیکٹری سیگمنٹس کے درمیان زیادہ سلائی، جس سے حرکت کم ہموار ہوتی ہے اور جنریشن کی کامیابی کی شرح کم ہوتی ہے۔ ان حدود کو نشان زد کریں جہاں بازو کا کسی چیز سے ٹکرانے کا امکان نہ ہو۔
• کوئی ایکشن شور نہیں۔ ایکشن شور نتیجے میں آنے والی پالیسیوں کو زیادہ مضبوط بناتا ہے۔
• ریکارڈنگ بہت زیادہ کٹی ہوئی ہے۔ اگر ریکارڈنگ اسی فریم پر رک جاتی ہے جب کامیابی کی شرط متحرک ہوتی ہے، تو یہ ری پلے کے دوران دوبارہ متحرک نہیں ہو سکتی۔ آخر میں ایک بفر چھوڑ دیں۔
• غیر حتمی ری پلے۔ آئزک لیب میں فزکس env.reset کے پار حتمی طور پر دوبارہ پیدا نہیں کی جا سکتی، لہذا کچھ انسانی ڈیمو ری پلے پر ناکام ہو جاتے ہیں۔ اپنی ضرورت سے زیادہ جمع کریں اور ان کو رکھیں جو تشریح کے بعد بھی باقی رہیں۔ ہر وہ چیز جو Mimic سے تیار کردہ HDF5 فائل میں آتی ہے وہ ایک کامیاب ڈیمو ہے اور اسے تربیت کے لیے استعمال کیا جا سکتا ہے چاہے ری پلے بعد میں ناکام ہو جائے۔

سلے ہوئے ذیلی کام کے حصوں کے درمیان انٹرپولیشن مرحلے کا اپنا ایک ٹیوننگ نوب ہوتا ہے، اور آپ کو درکار انٹرپولیشن مراحل کی تعداد اس بات پر منحصر ہوتی ہے کہ روبوٹ کتنی تیزی سے حرکت کرتا ہے اور آبجیکٹ ری سیٹ کی تقسیم کتنی وسیع ہے۔ ایک بڑے ری سیٹ کی تقسیم کے ساتھ ایک پیچیدہ کام حصوں کے درمیان بڑے خلا چھوڑ دیتا ہے، جس کے لیے مسلسل حرکت کے طور پر سامنے آنے کے لیے مزید انٹرپولیشن مراحل کی ضرورت ہوتی ہے۔ اگر آپ کی تیار کردہ ویڈیوز بازو کو مراحل کے درمیان جھولتے ہوئے دکھاتی ہیں، تو یہ وہ پیرامیٹر ہے جسے سیڈ ڈیموز کو مورد الزام ٹھہرانے سے پہلے دیکھنا چاہیے۔

SO-101 پر وہی پائپ لائن، حقیقی لیڈر بازو کے ساتھ

یہ اس صفحے کو پڑھنے والے ہر شخص کے لیے دلچسپ ہے، کیونکہ یہ واحد اوپن پائپ لائن ہے جو ایک SO-101 کو Isaac Lab کے اندر رکھتا ہے اور آپ کو اسے اپنے موجودہ فزیکل لیڈر آرم کے ساتھ چلانے کی اجازت دیتا ہے۔ LeIsaac، تحریر کے وقت ورژن 0.4.0، LeRobot کے EnvHub میں ضم شدہ آفیشل تقلیدی لرننگ سمولیشن پلے گراؤنڈ ہے۔ اس کی مطابقت کی جدول میں تین کام کرنے والے امتزاج درج ہیں؛ سب سے نیا Isaac Sim 5.1 کو Isaac Lab v2.3.0، CUDA 12.8، PyTorch 2.7.0 اور Python 3.11 کے ساتھ جوڑتا ہے، اور دستاویزات 50-سیریز کارڈز کے لیے Isaac Sim 5.0 یا اس سے نیا ورژن تجویز کرتی ہیں۔

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

اس کے ساتھ، /dev/ttyACM0 پر موجود لیڈر آرم سمیولیٹڈ فالوور کو چلاتا ہے اور براہ راست HDF5 میں ریکارڈ کرتا ہے۔ لیڈر-فالوور لوپ وہی ہے جو آپ حقیقی ریکارڈنگ سے پہلے ہی جانتے ہیں، صرف فالوور PhysX میں ایک سخت جسم ہے۔

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

ان میں سے زیادہ تر IDs -Direct-v0 ویرینٹ کے طور پر بھی موجود ہیں، اور python scripts/environments/list_envs.py موجودہ فہرست پرنٹ کرتا ہے۔ آپ HDF5 کے چکر کو مکمل طور پر چھوڑ کر ٹیلی آپریشن کے دوران تین فلیگ شامل کرکے LeRobot فارمیٹ میں لکھ سکتے ہیں۔ دو انتباہات خود دستاویزات سے آتے ہیں: ریکارڈر ابتدائی حالتوں سے عدم استحکام سے بچنے کے لیے ہر ایپی سوڈ کے پہلے 5 فریمز کو خود بخود چھوڑ دیتا ہے، اور یہ ٹیلی آپریشن میں معمولی تاخیر کا سبب بن سکتا ہے، جو بالکل وہی چیز ہے جو خاموشی سے آپ کے مظاہروں کی نوعیت کو بدل دیتی ہے۔ یہ صرف ان ایپی سوڈز کو فلش کرتا ہے جنہیں ٹاسک نے کامیاب قرار دیا ہو۔

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

پھر ضرب کا مرحلہ ان ریکارڈنگز پر چلتا ہے۔ LeIsaac، Isaac Lab Mimic کو چار کمانڈز میں لپیٹتا ہے، کیونکہ Mimic اینڈ-ایفیکٹر اور آبجیکٹ پوز سے ٹریجیکٹریز کو عام کرتا ہے: جوائنٹ-اسپیس ایکشنز کو IK-بیسڈ ایکشنز میں تبدیل کریں، تشریح کریں، پیدا کریں، پھر واپس جوائنٹ اسپیس میں تبدیل کریں۔

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

پھر LeRobot میں تبدیل کریں۔ یہ وہ مرحلہ ہے جہاں پلیٹ فارم کا فارمیٹ اصول لاگو ہوتا ہے، اور LeIsaac اتفاق سے بالکل وہی دو کنورٹرز فراہم کرتا ہے جن کی آپ کو ضرورت ہے: isaaclab2lerobot.py LeRobot v2 لکھتا ہے، جو کہ GR00T لوڈرز لیتے ہیں، اور isaaclab2lerobotv3.py کے لیے v3 لکھتا ہےPi0.5، SmolVLA اور ACT۔ دونوں اسکرپٹس ایک جیسے دلائل لیتے ہیں لیکن مختلف lerobot ورژنز کو پن کرتے ہیں، اور صرف کامیاب ایپی سوڈز کو تبدیل کیا جاتا ہے۔

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

تربیت یافتہ پالیسی کے دو راستے

ویڈیو ورلڈ ماڈلز: سب سے نئی تہہ، اور سب سے کم پیمائش شدہ

DreamGen کے پیچھے خیال یہ ہے کہ ایک ویڈیو جنریٹو ماڈل، جو ہدف روبوٹ کے جسمانی ڈھانچے کے مطابق ڈھالا گیا ہو، ایسے مناظر میں قابل فہم اقساط کا تصور کر سکتا ہے جہاں آپ نے کبھی وزٹ نہیں کیا۔ پائپ لائن کے چار مراحل ہیں: ویڈیو ورلڈ ماڈل کو فائن ٹیون کرنا، فوٹو ریئلسٹک مصنوعی روبوٹ ویڈیوز تیار کرنا، ایک لیٹنٹ ایکشن ماڈل یا ایک انورس ڈائنامکس ماڈل کے ساتھ سیوڈو ایکشن سیکوینسز کو بازیافت کرنا، پھر نتیجے پر روبوٹ پالیسی کو تربیت دینا۔ NVIDIA کا GR00T-dreams ریپوزٹری بالکل یہی لاگو کرتا ہے۔

سرخی کا نتیجہ حقیقی ہے اور اسے سنجیدگی سے لینے کے قابل ہے: ایک ماحول میں صرف ایک پک اینڈ پلیس ٹاسک سے ٹیلی آپریشن ڈیٹا نے ایک ہیومنائیڈ پر 22 نئے رویے پیدا کیے، دونوں دیکھے گئے اور نہ دیکھے گئے ماحول میں۔ انتباہ بھی اتنا ہی حقیقی ہے اور تیسرے مرحلے میں موجود ہے۔

کو-ٹریننگ وہ ترکیب ہے جو دراصل فوائد دکھاتی ہے۔

اگر آپ ادب سے ایک عملی سبق لیتے ہیں، تو یہ والا لیں۔ سم اور ریل کو-ٹریننگ کے مطالعے (مدوکوری اور ساتھی، 2025) کا مقصد دو ڈومینز، ایک روبوٹ بازو اور ایک ہیومنائیڈ میں، ویژن پر مبنی روبوٹک مینیپولیشن کے کاموں کو حل کرنے کے لیے سمولیشن ڈیٹا استعمال کرنے کی ایک سادہ ترکیب تلاش کرنا تھا، اور اس کا نتیجہ یہ ہے کہ آپ ایک مکسچر پر تربیت دیتے ہیں۔ سمولیشن ڈیٹا نے حقیقی دنیا کے کام کی کارکردگی کو اوسطاً 38 فیصد تک بڑھایا، اور پیپر میں واضح طور پر کہا گیا ہے کہ یہ سمولیشن اور حقیقی دنیا کے ڈیٹا کے درمیان نمایاں اختلافات کے باوجود بھی برقرار رہا۔

وہ آخری شق 38 فیصد سے زیادہ اہمیت رکھتی ہے۔ اس کا مطلب یہ ہے کہ سمولیشن کو مفید ہونے کے لیے ایک بہترین ڈیجیٹل ٹوئن ہونے کی ضرورت نہیں ہے، بشرطیکہ حقیقی ڈیٹا اسے لنگر انداز کرنے کے لیے مکسچر میں موجود ہو۔ صرف سمولیشن سے منتقلی ایک مہنگا راستہ ہے: اسی پیپر میں کہا گیا ہے کہ صرف سمولیشن میں پالیسی کی تربیت دینا اور اسے حقیقی دنیا میں منتقل کرنا اکثر حقیقت کے فرق کو پر کرنے کے لیے کافی انسانی کوشش کا مطالبہ کرتا ہے۔ کو-ٹریننگ اس کوشش کا زیادہ تر حصہ چھوڑ دیتی ہے کیونکہ وہ پالیسی سے کبھی بھی خود سے اس فرق کو پر کرنے کا مطالبہ نہیں کرتی۔

عملی طور پر، اس پلیٹ فارم پر، کو-ٹریننگ کا مطلب ایک ہی چیز ہے: دونوں سیٹ کے ایپی سوڈز کو ایک ہی LeRobot dataset مستقل کیمرہ کیز، مستقل جوائنٹ آرڈر اور مستقل یونٹس کے ساتھ رکھیں، پھر ایک عام فائن ٹیون چلائیں۔ ٹریننگ فارم میں کوئی مکسچر-ویٹ نوب نہیں ہے۔ اگر آپ 3:1 سم-ٹو-ریئل تناسب چاہتے ہیں، تو آپ اسے اس طرح ظاہر کرتے ہیں کہ آپ ہر ایک کے کتنے ایپی سوڈز ڈیٹا سیٹ میں ڈالتے ہیں۔

سمولیشن سے سب سے سستا فائدہ تربیتی ڈیٹا نہیں ہے

یہ تشخیص ہے۔ ہر کام کے لیے درجنوں حقیقی تجربات چلانا تاکہ دو کا موازنہ کرنا ایک دن کا بازو کا وقت ہے، اور بازو تجربات کے درمیان بہتا رہتا ہے۔ SIMPLER (لی اور ساتھی، 2024) نے ایسے مصنوعی ماحول بنائے جن کا مقصد حقیقی پالیسیوں کو تربیت دینے کے بجائے ان کی جانچ کرنا تھا، اور پھر یہ پیمائش کی کہ سمولیشن کی درجہ بندی حقیقی درجہ بندی کی کتنی اچھی پیش گوئی کرتی ہے۔ ایک واحد SIMPLER ماحول ایک کنزیومر RTX 4090 پر 640 بائی 512 ریزولوشن پر 3,500 سمولیشن سٹیپس فی سیکنڈ کی رفتار سے رینڈر ہوتا ہے، جو 500 ہرٹز کی سمولیشن فریکوئنسی کے تحت حقیقی تشخیص پر 7 گنا تیزی ہے۔

یہ چھ عام اوپن سورس چیک پوائنٹس کے لیے تین گوگل روبوٹ ٹاسک گروپس پر اوسط ہیں: مختلف تربیتی مراحل پر تین RT-1 چیک پوائنٹس، RT-1-X، RT-2-X اور Octo-Base۔ حقیقی جانب تجربات کی یکساں تعداد نہیں ہے، جو اسے نقل کرنے سے پہلے جاننا ضروری ہے: کوک کین اٹھانے کے لیے 75 تجربات، قریب جانے کے لیے 60، دراز کھولنے اور بند کرنے کے کاموں کے لیے 54 اور لمبی دراز اور سیب کے کام کے لیے 27۔ تصدیقی MSE کے خلاف موازنہ مفید حصہ ہے۔ تصدیقی نقصان کے ذریعے ماڈل کا انتخاب ان چیک پوائنٹس کو بری طرح درجہ دیتا ہے، اور بصری مماثلت کے تحت 0.924 کا پیئرسن r کا مطلب ہے کہ اگر کوئی چیک پوائنٹ SIMPLER میں بہتر اسکور کرتا ہے تو وہ بہت ممکنہ طور پر بینچ پر بھی بہتر اسکور کرے گا۔ یہ ایک قابل تکرار رات بھر کا اسکور بورڈ ہے، اور اس کے لیے آپ کو سم-ٹو-ریئل تربیتی منتقلی کے بارے میں کچھ بھی ماننے کی ضرورت نہیں ہے۔

اگر آپ وسیع تر سیاق و سباق جاننا چاہتے ہیں کہ یہ بینچ مارک نمبرز آپ کو کس بارے میں بتاتے ہیں اور کس بارے میں نہیں بتاتے ہیں ایک ویژن-لینگویج-ایکشن ماڈل، تو ہم نے اسے الگ سے لکھا ہے VLA کا جائزہ۔

یہ پلیٹ فارم آپ کی کہاں مدد نہیں کرتا

حدود کے بارے میں واضح ہونا سب کا وقت بچاتا ہے۔ AY-Robots ایک ریکارڈنگ، تربیت اور سرونگ پلیٹ فارم ہے۔ اس میں کوئی سمیلیٹر نہیں ہے۔

• Isaac Lab نہیں، MimicGen نہیں، ورلڈ ماڈل نہیں، سین آتھرنگ نہیں۔ اگر آپ تیار کردہ ڈیٹا چاہتے ہیں، تو آپ اسے کہیں اور تیار کرتے ہیں اور نتیجہ لاتے ہیں۔
• ٹرینرز صرف LeRobot ڈیٹا سیٹس استعمال کرتے ہیں اور کچھ نہیں۔ ایک سمیلیٹر ایکسپورٹ کو ان پٹ بننے سے پہلے تبدیل کرنا پڑتا ہے، اور اسے صحیح ورژن کا ہونا چاہیے: GR00T N1.5 اور N1.7 کے لیے v2.0 یا v2.1، Pi0.5، SmolVLA اور ACT کے لیے v3.0۔
• GR00T کا فائن ٹیوننگ انٹری پوائنٹ ایک tyro CLI ہے جو کوئی سیڈ ظاہر نہیں کرتا، لہذا GR00T رنز بٹ-فار-بٹ ری پروڈیوسیبل نہیں ہیں۔ اگر آپ ایک محتاط سم-بمقابلہ-ریل ایبلیشن چلا رہے ہیں، تو یہ ایک حقیقی حد ہے۔ lerobot کا اپنا ڈیفالٹ سیڈ 1000 ہے، اور ACT، SmolVLA اور Pi0.5 فارمز ایک سیڈ فیلڈ ظاہر کرتے ہیں۔
• گریڈینٹ ایکومولیشن صرف دو GR00T ٹرینرز کے لیے لاگو ہوتی ہے۔ Pi0.5 اور SmolVLA کے لیے فیلڈ فارم میں موجود ہے لیکن lerobot 0.5.1 میں ایسا کوئی فلیگ نہیں ہے، لہذا یہ کچھ نہیں کرتا۔
• تیز کاموں کے لیے انفرنس کو سرووز کے ساتھ ہونا چاہیے۔ کنٹرول لوپ ماڈل کے لحاظ سے فی ایکشن سٹیپ 20 سے 485 ms ہے، اور پبلک انٹرنیٹ راؤنڈ ٹرپس شامل کرنے سے ایک کام کرنے والی پالیسی ہچکچاہٹ کا شکار ہو جاتی ہے۔ ریموٹ انفرنس سست پک اینڈ پلیس کے لیے قابل عمل ہے، تیز ری ایکٹو موشن کے لیے نہیں۔

ایک بجٹ جس کا آپ دفاع کر سکیں

دونوں راستوں کو ان اعداد و شمار کے ساتھ ساتھ رکھیں جو ہر ایک دراصل شائع کرتا ہے، اور کم لاگت والے بازو پر ایک واحد ٹاسک پروجیکٹ کے لیے فیصلہ عام طور پر خود بخود ہو جاتا ہے۔

SO-100 پر پہلی پالیسی کے لیے، ریکارڈ کریں۔ ریکارڈنگ واک تھرو اور پہلی ٹریننگ رن آپ کو ایک کافی کی قیمت پر ایک سرو شدہ چیک پوائنٹ تک پہنچا دیتے ہیں، اور آپ کے پاس کسی بھی مستقبل کے کو-ٹریننگ مکسچر کا حقیقی حصہ ہوگا۔ سمیلیٹر کا استعمال تب کریں جب آپ کے پاس ایک فعال بیس لائن ہو اور ایک مخصوص عمومی ناکامی ہو جس کا آپ نام لے سکیں، جیسے کہ ایک پالیسی جو صرف ایک سیٹ اپ میں کام کرتی ہے.

ایک ترکیب جو شواہد کا احترام کرتی ہے

1. 1
   پہلے حقیقی بیس لائن ریکارڈ کریں

   SmolVLA کے لیے 30 ایپی سوڈز، ACT کے لیے 50، GR00T N1.7 اور Pi0.5 کے لیے۔ ایک بار تربیت دیں۔ جس چیز میں وہ پالیسی ناکام ہوتی ہے، وہی مصنوعی ڈیٹا کے لیے آپ کی تفصیل ہے۔

2. 2
   عمومی ناکامی کا نام دیں

   آبجیکٹ کی پوز؟ روشنی؟ میز کی اونچائی؟ توجہ ہٹانے والے عوامل؟ ہدایات کا مختلف انداز؟ مصنوعی ڈیٹا ایک وقت میں ان میں سے صرف ایک میں اچھا ہوتا ہے، اور اگر آپ یہ نہیں بتا سکتے کہ کون سا، تو بیکار ہے۔

3. 3
   سب سے سستا خاندان منتخب کریں جو اسے پورا کرتا ہو

   پوز اور لے آؤٹ میں تغیر: ٹریجیکٹری ضرب۔ روشنی اور بناوٹ: پہلے امیج آگمنٹیشن، پھر ورلڈ ماڈل۔ بالکل نئے مناظر: فزکس رول آؤٹس، اور ماڈلنگ کی لاگت قبول کریں۔

4. 4
   تیزی سے بنائیں، پھر پھینک دیں

   جنریشن کی کوششیں ناکام ہوتی ہیں، اور Isaac Lab کی اپنی امیدوار کامیابی کی شرح کام کے لحاظ سے 70 فیصد سے کم ہو کر 1 فیصد سے بھی نیچے آ جاتی ہے۔ صرف کامیاب، کام مکمل کرنے والی ٹریجیکٹریز کو رکھیں، اور بیچ پر بھروسہ کرنے سے پہلے ایک نمونے کو ویڈیو کے طور پر دیکھیں۔

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   شریک تربیت دیں، تبدیل نہ کریں

   تیار کردہ ایپی سوڈز کو حقیقی ایپی سوڈز کے ساتھ ایک ہی LeRobot ڈیٹا سیٹ میں ضم کریں جس میں کیمرہ کیز اور جوائنٹ آرڈرنگ یکساں ہوں۔ 38 فیصد کا ہندسہ شریک تربیت کا ہندسہ ہے۔

6. 6
   حقیقی بازو پر جانچ کریں، اور صرف وہیں

   نقلی جانچ ایک اچھا درجہ بندی کا اشارہ ہے (SIMPLER کے بصری مماثلت کے سیٹ اپ میں Pearson r 0.924) لیکن یہ قبولیت کا ٹیسٹ نہیں ہے۔ اس پر یقین کرنے سے پہلے چیک پوائنٹ کو بینچ پر چلائیں۔

اگر آپ حقیقی ریکارڈنگ کے لیے ایک چیک لسٹ سے شروع کرنا چاہتے ہیں، کیمرہ کی پوزیشننگ، کے مضمرات اور ناکامی کے طریقے جو ایک ڈیٹا سیٹ کو ناقابل استعمال بنا دیتے ہیں۔ فارمیٹ کی تفصیلات ، اور ہائپر پیرامیٹر کی تفصیلات میں موجود ہیں۔