داده‌های مصنوعی برای سیاست‌های ربات: جایی که شبیه‌سازی کمک می‌کند

هر چند ماه یک بار کسی متوجه می‌شود که ضبط پنجاه اپیزود به صورت دستی کند است و می‌پرسد که آیا یک شبیه‌ساز می‌تواند به جای آن، آن‌ها را تولید کند. این یک سوال منصفانه است. پاسخ صادقانه سه بخش دارد: داده‌های تولید شده کمک می‌کنند، جایگزین ضبط‌های واقعی نمی‌شوند، و نسبت بین این دو واقعیت کاملاً به نوع داده‌های مصنوعی که منظور شماست بستگی دارد.

این صفحه به بررسی آنچه که کارهای منتشر شده واقعاً اندازه‌گیری کرده‌اند، آنچه که امروز می‌توانید روی یک بازوی کم‌هزینه مانند SO-100، اجرا کنید، و جایی که شکاف شبیه‌سازی به واقعیت (sim-to-real gap) دستاوردها را از بین می‌برد، می‌پردازد. نسخه کوتاه، قبل از جزئیات: سیستم‌هایی که بزرگترین ضرایب را گزارش می‌کنند، مجموعه کوچکی از نمایش‌های واقعی انسانی را تکثیر می‌کنند. آن‌ها نیاز به این نمایش‌ها را از بین نمی‌برند.

چهار چیز متفاوت که داده‌های مصنوعی نامیده می‌شوند

قبل از مقایسه اعداد، ارزش آن را دارد که خانواده‌ها را از هم جدا کنیم، زیرا مقاله‌ای که ضریب 100x را گزارش می‌کند و مقاله‌ای که 5 امتیاز افزایش موفقیت را گزارش می‌کند، اغلب یک خط لوله را از زوایای مختلف توصیف می‌کنند. وجه مشترک این است که چیزی در LeRobot dataset، توسط یک ماشین تولید شده است تا اینکه از یک بازوی فیزیکی ضبط شده باشد. آنچه متفاوت است، کدام بخش است.

فقط سه مورد اول داده‌های مصنوعی به معنایی هستند که این مقاله در نظر دارد. مورد چهارم ارزش ذکر کردن را دارد زیرا در همان گفتگو گنجانده می‌شود و تا حد زیادی ارزان‌ترین مورد در لیست است. اگر هنوز افزونه‌هایی را که مربی شما با آن عرضه می‌شود، فعال نکرده‌اید، قبل از نصب شبیه‌ساز این کار را انجام دهید.

آنچه اعداد منتشر شده واقعاً می‌گویند

اینجا پایگاه شواهد است، با اعدادی که منابع بیان کرده‌اند، نه آنطور که بیانیه‌های مطبوعاتی خلاصه کرده‌اند. هر ردیف زیر از یک مقاله یا صفحه پروژه که در 23 آگوست 2026 خوانده شده، آمده است.

الگوی هر حذف صادقانه یکسان است. داده‌های مصنوعی پوشش را با هزینه کم گسترش می‌دهند. این اطلاعاتی در مورد گریپر، افت سروو، نورپردازی یا ارتفاع میز شما که قبلاً در جایی در نمایش‌های واقعی وجود نداشته، ایجاد نمی‌کند. اگر سیاست شما شکست می‌خورد زیرا اند افکتور نیم ثانیه دیرتر بسته می‌شود، هیچ مقدار از تغییرات شبیه‌سازی شده آن را رفع نمی‌کند. این یک مشکل زمان‌بندی گریپر در ضبط‌های واقعی است.

یک یافته MimicGen ارزش دارد که در جلسات ضبط خود به کار ببرید، زیرا برخلاف توصیه‌های معمول است. این پروژه دو مجموعه داده را روی Square D2 تولید کرد، یکی با 10 دمو از یک اپراتور انسانی با کیفیت بهتر و دیگری با 10 دمو از یک اپراتور با کیفیت بدتر، که هر دو از مجموعه داده robomimic multi-human Square گرفته شده بودند. سیاست‌های آموزش‌دیده بر روی هر یک نتایج قابل مقایسه‌ای به دست آوردند، که نویسندگان آن را نشانه‌ای از این می‌دانند که در رژیم داده‌های در مقیاس بزرگ، کیفیت داده ممکن است چندان اهمیت نداشته باشد. با دقت بخوانید، این یک بیانیه در مورد ده دمو اولیه است، نه در مورد پنجاه اپیزود واقعی شما. این بدان معناست که یک مجموعه اولیه کمی نامرتب، چیزی نیست که بین شما و یک مجموعه داده تولید شده قابل استفاده قرار گیرد. این بدان معنا نیست که اپیزودهای واقعی که با آنها هم‌آموزش می‌دهید می‌توانند نامرتب باشند، زیرا آنها حامل اطلاعاتی هستند که شبیه‌ساز ندارد.

شکاف شبیه‌سازی به واقعیت، به طور مشخص

شکاف معمولاً به عنوان یک کمیت واحد مورد بحث قرار می‌گیرد که مفید نیست. این شکاف حداقل شامل پنج عدم تطابق جداگانه است و اندازه آنها در یک بازوی سرگرمی 110 تا 150 EUR با آنچه در یک فرانکای صنعتی وجود دارد، متفاوت است.

• تماس و اصطکاک. Isaac Lab به صراحت بیان می‌کند که با داشتن سخت‌افزار یکسان و نسخه یکسان Isaac Sim و PhysX، شبیه‌سازی قابل تکرار است، اما نتایج به دلیل دقت ممیز شناور و خطاهای گرد کردن در پیکربندی‌های سخت‌افزاری مختلف متفاوت است و PhysX برای هیچ صحنه‌ای با اجسام غیرصلب مانند پارچه یا اجسام نرم، قطعیت را تضمین نمی‌کند.
• عملگر. یک سروو باس Feetech STS3215 که با ولتاژ 7.4 V کار می‌کند، تحت بار افت می‌کند، دارای لقی است و با گرم شدن تغییر رفتار می‌دهد. مدل MJCF برای SO-101 پارامترهای موتور خود را از یک پروژه نامرتبط قرض می‌گیرد به جای اینکه آنها را روی بازوی شما شناسایی کند.
• رندرینگ. نویز دوربین، شاتر غلتان، نوردهی خودکار و رنگ دقیق میز شما در رندر وجود ندارد. این نیمی از شکافی است که Cosmos-Transfer1 برای بستن آن ساخته شده است: گردش کار تقویت رباتیک آن، یک مثال مصنوعی رباتیک را به چندین مثال واقعی از طریق شرطی‌سازی بخش‌بندی، عمق یا لبه نگاشت می‌کند.
• زمان‌بندی. یک شبیه‌ساز با نرخ ثابت گام برمی‌دارد. یک حلقه کنترل واقعی این کار را نمی‌کند و خود مدل بسته به اینکه کدام را انتخاب کرده‌اید، 20 تا 485 ms در هر گام عملیاتی هزینه دارد. به تأخیر استنتاج مراجعه کنید.
• آمار اشیاء. صحنه‌های شبیه‌سازی شده از توزیعی نمونه‌برداری می‌شوند که کسی آن را نوشته است. میز آشپزخانه شما اینگونه نیست.

آنچه یک SO-100 شبیه‌سازی شده واقعاً درباره بازوی شما می‌داند

این بخشی است که تعیین می‌کند آیا هیچ یک از موارد فوق ارزش آخر هفته شما را دارد یا خیر، و اولین شگفتی این است که SO-100 و SO-101 به طور یکسان پشتیبانی نمی‌شوند. مخزن SO-ARM100 از TheRobotStudio دارایی‌های شبیه‌سازی خود را تحت Simulation/. پوشه SO100 حاوی یک فایل URDF و هیچ چیز دیگری نیست. پوشه SO101 حاوی هر دو فایل URDF و MuJoCo است: scene.xml, so101_new_calib.xml, so101_old_calib.xml, URDFهای منطبق و یک joints_properties.xml. اگر به جای یک زنجیره کینماتیک، یک مدل فیزیکی می‌خواهید، فایل‌های SO-101 را می‌خواهید.

آنها با استفاده از پلاگین onshape-to-robot از یک مدل CAD طراحی شده در Onshape تولید شده‌اند، به این معنی که کینماتیک و مش‌های بصری به خوبی CAD هستند. دینامیک داستان متفاوتی است، و فایل README خود مخزن در مورد سه چیز صریح است. مش‌های برخورد پایه به دلیل رفتار برخورد مشکل‌ساز در طول شبیه‌سازی و برنامه‌ریزی حذف شدند. ویژگی‌های موتور STS3215 از پروژه Open Duck Mini اقتباس شده‌اند تا اینکه روی یک SO-101 اندازه‌گیری شده باشند. و قرارداد گریپر LeRobot، که در آن 0 کاملاً بسته و 100 کاملاً باز است، هنوز به صراحت در فایل‌های URDF و MuJoCo منعکس نشده است. هر یک از این موارد جایی است که یک سیاست که صرفاً در آن مدل آموزش دیده است، روی میز شما متفاوت عمل خواهد کرد.

تصادفی‌سازی دامنه، و آنچه که آن را برطرف نمی‌کند

پاسخ استاندارد به این شکاف این است که از تلاش برای تطبیق با واقعیت دست برداریم و در عوض روی توزیعی به اندازه کافی گسترده آموزش دهیم که واقعیت در آن قرار گیرد. توبین و همکارانش نسخه قوی این را در 2017 نشان دادند: یک آشکارساز شیء که فقط روی تصاویر شبیه‌سازی شده با بافت‌های تصادفی غیرواقعی آموزش دیده بود، بدون هیچ پیش‌آموزشی روی تصاویر واقعی، اشیاء واقعی را با دقت 1.5 سانتی‌متر محلی‌سازی کرد و در برابر عوامل حواس‌پرتی و انسدادهای جزئی مقاوم ماند.

آیزاک لب همان ایده‌ای را ارائه می‌دهد که شما به عنوان اصطلاحات رویداد به پیکربندی محیط متصل می‌کنید. این‌ها همان اهرم‌ها هستند، با نام‌های واقعی توابعشان در isaaclab.envs.mdp، تا بتوانید آن‌ها را بخوانید به جای اینکه حدس بزنید.

اینجا محدودیت است، و این همان چیزی است که مردم در آن دچار مشکل می‌شوند. تصادفی‌سازی توزیعی را که سیاست در مدل ساخته شده توسط شما دیده است، گسترش می‌دهد. این نمی‌تواند یک اثر فیزیکی را معرفی کند که شبیه‌ساز آن را نمایش نمی‌دهد. اگر PhysX پس‌زدگی و افت حرارتی سرووهای STS3215 شما را مدل‌سازی نمی‌کند، تصادفی‌سازی سفتی آن‌ها هیچ چیز در مورد پس‌زدگی به سیاست نمی‌آموزد. به همین دلیل است که بازویی که لرزش دارد و سپس افت می‌کند تحت یک سیاست آموزش‌دیده در شبیه‌ساز، مشکل بودجه تصادفی‌سازی نیست. این یک مشکل مدل‌سازی است.

مسیر دستی: تولید داده در آیزاک لب

Isaac Gym یک نرم‌افزار قدیمی است. صفحه خود NVIDIA با عنوان "Isaac Gym - اکنون منسوخ شده است" اعلام می‌کند که توسعه‌دهندگان می‌توانند آن را دانلود کرده و به استفاده از آن ادامه دهند، اما دیگر پشتیبانی نمی‌شود و به جای آن به Isaac Lab اشاره می‌کند. اگر به تاریخچه آن علاقه دارید، ما هر دو را پوشش داده‌ایم: و . برای کارهای جدید در سال 2026، از Isaac Lab شروع کنید.

1. 1
   نصب Isaac Sim و Isaac Lab

   صفحه نصب pip بیان می‌کند که دستورالعمل‌ها برای Isaac Sim 5.X هستند که به Python 3.11 نیاز دارد. کلون کردن سورس، اسکریپت‌های مورد نیاز برای مراحل بعدی را در اختیار شما قرار می‌دهد.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   ضبط حدود ده نمایش انسانی

   مستندات Isaac Lab دقیق است: حدود 10 نمایش موفق برای موفقیت مراحل بعدی لازم است. نکات آن نیز به همان اندازه دقیق هستند. نمایش‌ها را کوتاه نگه دارید، مسیری مستقیم را طی کنید به جای حرکت در امتداد محورهای دلخواه، و مکث نکنید، زیرا برای یک سیاست مشخص نیست که چرا و چه زمانی باید مکث کند.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   حاشیه‌نویسی مرزهای زیروظایف

   Mimic نمایش‌های ورودی را به زیروظایف تقسیم می‌کند تا بتواند زمان‌بندی و هدف‌گذاری مجدد بخش‌ها را انجام دهد. پرچم --auto این کار را بدون دخالت انسان برای وظایفی که حاشیه‌نویسی خودکار را تعریف می‌کنند، انجام می‌دهد؛ بدون آن، با B مکث می‌کنید، با N ادامه می‌دهید و با S یک مرز را علامت‌گذاری می‌کنید. توجه داشته باشید که شناسه وظیفه یک پسوند -Mimic می‌گیرد.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   تولید مجموعه داده ضرب شده

   این مرحله‌ای است که 10 را به 1000 تبدیل می‌کند. Mimic یک معیار موفقیت بولی را برای هر کاندید اعمال می‌کند و فقط آنهایی را نگه می‌دارد که وظیفه را تکمیل کرده‌اند، بنابراین تعداد خروجی کمتر از تعداد تلاش‌ها است. مستندات نرخ موفقیت کاندید را در موارد ساده تا 70 درصد و برای وظایف دشوار و ربات‌های پیچیده کمتر از 1 درصد ذکر می‌کند: حدود 50 درصد برای چیدن مکعب Franka، و 65 تا 80 درصد برای GR1T2 pick and place، جایی که 1000 دمو 18 تا 40 دقیقه طول می‌کشد (19 دقیقه روی یک RTX ADA 6000 با 80 درصد).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   تبدیل HDF5 به مجموعه داده LeRobot

   تمام موارد بالا HDF5 با طعم robomimic تولید می‌کنند، و هسته Isaac Lab هیچ مبدل LeRobot خاص خود را ارائه نمی‌دهد: مستندات آن فقط می‌گوید که می‌توانید مجموعه داده تولید شده را به فرمت LeRobot تبدیل کنید. دو پروژه مبدل واقعی را ارائه می‌دهند. IsaacLab-Arena یک مبدل هدفمند GR00T را ارائه می‌دهد که کاملاً توسط یک پیکربندی YAML هدایت می‌شود، و LeIsaac جفت خود را برای مسیر SO-101 (به پایین مراجعه کنید) ارائه می‌دهد.

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

چرا تلاش‌های تولید شکست می‌خورند و چه چیزی را باید تغییر داد

نرخ موفقیت کاندیدا که بین ۷۰ درصد و کمتر از ۱ درصد در نوسان است، یک راز نیست، و Isaac Lab به جای اینکه شما را به حدس زدن وا دارد، مشکلات رایج را مستند می‌کند. هر یک از این موارد چیزی است که شما در زمان ضبط کنترل می‌کنید، به همین دلیل ارزش دارد که این لیست را قبل از ضبط ده نمایش اولیه (seed demonstrations) بخوانید، نه پس از اولین اجرای تولید ناامیدکننده.

• نمایش‌ها بیش از حد طولانی هستند. افق زمانی طولانی‌تر برای یک سیاست (policy) دشوارتر است تا یاد بگیرد. نزدیک به اولین شیء شروع کنید و حرکت را به حداقل برسانید.
• نمایش‌ها روان نیستند. حرکت نامنظم برای یک سیاست دشوار است تا رمزگشایی کند، و سخت‌افزار تله‌اپریشن بهتر، داده‌های بهتری ارائه می‌دهد: مستندات به صراحت می‌گویند که یک SpaceMouse از یک صفحه‌کلید بهتر است.
• مکث‌ها. مکث‌ها برای یادگیری دشوار هستند، زیرا برای یک سیاست مشخص نیست که چرا و چه زمانی باید مکث کند. حرکت را روان نگه دارید.
• زیروظایف بیش از حد. زیروظایف بیشتر به معنای اتصال بیشتر بین بخش‌های مسیر است که منجر به حرکت کمتر روان و نرخ موفقیت تولید پایین‌تر می‌شود. مرزهایی را که بازو بعید است با چیزی برخورد کند، حاشیه‌نویسی کنید.
• عدم وجود نویز عمل. نویز عمل، سیاست‌های حاصل را مقاوم‌تر می‌کند.
• ضبط بیش از حد فشرده. اگر ضبط دقیقاً در فریمی که شرط موفقیت فعال می‌شود متوقف شود، ممکن است در طول بازپخش دوباره فعال نشود. یک بافر در انتها بگذارید.
• بازپخش غیرقطعی. فیزیک در Isaac Lab در طول env.reset به طور قطعی قابل بازتولید نیست، بنابراین برخی از دموهای انسانی در بازپخش شکست می‌خورند. بیش از آنچه نیاز دارید جمع‌آوری کنید و آنهایی را که از حاشیه‌نویسی جان سالم به در می‌برند، نگه دارید. هر چیزی که در یک فایل HDF5 تولید شده توسط Mimic قرار می‌گیرد، یک دموی موفق است و می‌تواند برای آموزش استفاده شود، حتی اگر بازپخش بعداً شکست بخورد.

گام درون‌یابی بین بخش‌های زیروظیفه متصل شده، اهرم تنظیم خاص خود را دارد، و تعداد گام‌های درون‌یابی که نیاز دارید با سرعت حرکت ربات و وسعت توزیع بازنشانی شیء متناسب است. یک وظیفه پیچیده با توزیع بازنشانی بزرگ، شکاف‌های بزرگ‌تری بین بخش‌ها ایجاد می‌کند که برای تبدیل شدن به حرکت پیوسته، به گام‌های درون‌یابی بیشتری نیاز دارد. اگر ویدئوهای تولید شده شما بازو را در حال حرکت ناگهانی بین فازها نشان می‌دهند، این پارامتری است که باید قبل از سرزنش دموهای اولیه به آن نگاه کنید.

همان پایپ‌لاین روی یک SO-101، با بازوی رهبر واقعی

این مورد برای هر کسی که این صفحه را می‌خواند جالب است، زیرا تنها پایپ‌لاین باز است که یک را در داخل Isaac Lab قرار می‌دهد و به شما امکان می‌دهد آن را با بازوی فیزیکی رهبر که از قبل دارید، کنترل کنید. LeIsaac، نسخه 0.4.0 در زمان نگارش این مطلب، زمین بازی رسمی شبیه‌سازی یادگیری تقلیدی است که در EnvHub شرکت LeRobot ادغام شده است. جدول سازگاری آن سه ترکیب کاری را فهرست می‌کند؛ جدیدترین ترکیب، Isaac Sim 5.1 را با Isaac Lab v2.3.0، CUDA 12.8، PyTorch 2.7.0 و Python 3.11 جفت می‌کند، و مستندات Isaac Sim 5.0 یا جدیدتر را برای کارت‌های سری 50 توصیه می‌کنند.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

با این تنظیمات، بازوی رهبر روی /dev/ttyACM0، دنبال‌کننده شبیه‌سازی شده را هدایت می‌کند و مستقیماً در HDF5 ضبط می‌کند. حلقه همان چیزی است که از ضبط واقعی می‌شناسید، با این تفاوت که دنبال‌کننده یک جسم صلب در PhysX است.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

اکثر این شناسه‌ها به صورت -Direct-v0 نیز وجود دارند، و python scripts/environments/list_envs.py لیست فعلی را چاپ می‌کند. همچنین می‌توانید به طور کامل از مسیر HDF5 صرف نظر کرده و فرمت LeRobot را در طول تله‌اپریشن با افزودن سه پرچم بنویسید. دو نکته از خود مستندات ناشی می‌شود: ضبط‌کننده به طور خودکار ۵ فریم اول هر اپیزود را برای جلوگیری از بی‌ثباتی ناشی از حالت‌های اولیه رد می‌کند، و ممکن است باعث تأخیرهای جزئی در تله‌اپریشن شود، که دقیقاً از آن دسته مواردی است که به آرامی ماهیت نمایش‌های شما را تغییر می‌دهد. همچنین فقط اپیزودهایی را که وظیفه موفقیت‌آمیز علامت‌گذاری کرده است، ذخیره می‌کند.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

مرحله ضرب سپس بر روی آن ضبط‌ها اجرا می‌شود. LeIsaac، Isaac Lab Mimic را در چهار دستور می‌پیچد، زیرا Mimic مسیرها را از وضعیت‌های اثرگذار نهایی و اشیاء تعمیم می‌دهد: تبدیل اقدامات فضای مفصلی به اقدامات مبتنی بر IK، حاشیه‌نویسی، تولید، سپس تبدیل مجدد به فضای مفصلی.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

سپس به LeRobot تبدیل کنید. این مرحله‌ای است که قانون فرمت پلتفرم مشکل‌ساز می‌شود، و LeIsaac دقیقاً دو مبدل مورد نیاز شما را ارائه می‌دهد: isaaclab2lerobot.py LeRobot v2 را می‌نویسد، که همان چیزی است که لودرهای GR00T استفاده می‌کنند، و isaaclab2lerobotv3.py v3 را برای Pi0.5، SmolVLA و ACT. این دو اسکریپت آرگومان‌های یکسانی می‌گیرند اما نسخه‌های مختلفی از lerobot را مشخص می‌کنند، و فقط اپیزودهای موفق تبدیل می‌شوند.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

دو مسیر برای یک سیاست آموزش‌دیده

مدل‌های جهانی ویدیویی: جدیدترین لایه، و کمترین اندازه‌گیری‌شده

ایده پشت DreamGen این است که یک مدل مولد ویدیویی، که با تجسم ربات هدف سازگار شده است، می‌تواند اپیزودهای قابل قبولی را در صحنه‌هایی که هرگز بازدید نکرده‌اید، تصور کند. این پایپ‌لاین چهار مرحله دارد: تنظیم دقیق مدل جهانی ویدیویی، تولید ویدیوهای ربات مصنوعی فوتورئالیستیک، بازیابی توالی‌های شبه‌اکشن با یک مدل اکشن پنهان یا یک مدل دینامیک معکوس، و سپس آموزش سیاست ربات بر اساس نتیجه. مخزن GR00T-dreams انویدیا دقیقاً همین را پیاده‌سازی می‌کند.

نتیجه اصلی واقعی و قابل توجه است: داده‌های تله‌اپریشن تنها از یک وظیفه برداشت و قرار دادن در یک محیط، ۲۲ رفتار جدید را در یک ربات انسان‌نما، هم در محیط‌های دیده شده و هم در محیط‌های دیده نشده، تولید کرد. هشدار نیز به همان اندازه واقعی است و در مرحله سوم قرار دارد.

آموزش مشترک دستورالعملی است که واقعاً افزایش را نشان می‌دهد

اگر یک درس عملی از ادبیات می‌گیرید، این یکی را بگیرید. مطالعه هم‌آموزی شبیه‌سازی و واقعی (Maddukuri و همکاران، 2025) به دنبال یافتن یک دستورالعمل ساده برای استفاده از داده‌های شبیه‌سازی برای حل وظایف دستکاری رباتیک مبتنی بر بینایی، در دو حوزه، یک بازوی رباتیک و یک انسان‌نما، بود و نتیجه‌گیری آن این است که شما باید روی یک ترکیب آموزش دهید. داده‌های شبیه‌سازی عملکرد وظایف دنیای واقعی را به طور متوسط 38 درصد افزایش داد و مقاله به صراحت بیان می‌کند که این امر حتی با تفاوت‌های قابل توجه بین داده‌های شبیه‌سازی و دنیای واقعی نیز صادق بود.

آن بند آخر بیش از 38 درصد اهمیت دارد. این بدان معناست که شبیه‌سازی برای مفید بودن نیازی به یک دوقلوی دیجیتال کامل ندارد، مشروط بر اینکه داده‌های واقعی در ترکیب برای تثبیت آن وجود داشته باشند. انتقال فقط با شبیه‌سازی یک مسیر پرهزینه است: همان مقاله بیان می‌کند که آموزش یک سیاست صرفاً در شبیه‌سازی و انتقال آن به دنیای واقعی اغلب نیازمند تلاش انسانی قابل توجهی برای پر کردن شکاف واقعیت است. هم‌آموزی با هرگز نخواستن از سیاست برای پر کردن شکاف به تنهایی، بیشتر آن تلاش را نادیده می‌گیرد.

عملاً، در این پلتفرم، هم‌آموزی یک معنی دارد: هر دو مجموعه اپیزود را در همان مجموعه داده LeRobot با کلیدهای دوربین یکسان، ترتیب مفصل یکسان و واحدهای یکسان قرار دهید، سپس یک تنظیم دقیق عادی را اجرا کنید. هیچ دکمه تنظیم وزن ترکیب در فرم آموزش وجود ندارد. اگر نسبت شبیه‌سازی به واقعیت 3:1 می‌خواهید، آن را با تعداد اپیزودهایی که از هر کدام در مجموعه داده قرار می‌دهید، بیان می‌کنید.

ارزان‌ترین دستاورد از شبیه‌سازی، داده‌های آموزشی نیست

این ارزیابی است. اجرای ده‌ها آزمایش واقعی برای هر وظیفه به منظور مقایسه دو یک روز زمان بازو است و بازو بین آزمایش‌ها دچار انحراف می‌شود. SIMPLER (لی و همکاران، 2024) محیط‌های شبیه‌سازی‌شده‌ای را ساخت که هدفشان امتیازدهی به سیاست‌های واقعی به جای آموزش آن‌ها بود و سپس اندازه‌گیری کرد که رتبه‌بندی شبیه‌سازی چقدر خوب رتبه‌بندی واقعی را پیش‌بینی می‌کند. یک محیط SIMPLER واحد با سرعت 3,500 گام شبیه‌سازی در ثانیه بر روی یک RTX 4090 مصرف‌کننده با وضوح 640 در 512 رندر می‌شود که تحت فرکانس شبیه‌سازی 500 هرتز، 7 برابر سرعت بیشتر نسبت به ارزیابی واقعی است.

این‌ها میانگین‌هایی بر روی سه گروه وظیفه ربات گوگل برای شش نقطه بازرسی متن‌باز رایج هستند: سه نقطه بازرسی RT-1 در مراحل مختلف آموزش، RT-1-X، RT-2-X و Octo-Base. سمت واقعی دارای تعداد آزمایش یکنواخت نیست، که قبل از استناد به آن ارزش دانستن دارد: 75 آزمایش برای برداشتن قوطی کوکا، 60 آزمایش برای حرکت نزدیک، 54 آزمایش برای وظایف باز و بسته کردن کشو و 27 آزمایش برای وظیفه طولانی‌تر کشو و سیب. مقایسه با MSE اعتبارسنجی بخش مفید است. انتخاب مدل بر اساس افت اعتبارسنجی این نقاط بازرسی را به شدت بد رتبه‌بندی می‌کند، و ضریب همبستگی پیرسون r 0.924 تحت تطابق بصری به این معنی است که اگر یک نقطه بازرسی امتیاز بهتری کسب کند، به احتمال زیاد در آزمایش واقعی نیز امتیاز بهتری کسب خواهد کرد. این یک تابلوی امتیازات قابل تکرار در طول شب است و نیازی نیست که شما به چیزی در مورد انتقال آموزش از شبیه‌سازی به واقعیت اعتقاد داشته باشید.

اگر می‌خواهید زمینه گسترده‌تری در مورد اینکه این اعداد بنچمارک چه چیزی را به شما می‌گویند و چه چیزی را نمی‌گویند، درباره یک مدل بینایی-زبان-عمل، ما آن را به طور جداگانه در مرور کلی VLA.

جایی که این پلتفرم به شما کمک نمی‌کند

شفاف بودن در مورد مرزها، در وقت همه صرفه‌جویی می‌کند. AY-Robots یک پلتفرم ضبط، آموزش و ارائه خدمات است. هیچ شبیه‌ساز در آن وجود ندارد.

• بدون Isaac Lab، بدون MimicGen، بدون مدل جهانی، بدون طراحی صحنه. اگر داده تولید شده می‌خواهید، آن را در جای دیگری تولید کرده و نتیجه را بیاورید.
• آموزش‌دهنده‌ها مجموعه داده‌های LeRobot را مصرف می‌کنند و نه چیز دیگری. یک خروجی شبیه‌ساز باید قبل از اینکه ورودی باشد، تبدیل شود و باید نسخه صحیح باشد: v2.0 یا v2.1 برای GR00T N1.5 و N1.7، v3.0 برای Pi0.5، SmolVLA و ACT.
• نقطه ورودی تنظیم دقیق GR00T یک CLI tyro است که هیچ seedی را نمایش نمی‌دهد، بنابراین اجراهای GR00T به صورت بیت به بیت قابل بازتولید نیستند. اگر در حال اجرای یک آزمایش حذف دقیق شبیه‌سازی در برابر واقعیت هستید، این یک محدودیت واقعی است. seed پیش‌فرض lerobot 1000 است و فرم‌های ACT، SmolVLA و Pi0.5 یک فیلد seed را نمایش می‌دهند.
• تجمع گرادیان فقط برای دو آموزش‌دهنده GR00T اعمال می‌شود. برای Pi0.5 و SmolVLA فیلد در فرم وجود دارد اما lerobot 0.5.1 چنین پرچمی ندارد، بنابراین کاری انجام نمی‌دهد.
• استنتاج برای کارهای سریع باید در کنار سرووها قرار گیرد. حلقه کنترل بسته به مدل، 20 تا 485 میلی‌ثانیه در هر گام عملیاتی است و اضافه کردن رفت و برگشت‌های اینترنت عمومی، یک سیاست کاری را به یک سیاست مردد تبدیل می‌کند. استنتاج از راه دور برای کارهای کند انتخاب و جابجایی (pick-and-place) قابل اجرا است، نه برای حرکت واکنشی سریع.

بودجه‌ای که می‌توانید از آن دفاع کنید

دو مسیر را در کنار هم با اعدادی که هر یک واقعاً منتشر می‌کنند، قرار دهید و تصمیم معمولاً برای یک پروژه تک‌وظیفه‌ای روی یک بازوی کم‌هزینه خود به خود گرفته می‌شود.

برای اولین سیاست‌گذاری روی یک SO-100، ضبط کنید. و شما را با هزینه یک قهوه به یک نقطه بازرسی (checkpoint) آماده می‌رساند و شما نیمی از هر ترکیب هم‌آموزشی آینده را در اختیار خواهید داشت. زمانی به شبیه‌ساز روی بیاورید که یک خط مبنای عملیاتی و یک شکست تعمیم‌پذیری خاص و قابل شناسایی دارید، مانند سیاستی که .

دستورالعملی که به شواهد احترام می‌گذارد

1. 1
   ابتدا خط مبنای واقعی را ثبت کنید

   30 اپیزود برای SmolVLA، 50 اپیزود برای ACT، GR00T N1.7 و Pi0.5. یک بار آموزش دهید. هر آنچه که آن سیاست در آن شکست می‌خورد، مشخصات شما برای داده‌های مصنوعی است.

2. 2
   شکست تعمیم را نام ببرید

   حالت شیء؟ نورپردازی؟ ارتفاع میز؟ عوامل حواس‌پرتی؟ عبارت‌بندی متفاوتی از دستورالعمل؟ داده‌های مصنوعی در هر بار دقیقاً در یکی از این موارد خوب عمل می‌کنند و اگر نتوانید بگویید کدام یک، بی‌فایده هستند.

3. 3
   ارزان‌ترین خانواده‌ای که آن را پوشش می‌دهد انتخاب کنید

   تغییرات حالت و چیدمان: تکثیر مسیر. نورپردازی و بافت: ابتدا افزایش تصویر، سپس مدل جهان. صحنه‌های کاملاً جدید: شبیه‌سازی‌های فیزیکی، و پذیرش هزینه مدل‌سازی.

4. 4
   تولید کنید، سپس به شدت دور بریزید

   تلاش‌های تولید شکست می‌خورند، و نرخ موفقیت کاندیدای خود Isaac Lab بسته به وظیفه از 70 درصد تا کمتر از 1 درصد متغیر است. فقط مسیرهای موفق و کامل‌کننده وظیفه را نگه دارید، و قبل از اعتماد به دسته، یک نمونه را به صورت ویدئو بررسی کنید.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   هم‌آموزش دهید، جایگزین نکنید

   اپیزودهای تولید شده را با اپیزودهای واقعی در یک مجموعه داده LeRobot واحد با کلیدهای دوربین و ترتیب مفصل یکسان ادغام کنید. عدد 38 درصد یک رقم هم‌آموزشی است.

6. 6
   روی بازوی واقعی ارزیابی کنید، و فقط آنجا

   ارزیابی شبیه‌سازی شده یک سیگنال رتبه‌بندی خوب است (ضریب همبستگی پیرسون r 0.924 در تنظیمات تطبیق بصری SIMPLER) اما آزمون پذیرش نیست. قبل از اینکه به آن اعتماد کنید، نقطه بازرسی را روی میز کار اجرا کنید.

اگر ترجیح می‌دهید از یک چک‌لیست برای خود ضبط‌های واقعی شروع کنید، ، پوشش می‌دهد قرارگیری دوربین، پیامدها و حالت‌های شکست که یک مجموعه داده را غیرقابل استفاده می‌کنند. جزئیات فرمت خود در ، و بخش هایپرپارامترها در .