البيانات الاصطناعية لسياسات الروبوت: أين تساعد المحاكاة

كل بضعة أشهر، يكتشف أحدهم أن تسجيل خمسين حلقة يدويًا بطيء، ويتساءل عما إذا كان المحاكي يمكن أن ينتجها بدلاً من ذلك. إنه سؤال عادل. الإجابة الصادقة تتكون من ثلاثة أجزاء: البيانات المولدة تساعد، لكنها لا تحل محل التسجيلات الحقيقية، وتعتمد النسبة بين هاتين الحقيقتين كليًا على نوع البيانات الاصطناعية التي تقصدها.

تستعرض هذه الصفحة ما تم قياسه فعليًا في الأعمال المنشورة، وما يمكنك تشغيله اليوم على ذراع منخفضة التكلفة مثل SO-100، وأين تلتهم فجوة المحاكاة إلى الواقع المكاسب. النسخة المختصرة، قبل التفاصيل: الأنظمة التي تُبلغ عن أكبر مضاعفات تضاعف مجموعة صغيرة من العروض البشرية الحقيقية. إنها لا تلغي الحاجة إليها.

أربعة أشياء مختلفة تُسمى بيانات اصطناعية

قبل مقارنة الأرقام، يجدر بنا فصل الفئات، لأن ورقة بحثية تشير إلى مضاعف 100x وورقة بحثية تشير إلى زيادة 5 نقاط في النجاح غالبًا ما تصفان نفس المسار من نهايات مختلفة. القاسم المشترك هو أن شيئًا ما في مجموعة بيانات LeRobot تم إنتاجه بواسطة آلة بدلاً من تسجيله من ذراع مادية. ما يختلف هو الجزء.

فقط الثلاثة الأولى هي بيانات اصطناعية بالمعنى الذي تقصده هذه المقالة. الرابع يستحق الذكر لأنه يندرج ضمن نفس المحادثة وهو الأرخص بكثير في القائمة. إذا لم تكن قد قمت بتشغيل التحسينات التي يأتي بها مدربك، فافعل ذلك قبل تثبيت المحاكي.

ما تقوله الأرقام المنشورة بالفعل

إليكم قاعدة الأدلة، مع الأرقام كما ذكرتها المصادر بدلاً من تلخيصها في البيانات الصحفية. كل صف أدناه مأخوذ من ورقة بحثية أو صفحة مشروع تمت قراءتها في 23 أغسطس 2026.

النمط عبر كل عملية استئصال صادقة هو نفسه. البيانات الاصطناعية توسع التغطية بتكلفة زهيدة. إنها لا تخلق معلومات حول قابضك، أو ترهل السيرفو الخاص بك، أو إضاءتك، أو ارتفاع طاولتك لم تكن موجودة في العروض التوضيحية الحقيقية في مكان ما. إذا فشلت السياسة لأن المؤثر النهائي يغلق متأخراً بنصف ثانية، فلن يحل أي قدر من التباين المحاكى ذلك. هذه مشكلة توقيت القابض في التسجيلات الحقيقية.

أحد النتائج التي توصلت إليها MimicGen يستحق الأخذ به في جلسات التسجيل الخاصة بك، لأنه يتعارض مع النصيحة المعتادة. أنشأ المشروع مجموعتي بيانات على Square D2، إحداهما تم بذرها بـ 10 عروض توضيحية من مشغل بشري ذي جودة أفضل والأخرى بـ 10 عروض توضيحية من مشغل ذي جودة أسوأ، وكلاهما مأخوذ من مجموعة بيانات robomimic متعددة البشر Square. حققت السياسات المدربة على كل منهما نتائج قابلة للمقارنة، والتي قرأها المؤلفون كعلامة على أن جودة البيانات قد لا تهم كثيرًا في نظام البيانات واسع النطاق. اقرأ بعناية، هذا بيان حول العروض التوضيحية العشرة الأولية، وليس حول حلقاتك الخمسين الحقيقية. هذا يعني أن مجموعة أولية غير منظمة قليلاً ليست هي الشيء الذي يقف بينك وبين مجموعة بيانات مولدة قابلة للاستخدام. ولا يعني ذلك أن الحلقات الحقيقية التي تتدرب عليها بشكل مشترك يمكن أن تكون غير منظمة، لأن هذه هي التي تحمل المعلومات التي لا يمتلكها المحاكي.

فجوة المحاكاة إلى الواقع، بشكل ملموس

عادةً ما تُناقش الفجوة ككمية واحدة، وهو أمر غير مفيد. إنها على الأقل خمسة اختلافات منفصلة، ولها أحجام مختلفة على ذراع هواة يتراوح سعره بين 110 و 150 يورو مقارنةً بذراع Franka.

• التلامس والاحتكاك. يذكر Isaac Lab بوضوح أنه بالنظر إلى نفس الأجهزة ونفس إصدار Isaac Sim و PhysX، فإن المحاكاة قابلة للتكرار، ولكن النتائج تختلف عبر تكوينات الأجهزة المختلفة بسبب دقة الفاصلة العائمة وأخطاء التقريب، وأن PhysX لا يضمن الحتمية لأي مشهد يحتوي على أجسام غير صلبة مثل القماش أو الأجسام اللينة.
• التشغيل. ينخفض محرك سيرفو Feetech STS3215 الذي يعمل بجهد 7.4 فولت تحت الحمل، ولديه رد فعل عنيف، ويتغير سلوكه مع ارتفاع درجة حرارته. يستعير نموذج MJCF الخاص بـ SO-101 معلمات محركه من مشروع غير ذي صلة بدلاً من تحديدها على ذراعك.
• التقديم. ضوضاء الكاميرا، الغالق المتدحرج، التعريض التلقائي، والدرجة اللونية الدقيقة لطاولتك ليست موجودة في التقديم. هذا هو النصف من الفجوة الذي تم بناء Cosmos-Transfer1 لإغلاقه: سير عمل تعزيز الروبوتات الخاص به يربط مثالًا تركيبيًا واحدًا للروبوتات بأمثلة واقعية متعددة من التجزئة أو العمق أو تحديد الحواف.
• التوقيت. يتقدم المحاكي بمعدل ثابت. حلقة التحكم الحقيقية لا تفعل ذلك، ويكلف النموذج نفسه من 20 إلى 485 مللي ثانية لكل خطوة عمل اعتمادًا على النموذج الذي اخترته. انظر زمن انتقال الاستدلال.
• إحصائيات الكائنات. يتم أخذ عينات من المشاهد المحاكاة من توزيع كتبه شخص ما. طاولة مطبخك ليست كذلك.

ما يعرفه SO-100 المحاكي بالفعل عن ذراعك

هذا هو الجزء الذي يقرر ما إذا كان أي مما سبق يستحق عطلة نهاية الأسبوع الخاصة بك، والمفاجأة الأولى هي أن SO-100 و SO-101 لا يتم خدمتهما بالتساوي. يحتفظ مستودع SO-ARM100 الخاص بـ TheRobotStudio بأصول المحاكاة الخاصة به تحت Simulation/. يحتوي مجلد SO100 على ملف URDF واحد ولا شيء آخر. يحتوي مجلد SO101 على ملفات URDF و MuJoCo: scene.xml، so101_new_calib.xml، so101_old_calib.xml، ملفات URDF المطابقة وملف joints_properties.xml. إذا كنت تريد نموذجًا فيزيائيًا بدلاً من سلسلة حركية، فأنت تريد ملفات SO-101.

تم إنشاؤها باستخدام الملحق onshape-to-robot من نموذج CAD مصمم في Onshape، مما يعني أن الحركيات والشبكات المرئية جيدة مثل CAD. الديناميكيات قصة مختلفة، وملف README الخاص بالمستودع صريح بشأن ثلاثة أمور. تمت إزالة شبكات الاصطدام الأساسية بسبب سلوك الاصطدام الإشكالي أثناء المحاكاة والتخطيط. تم تكييف خصائص محرك STS3215 من مشروع Open Duck Mini بدلاً من قياسها على SO-101. ولم يتم بعد عكس اتفاقية قابض LeRobot، حيث 0 مغلق بالكامل و 100 مفتوح بالكامل، بشكل صريح في ملفات URDF و MuJoCo. كل واحد من هذه الأمور هو مكان ستتصرف فيه السياسة المدربة بحتة في هذا النموذج بشكل مختلف على مكتبك.

عشوائية المجال، وما لا تصلحه

الإجابة القياسية على الفجوة هي التوقف عن محاولة مطابقة الواقع وبدلاً من ذلك التدريب عبر توزيع واسع بما يكفي ليقع الواقع ضمنه. أظهر توبين وزملاؤه النسخة القوية من هذا في عام 2017: كاشف كائنات مدرب فقط على صور محاكاة ذات أنسجة عشوائية غير واقعية، بدون أي تدريب مسبق على صور حقيقية على الإطلاق، حدد مواقع الكائنات الحقيقية بدقة 1.5 سم وظل قويًا ضد المشتتات والانسدادات الجزئية.

يقدم Isaac Lab نفس فكرة مصطلحات الأحداث التي تربطها بتكوين البيئة. هذه هي المقابض، بأسماء وظائفها الفعلية في isaaclab.envs.mdp، حتى تتمكن من قراءتها بدلاً من التخمين.

هذا هو الحد، وهو ما يتعثر فيه الناس. يعمل التوزيع العشوائي على توسيع التوزيع الذي رأته السياسة داخل النموذج الذي بنيته. لا يمكنه إدخال تأثير مادي لا يمثله المحاكي. إذا لم يكن PhysX يقوم بنمذجة الارتداد والانخفاض الحراري لمشغلات STS3215 الخاصة بك، فإن عشوائية صلابتها لا تعلم السياسة شيئًا عن الارتداد. ولهذا السبب، فإن الذراع التي يرتعش ثم يترهل تحت سياسة مدربة بالمحاكاة ليست مشكلة ميزانية عشوائية. إنها مشكلة نمذجة.

المسار اليدوي: توليد البيانات في Isaac Lab

Isaac Gym هو برنامج قديم. صفحة NVIDIA الخاصة به تحمل عنوان "Isaac Gym - مهمل الآن" وتذكر أن المطورين يمكنهم تنزيله ومواصلة استخدامه ولكنه لم يعد مدعومًا، مشيرة إلى Isaac Lab بدلاً من ذلك. إذا كنت تريد معرفة التاريخ، فقد قمنا بتغطية كليهما: و . للعمل الجديد في عام 2026، ابدأ بـ Isaac Lab.

1. 1
   تثبيت Isaac Sim و Isaac Lab

   تذكر صفحة تثبيت pip أن التعليمات مخصصة لـ Isaac Sim 5.X، والذي يتطلب Python 3.11. يمنحك استنساخ المصدر (source clone) السكربتات التي تحتاجها الخطوات التالية.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   تسجيل حوالي عشرة عروض توضيحية بشرية

   وثائق Isaac Lab محددة: يلزم حوالي 10 عروض توضيحية ناجحة لكي تنجح الخطوات التالية. نصائحها محددة بنفس القدر. اجعل العروض التوضيحية قصيرة، واسلك مسارًا مباشرًا بدلاً من التحرك على محاور عشوائية، ولا تتوقف مؤقتًا، لأنه ليس من الواضح للسياسة (policy) سبب ووقت التوقف.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   شرح حدود المهام الفرعية

   يقوم Mimic بتقسيم العروض التوضيحية المدخلة إلى مهام فرعية حتى يتمكن من إعادة توقيت وإعادة استهداف الأجزاء. تقوم علامة --auto بذلك دون تدخل بشري للمهام التي تحدد التعليق التوضيحي التلقائي؛ وبدونها تتوقف مؤقتًا باستخدام B، وتستمر باستخدام N، وتضع علامة على الحدود باستخدام S. لاحظ أن معرف المهمة يكتسب لاحقة -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   إنشاء مجموعة البيانات المضاعفة

   هذه هي الخطوة التي تحول 10 إلى 1000. يطبق Mimic معيار نجاح منطقيًا على كل مرشح ويحتفظ فقط بالمرشحين الذين أكملوا المهمة، لذا فإن عدد المخرجات أقل من عدد المحاولات. تشير الوثائق إلى أن معدل نجاح المرشح هذا يصل إلى 70 بالمائة في الحالات البسيطة وأقل من 1 بالمائة للمهام الصعبة والروبوتات المعقدة: حوالي 50 بالمائة لتكديس مكعبات Franka، و 65 إلى 80 بالمائة لعملية الالتقاط والوضع بواسطة GR1T2، حيث تستغرق 1000 عرض توضيحي من 18 إلى 40 دقيقة (19 دقيقة على RTX ADA 6000 بنسبة 80 بالمائة).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   تحويل HDF5 إلى مجموعة بيانات LeRobot

   كل ما سبق ينتج HDF5 بنكهة robomimic، ولا يشحن Isaac Lab الأساسي محول LeRobot خاصًا به: وثائقه تقول فقط أنه يمكنك تحويل مجموعة البيانات التي تم إنشاؤها إلى تنسيق LeRobot. يوفر مشروعان المحول الفعلي. يشحن IsaacLab-Arena محولًا يستهدف GR00T ويتم تشغيله بالكامل بواسطة تكوين YAML، ويشحن LeIsaac زوجًا خاصًا به لمسار SO-101 (انظر أدناه).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

لماذا تفشل محاولات الإنشاء، وماذا يجب تغييره

معدل نجاح مرشح يتأرجح بين 70 بالمائة وأقل من 1 بالمائة ليس لغزًا، ويوثق Isaac Lab المزالق الشائعة بدلاً من تركك للتخمين. كل واحد منها هو شيء تتحكم فيه وقت التسجيل، ولهذا السبب من المفيد قراءة هذه القائمة قبل تسجيل العروض التوضيحية العشرة الأولية بدلاً من بعد تشغيل الجيل الأول المخيب للآمال.

• العروض التوضيحية طويلة جدًا. كلما كان الأفق الزمني أطول، كان تعلم السياسة أصعب. ابدأ بالقرب من الكائن الأول وقلل الحركة.
• العروض التوضيحية ليست سلسة. الحركة غير المنتظمة يصعب على السياسة فك شفرتها، وأجهزة التحكم عن بعد الأفضل توفر بيانات أفضل: تشير الوثائق بوضوح إلى أن SpaceMouse يتفوق على لوحة المفاتيح.
• التوقفات المؤقتة. يصعب تعلم التوقفات المؤقتة، لأنه ليس واضحًا للسياسة سبب ووقت التوقف. حافظ على حركة سلسة.
• الكثير من المهام الفرعية. المزيد من المهام الفرعية يعني المزيد من الربط بين أجزاء المسار، مما يؤدي إلى حركة أقل سلاسة ومعدل نجاح توليد أقل. قم بوضع علامات على الحدود حيث من غير المرجح أن يصطدم الذراع بأي شيء.
• لا يوجد ضوضاء في الإجراء. ضوضاء الإجراء تجعل السياسات الناتجة أكثر قوة.
• التسجيل مقطوع بإحكام شديد. إذا توقف التسجيل عند الإطار الدقيق الذي يؤدي إلى تشغيل مصطلح النجاح، فقد لا يتم إعادة تشغيله أثناء الإعادة. اترك مخزنًا مؤقتًا في النهاية.
• إعادة تشغيل غير حتمية. لا يمكن إعادة إنتاج الفيزياء في Isaac Lab بشكل حتمي عبر env.reset، لذلك تفشل بعض العروض التوضيحية البشرية عند الإعادة. اجمع أكثر مما تحتاج واحتفظ بتلك التي تنجو من التعليق التوضيحي. كل ما يهبط في ملف HDF5 الذي تم إنشاؤه بواسطة Mimic هو عرض توضيحي ناجح ويمكن استخدامه للتدريب حتى لو فشلت الإعادة لاحقًا.

خطوة الاستيفاء بين أجزاء المهام الفرعية المترابطة لها مقبض ضبط خاص بها، ويتناسب عدد خطوات الاستيفاء التي تحتاجها مع سرعة حركة الروبوت ومدى اتساع توزيع إعادة تعيين الكائن. المهمة المعقدة ذات التوزيع الكبير لإعادة التعيين تترك فجوات أكبر بين الأجزاء، مما يتطلب المزيد من خطوات الاستيفاء لتظهر كحركة مستمرة. إذا أظهرت مقاطع الفيديو التي تم إنشاؤها أن الذراع يتأرجح بين المراحل، فهذه هي المعلمة التي يجب النظر إليها قبل إلقاء اللوم على العروض التوضيحية الأولية.

نفس المسار على SO-101، مع ذراع القائد الحقيقي

هذا هو الجزء المثير للاهتمام لأي شخص يقرأ هذه الصفحة، لأنه المسار المفتوح الوحيد الذي يضع داخل Isaac Lab ويتيح لك قيادته باستخدام ذراع القائد الفيزيائي الذي تملكه بالفعل. LeIsaac، الإصدار 0.4.0 وقت الكتابة، هو ساحة اللعب الرسمية للمحاكاة بالتعلم بالتقليد المدمجة في EnvHub الخاص بـ LeRobot. يسرد جدول التوافق الخاص به ثلاث مجموعات عمل؛ أحدثها يجمع بين Isaac Sim 5.1 مع Isaac Lab v2.3.0، وCUDA 12.8، وPyTorch 2.7.0، وPython 3.11، وتوصي الوثائق بـ Isaac Sim 5.0 أو أحدث لبطاقات السلسلة 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

مع تثبيت ذلك، يقوم ذراع القائد على /dev/ttyACM0 بقيادة التابع المحاكى ويسجل مباشرة إلى HDF5. هي نفسها التي تعرفها بالفعل من التسجيل الحقيقي، فقط التابع هو جسم صلب في PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

معظم هذه المعرفات موجودة أيضًا كمتغير -Direct-v0، و python scripts/environments/list_envs.py يطبع القائمة الحالية. يمكنك أيضًا تخطي مسار HDF5 بالكامل وكتابة تنسيق LeRobot أثناء التشغيل عن بعد عن طريق إضافة ثلاثة أعلام. هناك تحذيران يأتيان من الوثائق نفسها: يتخطى المسجل تلقائيًا أول 5 إطارات من كل حلقة لتجنب عدم الاستقرار من الحالات الأولية، وقد يتسبب في تأخيرات طفيفة في التشغيل عن بعد، وهو بالضبط نوع الشيء الذي يغير بهدوء طبيعة عروضك التوضيحية. كما أنه لا يقوم بتفريغ الحلقات إلا إذا تم وضع علامة نجاح على المهمة.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

ثم يتم تشغيل خطوة المضاعفة على تلك التسجيلات. يغلف LeIsaac Isaac Lab Mimic في أربعة أوامر، لأن Mimic يعمم المسارات من أوضاع المؤثر النهائي والكائن: تحويل الإجراءات في مساحة المفصل إلى إجراءات قائمة على IK، التعليق التوضيحي، التوليد، ثم التحويل مرة أخرى إلى مساحة المفصل.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

ثم قم بالتحويل إلى LeRobot. هذه هي الخطوة التي تفرض فيها قاعدة تنسيق المنصة نفسها، ويصادف أن LeIsaac يأتي مع المحولين اللذين تحتاجهما بالضبط: isaaclab2lerobot.py يكتب LeRobot v2، وهو ما تستخدمه محملات GR00T، و isaaclab2lerobotv3.py يكتب v3 لـ Pi0.5, SmolVLA و ACT. يأخذ السكريبتان نفس الوسائط ولكنهما يحددان إصدارات مختلفة من lerobot، ويتم تحويل الحلقات الناجحة فقط.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

مساران لسياسة مدربة

نماذج عالم الفيديو: الطبقة الأحدث، والأقل قياسًا

الفكرة وراء DreamGen هي أن نموذجًا توليديًا للفيديو، مُكيفًا مع تجسيد الروبوت المستهدف، يمكنه تخيل حلقات معقولة في مشاهد لم تزورها أبدًا. تتكون العملية من أربع مراحل: الضبط الدقيق لنموذج عالم الفيديو، وتوليد مقاطع فيديو روبوتية اصطناعية واقعية، واستعادة تسلسلات الإجراءات الزائفة باستخدام نموذج عمل كامن أو نموذج ديناميكيات عكسية، ثم تدريب سياسة الروبوت على النتيجة. مستودع GR00T-dreams من NVIDIA ينفذ ذلك بالضبط.

النتيجة الرئيسية حقيقية وتستحق الأخذ بها على محمل الجد: بيانات التشغيل عن بعد من مهمة التقاط ووضع واحدة فقط في بيئة واحدة أنتجت 22 سلوكًا جديدًا على روبوت بشري، في بيئات مرئية وغير مرئية على حد سواء. التحذير حقيقي بنفس القدر ويكمن في المرحلة الثالثة.

التدريب المشترك هو الوصفة التي تظهر مكاسب فعلية

إذا استخلصت درسًا عمليًا واحدًا من الأدبيات، فليكن هذا الدرس. هدفت دراسة التدريب المشترك بين المحاكاة والواقع (مادوكوري وزملاؤه، 2025) إلى إيجاد وصفة بسيطة لاستخدام بيانات المحاكاة لحل مهام التلاعب الروبوتي القائمة على الرؤية، عبر مجالين، ذراع روبوت وإنسان آلي، وكان استنتاجها هو أنك تتدرب على مزيج. عززت بيانات المحاكاة أداء المهام في العالم الحقيقي بمتوسط 38 بالمائة، وتوضح الورقة البحثية أن هذا ظل صحيحًا حتى مع وجود اختلافات ملحوظة بين بيانات المحاكاة وبيانات العالم الحقيقي.

تلك الجملة الأخيرة تهم أكثر من نسبة 38 بالمائة. هذا يعني أن المحاكاة لا يجب أن تكون توأمًا رقميًا مثاليًا لتكون مفيدة، بشرط أن تكون البيانات الحقيقية موجودة في المزيج لتثبيتها. النقل المعتمد على المحاكاة فقط هو المسار المكلف: تشير نفس الورقة إلى أن تدريب سياسة بالكامل في المحاكاة ونقلها إلى العالم الحقيقي غالبًا ما يتطلب جهدًا بشريًا كبيرًا لسد فجوة الواقع. يتخطى التدريب المشترك معظم هذا الجهد بعدم مطالبة السياسة بسد الفجوة بمفردها أبدًا.

عمليًا، على هذه المنصة، يعني التدريب المشترك شيئًا واحدًا: ضع مجموعتي الحلقات في نفس مجموعة بيانات LeRobot مع مفاتيح كاميرا متسقة، ترتيب مفاصل متسق، ووحدات متسقة، ثم قم بتشغيل ضبط دقيق. لا يوجد مقبض لوزن المزيج في نموذج التدريب. إذا كنت تريد نسبة 3:1 من المحاكاة إلى الواقع، فإنك تعبر عن ذلك بعدد الحلقات من كل نوع التي تضعها في مجموعة البيانات.

أرخص مكسب من المحاكاة ليس بيانات التدريب

إنه التقييم. إجراء عشرات التجارب الحقيقية لكل مهمة لمقارنة يستغرق يومًا كاملاً من وقت الذراع، وتنجرف الذراع بين التجارب. قامت SIMPLER (لي وزملاؤه، 2024) ببناء بيئات محاكاة هدفها هو تسجيل السياسات الحقيقية بدلاً من تدريبها، ثم قياس مدى جودة تنبؤ ترتيب المحاكاة بالترتيب الحقيقي. بيئة SIMPLER واحدة تعرض 3,500 خطوة محاكاة في الثانية على بطاقة RTX 4090 للمستهلك بدقة 640 × 512، وهو ما يمثل تسريعًا بمقدار 7 أضعاف مقارنة بالتقييم الحقيقي عند تردد محاكاة 500 هرتز.

هذه متوسطات لثلاث مجموعات مهام من Google Robot لست نقاط تحقق شائعة مفتوحة المصدر: ثلاث نقاط تحقق RT-1 في مراحل تدريب مختلفة، RT-1-X، RT-2-X و Octo-Base. الجانب الحقيقي ليس عددًا موحدًا من التجارب، وهو أمر يستحق المعرفة قبل الاقتباس منه: 75 تجربة لالتقاط علبة كوكا، 60 لتحريكها بالقرب، 54 لمهام فتح وإغلاق الدرج، و 27 لمهمة الدرج والتفاح الأطول. المقارنة مقابل خطأ متوسط التربيع للتحقق هي الجزء المفيد. اختيار النموذج عن طريق خسارة التحقق يصنف نقاط التحقق هذه بشكل سيء، ومعامل ارتباط بيرسون r بقيمة 0.924 تحت المطابقة البصرية يعني أنه إذا سجلت نقطة تحقق أداءً أفضل في SIMPLER، فمن المحتمل جدًا أن تسجل أداءً أفضل على المنصة. هذه لوحة نتائج قابلة للتكرار بين عشية وضحاها، ولا تتطلب منك تصديق أي شيء حول نقل التدريب من المحاكاة إلى الواقع.

إذا كنت تريد السياق الأوسع حول ما تخبرك به هذه الأرقام المعيارية وما لا تخبرك به عن ، فقد كتبنا ذلك بشكل منفصل في .

أين لا تساعدك هذه المنصة

الوضوح بشأن الحدود يوفر وقت الجميع. AY-Robots هي منصة تسجيل وتدريب وتقديم خدمات. لا تحتوي على أي محاكي.

• لا يوجد Isaac Lab، ولا MimicGen، ولا نموذج عالمي، ولا تأليف للمشاهد. إذا كنت تريد بيانات مُولّدة، فعليك توليدها في مكان آخر وإحضار النتيجة.
• تستهلك المدربات مجموعات بيانات LeRobot ولا شيء غيرها. يجب تحويل تصدير المحاكي قبل أن يصبح مدخلاً، ويجب أن يكون الإصدار الصحيح: v2.0 أو v2.1 لـ GR00T N1.5 و N1.7، و v3.0 لـ Pi0.5 و SmolVLA و ACT.
• نقطة الدخول للضبط الدقيق في GR00T هي واجهة سطر أوامر (CLI) من نوع tyro لا تكشف عن أي بذرة (seed)، لذا فإن تشغيل GR00T ليس قابلاً للاستنساخ بت-باي-بت. إذا كنت تجري دراسة إزالة دقيقة للمحاكاة مقابل الواقع، فهذا قيد حقيقي. البذرة الافتراضية الخاصة بـ lerobot هي 1000، وتكشف نماذج ACT و SmolVLA و Pi0.5 عن حقل للبذرة.
• تراكم التدرج (Gradient accumulation) يُطبق فعليًا فقط لمدربي GR00T الاثنين. بالنسبة لـ Pi0.5 و SmolVLA، يوجد الحقل في النموذج ولكن lerobot 0.5.1 لا يحتوي على مثل هذه العلامة، لذا فهو لا يفعل شيئًا.
• يجب أن يكون الاستدلال (Inference) بجانب المحركات المؤازرة للمهام السريعة. حلقة التحكم تتراوح من 20 إلى 485 مللي ثانية لكل خطوة عمل اعتمادًا على النموذج، وإضافة رحلات ذهاب وعودة عبر الإنترنت العام تحول السياسة العاملة إلى سياسة مترددة. الاستدلال عن بعد ممكن لمهام الالتقاط والوضع البطيئة، وليس للحركة التفاعلية السريعة.

ميزانية يمكنك الدفاع عنها

ضع المسارين جنبًا إلى جنب مع الأرقام التي ينشرها كل منهما فعليًا، وعادة ما يتخذ القرار بنفسه لمشروع مهمة واحدة على ذراع منخفضة التكلفة.

لسياسة أولى على SO-100، قم بالتسجيل. إن و يوصلانك إلى نقطة تحقق جاهزة للخدمة بسعر فنجان قهوة، وستمتلك النصف الحقيقي لأي مزيج تدريب مشترك مستقبلي. الجأ إلى المحاكي عندما يكون لديك خط أساسي عامل وفشل تعميم محدد يمكنك تسميته، مثل سياسة .

وصفة تحترم الأدلة

1. 1
   سجل خط الأساس الحقيقي أولاً

   30 حلقة لـ SmolVLA، و50 لـ ACT، وGR00T N1.7 وPi0.5. تدرب مرة واحدة. أي شيء تفشل فيه هذه السياسة هو مواصفاتك للبيانات الاصطناعية.

2. 2
   حدد فشل التعميم

   وضعية الكائن؟ الإضاءة؟ ارتفاع الطاولة؟ المشتتات؟ صياغة مختلفة للتعليمات؟ البيانات الاصطناعية جيدة في واحدة فقط من هذه الأمور في كل مرة، وعديمة الفائدة إذا لم تتمكن من تحديد أي منها.

3. 3
   اختر العائلة الأقل تكلفة التي تغطيها

   تنوع الوضعية والتخطيط: مضاعفة المسار. الإضاءة والملمس: تعزيز الصورة أولاً، نموذج العالم ثانياً. مشاهد جديدة بالكامل: عمليات محاكاة فيزيائية، وتقبل تكلفة النمذجة.

4. 4
   قم بالتوليد، ثم تخلص بقوة

   تفشل محاولات التوليد، ويتراوح معدل نجاح المرشحين في Isaac Lab من 70 بالمائة إلى أقل من 1 بالمائة حسب المهمة. احتفظ فقط بالمسارات الناجحة التي تكمل المهمة، وراجع عينة كفيديو قبل أن تثق بالدفعة.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   تدرب بشكل مشترك، لا تستبدل

   ادمج الحلقات المولدة مع الحلقات الحقيقية في مجموعة بيانات LeRobot واحدة بمفاتيح كاميرا وترتيب مفاصل متطابقين. الرقم 38 بالمائة هو رقم تدريب مشترك.

6. 6
   قيم على الذراع الحقيقية، وهناك فقط

   التقييم المحاكى هو إشارة ترتيب جيدة (معامل ارتباط بيرسون r 0.924 في إعداد المطابقة البصرية لـ SIMPLER) ولكنه ليس اختبار القبول. قم بتشغيل نقطة التحقق على المنصة قبل أن تصدقها.

إذا كنت تفضل البدء من قائمة تحقق للتسجيلات الحقيقية نفسها، ، يغطي وضع الكاميرا، وتداعياتها وأنماط الفشل التي تجعل مجموعة البيانات غير قابلة للاستخدام. تفاصيل التنسيق نفسه موجودة في ، وجانب المعلمات الفائقة في .