كيفية تدريب ACT على SO-100 من الصفر

ACT هو الاستثناء بين سياسات SO-100. GR00T N1.7 و N1.5 يبدآن من nvidia/GR00T-N1.7-3B و nvidia/GR00T-N1.5-3B، و Pi0.5 من lerobot/pi05_base. ACT يبدأ من الصفر: لا توجد نقطة تحقق أساسية، لأنه ليس نموذجًا تأسيسيًا. إنه محول بحدود 80 مليون معلمة تقوم بتدريبه من الصفر على مهمة واحدة، على ذراعك، تحت إضاءتك.

هذا هو السبب أيضًا في أنه ينفذ خطوة تحكم في 20 مللي ثانية بينما يحتاج VLA ذو 3 مليارات معلمة إلى 152 إلى 485 مللي ثانية، ويكلف 1 إلى 3 دولار أمريكي لكل تشغيل بدلاً من 4 إلى 12. يشرح هذا الدليل المسار اليدوي مع lerobot على SO-100: التسجيل، إعدادات act، ما الذي تتحكم فيه chunk_size و n_action_steps، جدول الـ 100000 خطوة، والتنفيذ. ثم نفس المهمة على AY-Robots، بما في ذلك الجوانب التي لا تساعد فيها المنصة.

ما هو ACT في الواقع

تأتي تقنية Action Chunking with Transformers من ورقة ALOHA البحثية، تعلم التلاعب الثنائي الدقيق باستخدام أجهزة منخفضة التكلفة، بقلم Zhao, Kumar, Levine و Finn, arXiv, 23 أبريل 2023. يسجل الجهاز بمعدل 50 Hz باستخدام أربع كاميرات ويب تبث بدقة 480x640 بمعدل 30 fps: اثنتان على القابضات، واحدة علوية، وواحدة أمامية. يدعي الملخص تحقيق ست مهارات بنسبة نجاح تتراوح من 80 إلى 90 percent، من بينها فتح كوب توابل شفاف وإدخال بطارية، وذلك من 10 minutes من العروض التوضيحية.

يكون النص الأساسي أكثر فائدة عند التخطيط لجلسة تسجيل: 50 demonstrations لكل مهمة، باستثناء Thread Velcro عند 100، وهو ما يمثل من 10 إلى 20 minutes من البيانات ومن 30 إلى 60 minutes من الوقت الفعلي بمجرد احتساب عمليات إعادة الضبط. النجاح ليس موحدًا أيضًا: Thread Velcro ينتهي عند 20 percent، Put On Shoe عند 92، Cup Open 84، Prep Tape 64.

تجزئة الإجراءات هي الفكرة الأساسية

يُعيّن الاستنساخ السلوكي العادي ملاحظة واحدة لإجراء واحد، وتتراكم الأخطاء: يؤدي الانحراف إلى خروج الذراع عن التوزيع، مما ينتج عنه إجراء أسوأ، وبعد ثلاثين خطوة يكون القابض بعيدًا عن الكائن. تجزئة الإجراءات يتنبأ بـ k إجراءات في وقت واحد وينفذها، مما يقلل الأفق الفعال بمعامل k. كما يتعامل مع إزعاج خاص بالبيانات البشرية: يتوقف المشغلون عن بعد، والسياسة أحادية الخطوة لا يمكنها نمذجة توقف يعتمد على ما سبق.

تُجري الورقة دراسة استقصائية لـ k بدلاً من تأكيده. مع إيقاف التجميع الزمني، وبمتوسط أربع إعدادات، يرتفع النجاح من 1 percent عند k = 1 إلى 44 percent عند k = 100، ثم يتناقص عند 200 و 400 مع اقتراب السياسة من التحكم في الحلقة المفتوحة. هذا المنحنى هو السبب في أن القيمة الافتراضية هي 100.

• chunk_size: عدد الإجراءات المستقبلية التي يتنبأ بها المفسّر لكل تمريرة أمامية. الافتراضي 100.
• n_action_steps: عدد الإجراءات التي تنفذها قبل الاستعلام مرة أخرى. الافتراضي 100، لذا يقوم lerobot بتشغيل الكتلة بأكملها في حلقة مفتوحة.
• يتحقق lerobot من أن n_action_steps <= chunk_size ويرفع ValueError إذا قمت بتعيينها بشكل معكوس.

ما يهم تشغيليًا هو حجم الكتلة (chunk_size) مقسومًا على معدل الإطارات. عند 30 إطارًا في الثانية التي تستخدمها أمثلة SO-100 الخاصة بـ lerobot، تلتزم كتلة من 100 إجراء بحوالي 3.3 ثانية من ملاحظة واحدة. إذا كانت المهمة تتطلب تصحيحًا داخل تلك النافذة، فقم بتخفيض n_action_steps، وليس chunk_size: فأنت تحتفظ بالتنبؤ الطويل وتعيد الملاحظة بشكل متكرر.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

عندما يتفوق ACT على نموذج أساسي

السياسات الخمس القابلة للتدريب جنبًا إلى جنب، مع الأرقام التي تقيسها AY-Robots وتستخدمها لتحديد حجم وحدة معالجة الرسوميات (GPU) التي تستأجرها.

اختر ACT عندما تكون المهمة والمشهد ثابتين ويجب أن تكون الحركة سريعة ودقيقة. اختر عندما يجب أن تغطي نقطة تحقق واحدة عدة تعليمات. صفحتان تقارنان القرار وجهاً لوجه: و . بالنسبة للمعايير المنشورة، يربط كل رقم بمصدره.

ما تحتاجه قبل أن تبدأ

ذراع تابع واحد، ذراع قائد واحد لـ ، كاميرا واحدة على الأقل، وحدة معالجة رسوميات (GPU) بسعة 24 GB. يقرأ ACT الصور ومواضع المفاصل فقط. الكاميرتان هما الحل الأمثل: عرض أمامي ثابت لمكان الأشياء، وكاميرا معصم لما هو على وشك أن يلمسه ، كما هو الحال في ALOHA.

من الذراع المجرد إلى مجموعة البيانات المسجلة

التدفق أدناه هو lerobot 0.6.x. تخطاه إذا كان لديك ذراع معاير ومجموعة بيانات. وإلا فإن دليل البدء لـ SO-100، يغطي التجميع، و شرح التسجيل يغطي الالتقاط و وثائق مجموعة البيانات التنسيق.

1. 1
   تثبيت lerobot مع الإضافات الصحيحة

   يتطلب التسجيل core_scripts، والتدريب training، ومحركات Feetech المؤازرة feetech. بايثون 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   العثور على منفذ USB لكل ذراع

   شغّله مع توصيل الذراعين، وافصل أحدهما عند المطالبة. على نظام لينكس قد تحتاج إلى فتح أذونات العقدة.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   تعيين معرفات المحرك ومعدل الباود

   في SO-100، يحدث هذا قبل التجميع: على عكس SO-101، لا يمكن الوصول إلى الموصلات بمجرد بنائها. يقوم السكريبت بالمرور عبر الناقل محركًا واحدًا في كل مرة بدءًا من القابض، ويكتب المعرفات إلى EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   معايرة الذراعين

   اضبط كل مفصل على منتصف نطاقه، اضغط Enter، ثم حرك كل مفصل عبر نطاقه الكامل. المعايرة تسمح لسياسة مدربة على ذراع واحدة بالعمل على ذراع أخرى. أعد استخدام نفس id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   التحكم عن بعد مرة واحدة مع تشغيل الكاميرات

   قاعدة lerobot الأساسية: يجب أن تكون قادرًا على أداء المهمة بالنظر فقط إلى صور الكاميرا. إذا لم تتمكن من ذلك، فلن يتمكن ACT أيضًا. هذا يكتشف المزيد من مجموعات البيانات السيئة أكثر من التصحيح اللاحق.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   تسجيل 50 حلقة

   50 هو الحد الأدنى لـ AY-Robots وما استخدمه ALOHA لكل مهمة. تنصح lerobot بـ 10 لكل موقع كائن، مع تثبيت الكاميرات، وقبضة متسقة. n ينهي حلقة، r يعيد التسجيل، q يوقف ويشفر.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

قبل التدريب، أعد تشغيل خمس حلقات على الأقل. ، يخزن تدفقات الكاميرا وحالات المفاصل والإجراءات لكل ، وإعادة التشغيل تدفع تلك الإجراءات مرة أخرى إلى الذراع. إذا لم تقم إعادة التشغيل بالمهمة، فإن البيانات لا تحتوي عليها ولن يخترعها التدريب.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

تدريب سياسة ACT

هذا هو الأمر بالكامل. كل ما هو خاص بـ ACT هو بالفعل إعداد افتراضي، ولهذا السبب توصي صفحة lerobot ACT بالبدء بها.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act يحمّل ACTConfig، الذي يتكيف مع عدد المحركات والكاميرات التي سجلتها مجموعة بياناتك، لذلك لا تحتاج أبدًا إلى تعريف شكل الملاحظة. --wandb.enable=true اختياري ويستحق العناء: منحنى الخسارة هو الإشارة الرخيصة الوحيدة في تشغيل يستغرق 100000 خطوة. يأتي الجدول الزمني من إعداد تدريب lerobot، وليس ACTConfig: 100000 خطوة، دفعة 8، بذرة 1000، نقطة تفتيش كل 20000 خطوة، وتسجيل كل 200.

يترك التشغيل الكامل خمسة أدلة لنقاط التفتيش، من 020000 إلى 100000، بالإضافة إلى رابط رمزي last. احتفظ بها جميعًا: غالبًا ما لا تكون أفضل سياسة هي الأخيرة.

المدة: حوالي 5 ساعات على بطاقة RTX 2080 Ti بسعة 11 جيجابايت في الورقة البحثية، بضع ساعات لـ 100 ألف خطوة لكل صفحة ACT الخاصة بـ lerobot، من 2 إلى 5 ساعات على فئة 24 جيجابايت من AY-Robots. لا تختصرها. يذكر ملف README الخاص بالمستودع المرجعي أن السياسة المتشنجة أو المتوقفة مؤقتًا تحتاج عادةً إلى المزيد من التدريب، لأن النجاح والسلاسة يستمران في التحسن بعد استقرار الخسارة: بالنسبة للبيانات الواقعية، يتطلب الأمر 5000 حقبة على الأقل، أو 3 إلى 4 أضعاف المدة مرة أخرى بعد الاستقرار.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

تشغيل السياسة المدربة على الذراع

يستخدم النشر lerobot-rollout. يجب أن تتطابق مفاتيح الكاميرا مع المفاتيح المسجلة: سياسة مدربة على front و wrist لن تقبل cam0 و cam1، و rename_map لا يساعد، لأنه يحتاج إلى نقطة تحقق مدربة مسبقًا. يمكن حذف سلسلة المهام؛ مثال lerobot الخاص يشير إلى أنها قابلة للتخطي لـ ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

لتثبيت نقطة تحقق بدلاً من النموذج النهائي، أضف --policy.pretrained_revision. يتطلب ذلك أن يكون التشغيل قد بدأ بـ --save_checkpoint_to_hub=true، وهو غير مفعل افتراضيًا: بدونه، يقوم lerobot بدفع النموذج النهائي ولا شيء آخر. معه، يتم وسم كل نقطة تحقق بخطوتها المبطنة بالأصفار، لذا --policy.pretrained_revision=060000 يستعيد نقطة التحقق ذات الخطوة 60000. مقارنتها بـ 100000 على الذراع الحقيقية هي أرخص تجربة متاحة.

مساران لنفس نقطة التحقق

كل ما سبق هو المسار اليدوي وهو يعمل. مسار المنصة يضحي بالتحكم مقابل عدم امتلاك وحدة معالجة رسوميات (GPU) أو بيئة بايثون.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

ما الذي يحدث خطأ بالفعل

تقريباً لا يوجد أي صعوبة في أمر التدريب. بل تكمن الصعوبة في الأمور المحيطة به، مرتبة حسب تكرار حدوثها لأول مرة.

يستحق صفان التركيز. ACT يتدرب على LeRobot v3.0 بينما يتعطل محمل GR00T عليه ويحتاج إلى v2.1، لذا فإن مجموعة بيانات تدرب ACT يمكن أن تفشل تشغيل GR00T. والصف الأخير يحتوي على إصلاحين: مؤلفو ACT يجيبون على الحركة المتقطعة بمزيد من التدريب، بينما مع n_action_steps عند 100، يحدث توقف حقيقي عند حدود الكتلة، وهو توقف مرئي كل 3.3 ثوانٍ عند 30 إطارًا في الثانية. هناك اثنان آخران يجب معرفتهما: المفصل الميت الواحد عادة ما يكون معرف سيرفو لم يتم كتابته مطلقًا، و قابض يقترب ولكنه لا يغلق أبدًا يعني نطاق قابض قليل جدًا في العروض التوضيحية. الفهرس الكامل: صفحات أوضاع الفشل.

تكلفة التشغيل

هذه هي الحجة للبدء بـ ACT حتى لو كنت تريد VLA لاحقًا. يكلف تشغيل ACT الفاشل سعر فنجان قهوة ويخبرك في غضون ساعات ما إذا كانت مجموعة بياناتك تحتوي على المهمة. يكلف تشغيل GR00T الفاشل أربعة أضعاف ذلك لنفس الدرس. الانتقال إلى GR00T N1.7 أو SmolVLA بعد ذلك هو تغيير في الشكل، وليس إعادة بناء. خلفية: نماذج الرؤية واللغة والحركة، الـ الدليل الكامل لـ SO-100، تدريب سياستك الأولى و التعلم بالمحاكاة. لا يوجد ذراع؟ صفحة البث المباشر تبث SO-100 حقيقية للتحكم بها دون الحاجة للتسجيل.