چگونه ACT را روی SO-100 از ابتدا آموزش دهیم

ACT در میان سیاست‌های SO-100 یک استثنا است. GR00T N1.7 و N1.5 از nvidia/GR00T-N1.7-3B و nvidia/GR00T-N1.5-3B، Pi0.5 از lerobot/pi05_base. ACT از هیچ شروع می‌کند: هیچ نقطه بازرسی پایه‌ای وجود ندارد، زیرا یک مدل بنیادی نیست. این یک ترانسفورمر تقریباً ۸۰ میلیون پارامتری است که شما آن را از ابتدا برای یک وظیفه، روی بازوی خود، تحت نورپردازی خود آموزش می‌دهید.

به همین دلیل است که یک گام کنترلی را در 20 ms اجرا می‌کند، در حالی که یک VLA با 3 میلیارد پارامتر به 152 تا 485 ms نیاز دارد و به جای 4 تا 12 USD، 1 تا 3 USD در هر اجرا هزینه دارد. این راهنما مسیر دستی را با لربات روی یک SO-100: ضبط، پیکربندی act، آنچه chunk_size و n_action_steps کنترل می‌کنند، برنامه 100000 گامی، و رول‌اوت. سپس همین کار روی AY-Robots، از جمله مواردی که پلتفرم کمکی نمی‌کند.

ACT واقعاً چیست

Action Chunking with Transformers از مقاله ALOHA می‌آید، Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware، توسط ژائو، کومار، لوین و فین، arXiv، ۲۳ آوریل ۲۰۲۳. این سیستم با چهار وب‌کم که با سرعت ۳۰ فریم بر ثانیه و رزولوشن ۴۸۰x۶۴۰ استریم می‌کنند، با فرکانس ۵۰ هرتز ضبط می‌کند: دو وب‌کم روی گریپرها، یکی بالا، یکی جلو. چکیده مقاله ادعا می‌کند که شش مهارت با موفقیت ۸۰ تا ۹۰ درصدی، از جمله باز کردن یک فنجان چاشنی شفاف و قرار دادن باتری، از ۱۰ دقیقه نمایش به دست آمده است.

متن اصلی هنگام برنامه‌ریزی یک جلسه ضبط مفیدتر است: ۵۰ نمایش برای هر وظیفه، به جز Thread Velcro با ۱۰۰ نمایش، که ۱۰ تا ۲۰ دقیقه داده و ۳۰ تا ۶۰ دقیقه زمان واقعی (wall-clock time) پس از شمارش ریست‌ها است. موفقیت نیز یکنواخت نیست: Thread Velcro در ۲۰ درصد، Put On Shoe در ۹۲ درصد، Cup Open در ۸۴ درصد، Prep Tape در ۶۴ درصد به پایان می‌رسد.

تکه‌بندی عمل، ایده اصلی است

شبیه‌سازی رفتاری معمولی یک مشاهده را به یک عمل نگاشت می‌کند و خطاها انباشته می‌شوند: یک انحراف بازو را از توزیع خارج می‌کند، عملی بدتر تولید می‌کند، و سی گام بعد، گریپر به هیچ وجه نزدیک شیء نیست. تکه‌بندی عمل k عمل را همزمان پیش‌بینی و اجرا می‌کند، و افق مؤثر را به نسبت k کاهش می‌دهد. همچنین یک مشکل خاص داده‌های انسانی را مدیریت می‌کند: اپراتورهای از راه دور مکث می‌کنند، و یک سیاست مارکوفی تک‌گامی نمی‌تواند مکثی را مدل کند که به آنچه قبلاً آمده است بستگی دارد.

مقاله k را به جای اثبات آن، حذف می‌کند. با خاموش بودن ترکیب زمانی، به طور متوسط در چهار تنظیم، موفقیت از 1 درصد در k = 1 به 44 درصد در k = 100 افزایش می‌یابد، سپس در 200 و 400 کاهش می‌یابد زیرا سیاست به کنترل حلقه باز نزدیک می‌شود. این منحنی دلیل پیش‌فرض بودن 100 است.

• chunk_size: تعداد اقدامات آینده که رمزگشا در هر گذر رو به جلو پیش‌بینی می‌کند. پیش‌فرض 100.
• n_action_steps: تعداد اقداماتی که قبل از پرس‌وجوی مجدد اجرا می‌کنید. پیش‌فرض 100، بنابراین lerobot کل قطعه را به صورت حلقه باز اجرا می‌کند.
• lerobot اعتبار n_action_steps <= chunk_size را بررسی می‌کند و در صورت برعکس بودن، یک ValueError ایجاد می‌کند.

آنچه از نظر عملیاتی اهمیت دارد، chunk_size تقسیم بر نرخ فریم است. در نرخ 30 فریم بر ثانیه که مثال‌های SO-100 از lerobot استفاده می‌کنند، یک قطعه 100 تایی حدود 3.3 ثانیه از یک مشاهده را پوشش می‌دهد. اگر وظیفه نیاز به اصلاح در آن بازه زمانی دارد، n_action_steps را کاهش دهید، نه chunk_size: شما پیش‌بینی طولانی را حفظ می‌کنید و بیشتر اوقات مجدداً مشاهده می‌کنید.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

هنگامی که ACT یک مدل بنیادی را شکست می‌دهد

پنج سیاست قابل آموزش در کنار هم، با اعدادی که AY-Robots اندازه‌گیری می‌کند و برای تعیین اندازه GPU اجاره‌ای خود استفاده می‌کند.

ACT را زمانی انتخاب کنید که وظیفه و صحنه ثابت هستند و حرکت باید سریع و دقیق باشد. یک را زمانی انتخاب کنید که یک نقطه بازرسی باید چندین دستورالعمل را پوشش دهد. دو صفحه این تصمیم را رو در رو بررسی می‌کنند: و . برای معیارهای منتشر شده، هر عدد را به منبع آن پیوند می‌دهد.

آنچه قبل از شروع نیاز دارید

یک بازوی پیرو، یک بازوی رهبر برای ، حداقل یک دوربین، یک GPU با ۲۴ گیگابایت حافظه. ACT فقط تصاویر و موقعیت‌های مفصل را می‌خواند. دو دوربین نقطه بهینه است: یک نمای ثابت از جلو برای اینکه اشیاء کجا هستند، یک دوربین مچی برای اینکه در شرف لمس کردن است، مانند ALOHA.

از بازوی خام تا مجموعه داده ضبط شده

جریان زیر lerobot 0.6.x است. اگر بازوی کالیبره شده و مجموعه داده دارید، از آن صرف نظر کنید. در غیر این صورت، راهنمای شروع به کار SO-100 مونتاژ را پوشش می‌دهد، راهنمای گام به گام ضبط ضبط را پوشش می‌دهد و مستندات مجموعه داده قالب را پوشش می‌دهد.

1. 1
   نصب lerobot با افزونه‌های مناسب

   برای ضبط به core_scripts، برای آموزش به training و برای سرووهای Feetech به feetech نیاز است. پایتون 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   پورت USB هر بازو را پیدا کنید

   آن را با هر دو بازو متصل اجرا کنید و در صورت درخواست یکی را جدا کنید. در لینوکس ممکن است نیاز باشد مجوزهای گره را باز کنید.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   شناسه‌های موتور و نرخ باود را تنظیم کنید

   در SO-100 این کار قبل از مونتاژ انجام می‌شود: برخلاف SO-101، کانکتورها پس از ساخت غیرقابل دسترس هستند. اسکریپت باس را یک موتور در هر زمان از گریپر پیمایش می‌کند و شناسه‌ها را در EEPROM می‌نویسد.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   هر دو بازو را کالیبره کنید

   هر مفصل را در وسط دامنه خود قرار دهید، Enter را فشار دهید، سپس هر یک را در کل دامنه خود حرکت دهید. کالیبراسیون به یک سیاست آموزش‌دیده روی یک بازو اجازه می‌دهد روی بازوی دیگر اجرا شود. از همان id استفاده مجدد کنید.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   یک بار با دوربین‌های روشن تله‌اپراتوری کنید

   قانون کلی lerobot: شما باید بتوانید کار را فقط با نگاه کردن به تصاویر دوربین انجام دهید. اگر نمی‌توانید، ACT نیز نمی‌تواند. این کار داده‌های بد بیشتری را نسبت به اشکال‌زدایی بعدی شناسایی می‌کند.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 اپیزود را ضبط کنید

   50 حداقل AY-Robots و مقداری است که ALOHA برای هر کار استفاده می‌کرد. lerobot برای هر مکان شیء 10، دوربین‌های ثابت، و گرفتن ثابت را توصیه می‌کند. n یک اپیزود را پایان می‌دهد، r دوباره ضبط می‌کند، q متوقف و کدگذاری می‌کند.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

قبل از آموزش، حداقل پنج اپیزود را بازپخش کنید. جریان‌های دوربین، وضعیت‌های مفصل و اقدامات را به ازای هر ذخیره می‌کند، و بازپخش آن اقدامات را به بازو بازمی‌گرداند. اگر بازپخش کار را انجام ندهد، داده‌ها آن را شامل نمی‌شوند و آموزش آن را ابداع نخواهد کرد.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

آموزش سیاست ACT

این کل دستور است. همه چیزهای خاص ACT از قبل پیش‌فرض هستند، به همین دلیل صفحه ACT لروبات می‌گوید با آنها شروع کنید.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act پیکربندی ACTConfig را بارگذاری می‌کند که با هر تعداد موتور و دوربینی که مجموعه داده شما ضبط کرده است، سازگار می‌شود، بنابراین هرگز شکل مشاهده را اعلام نمی‌کنید. --wandb.enable=true اختیاری و ارزشمند است: منحنی افت (loss curve) تنها سیگنال ارزان در یک اجرای ۱۰۰۰۰۰ مرحله‌ای است. برنامه زمان‌بندی از پیکربندی آموزش lerobot می‌آید، نه ACTConfig: ۱۰۰۰۰۰ مرحله، دسته ۸، سید ۱۰۰۰، یک نقطه بازیابی هر ۲۰۰۰۰ مرحله، ثبت وقایع هر ۲۰۰ مرحله.

یک اجرای کامل پنج دایرکتوری نقطه بازیابی، از 020000 تا 100000، به علاوه یک last سیم‌لینک بر جای می‌گذارد. همه آنها را نگه دارید: بهترین سیاست اغلب آخرین سیاست نیست.

مدت زمان: حدود ۵ ساعت روی یک RTX 2080 Ti با ۱۱ گیگابایت در مقاله، چند ساعت برای ۱۰۰ هزار گام طبق صفحه ACT لربات، ۲ تا ۵ ساعت روی رده ۲۴ گیگابایتی AY-Robots. آن را کوتاه نکنید. README مخزن مرجع می‌گوید که یک سیاست ناپایدار یا متوقف‌شونده معمولاً فقط به آموزش بیشتری نیاز دارد، زیرا موفقیت و روان بودن پس از تثبیت کاهش خطا (loss plateaus) همچنان بهبود می‌یابد: برای داده‌های دنیای واقعی حداقل ۵۰۰۰ اپوک یا ۳ تا ۴ برابر طول بیشتر پس از تثبیت نیاز دارد.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

اجرای سیاست آموزش‌دیده روی بازو

استقرار از lerobot-rollout استفاده می‌کند. کلیدهای دوربین باید با موارد ضبط شده مطابقت داشته باشند: یک سیاست آموزش‌دیده روی front و wrist، cam0 و cam1 را نمی‌پذیرد، و rename_map کمکی نمی‌کند، زیرا به یک نقطه بازرسی از پیش آموزش‌دیده نیاز دارد. رشته وظیفه (task string) می‌تواند حذف شود؛ مثال خود لربات آن را برای ACT قابل صرف‌نظر کردن (skippable) علامت‌گذاری کرده است.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

برای پین کردن یک نقطه بازرسی به جای مدل نهایی، اضافه کنید --policy.pretrained_revision. این نیاز دارد که اجرا با --save_checkpoint_to_hub=true شروع شده باشد، که به طور پیش‌فرض غیرفعال است: بدون آن lerobot فقط مدل نهایی را ارسال می‌کند و نه چیز دیگری. با آن، هر نقطه بازرسی با گام صفر-پد شده خود برچسب‌گذاری می‌شود، بنابراین --policy.pretrained_revision=060000 نقطه بازرسی ۶۰۰۰۰ گامی را بازیابی می‌کند. مقایسه آن با ۱۰۰۰۰۰ روی بازوی واقعی ارزان‌ترین آزمایش موجود است.

دو مسیر به یک نقطه بازرسی

تمام موارد بالا مسیر دستی هستند و کار می‌کنند. مسیر پلتفرم، کنترل را در ازای عدم نیاز به داشتن GPU یا محیط پایتون معامله می‌کند.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

چه چیزی واقعاً اشتباه پیش می‌رود

تقریباً هیچ یک از مشکلات در دستور آموزش نیست. بلکه در موارد پیرامون آن است، که بر اساس دفعات بروز مشکل در اولین بار مرتب شده‌اند.

دو ردیف نیاز به تاکید دارند. ACT بر روی LeRobot v3.0 آموزش می‌بیند در حالی که لودر GR00T بر روی آن کرش می‌کند و به v2.1 نیاز دارد، بنابراین یک مجموعه داده که ACT را آموزش می‌دهد می‌تواند اجرای GR00T را با شکست مواجه کند. و ردیف آخر دو راه حل دارد: نویسندگان ACT حرکت ناگهانی را با آموزش بیشتر پاسخ می‌دهند، در حالی که با n_action_steps در 100، یک توقف واقعی در مرز قطعه رخ می‌دهد، یک مکث قابل مشاهده هر 3.3 ثانیه در 30 فریم بر ثانیه. دو نکته دیگر برای دانستن: یک مفصل مرده معمولاً یک شناسه سروو که هرگز نوشته نشده است، و یک گریپر که نزدیک می‌شود اما هرگز بسته نمی‌شود به معنای دامنه گریپر بسیار کم در نمایش‌ها است. فهرست کامل: صفحات حالت‌های خرابی.

هزینه یک اجرا

این استدلال برای شروع با ACT است، حتی اگر بعداً یک VLA بخواهید. یک اجرای ناموفق ACT به اندازه قیمت یک قهوه هزینه دارد و در عرض چند ساعت به شما می‌گوید که آیا مجموعه داده شما شامل این وظیفه است یا خیر. یک اجرای ناموفق GR00T چهار برابر آن برای همان درس هزینه دارد. ارتقاء به GR00T N1.7 یا SmolVLA پس از آن یک تغییر فرم است، نه بازسازی. پیش‌زمینه: مدل‌های بینایی-زبان-عمل، راهنمای کامل SO-100، اولین خط‌مشی خود را آموزش دهید و یادگیری تقلیدی. بازو ندارید؟ صفحه زنده یک SO-100 واقعی را برای رانندگی بدون نیاز به ثبت‌نام پخش می‌کند.