SO-100 پر ACT کو شروع سے کیسے تربیت دیں

SO-100 پالیسیوں میں ACT ایک منفرد حیثیت رکھتا ہے۔ GR00T N1.7 اور N1.5 کا آغاز nvidia/GR00T-N1.7-3B اور nvidia/GR00T-N1.5-3B، Pi0.5 کا آغاز lerobot/pi05_base سے ہوتا ہے۔ ACT کا آغاز کچھ بھی نہیں سے ہوتا ہے: کوئی بنیادی چیک پوائنٹ نہیں ہے، کیونکہ یہ کوئی فاؤنڈیشن ماڈل نہیں ہے۔ یہ تقریباً 80 ملین پیرامیٹر کا ایک ٹرانسفارمر ہے جسے آپ ایک ہی کام کے لیے، اپنے بازو پر، اپنی روشنی میں شروع سے تربیت دیتے ہیں۔

یہی وجہ ہے کہ یہ 20 ms میں ایک کنٹرول سٹیپ چلاتا ہے جہاں 3 بلین پیرامیٹر والے VLA کو 152 سے 485 ms درکار ہوتے ہیں، اور اس کی لاگت 4 سے 12 USD کے بجائے 1 سے 3 USD فی رن آتی ہے۔ یہ گائیڈ دستی طریقہ کار کو lerobot پر ایک SO-100 کے ساتھ بیان کرتی ہے: ریکارڈ، act کنفگ، کیا chunk_size اور n_action_steps کنٹرول کرتے ہیں، 100000 سٹیپ کا شیڈول، رول آؤٹ۔ پھر AY-Robots پر وہی کام، بشمول جہاں پلیٹ فارم مدد نہیں کرتا۔

ACT دراصل کیا ہے

ایکشن چنکنگ ود ٹرانسفارمرز ALOHA پیپر سے ماخوذ ہے، کم لاگت والے ہارڈویئر کے ساتھ باریک بینی سے دوہاتھوں کی ہیرا پھیری سیکھنا، از ژاؤ، کمار، لیوین اور فن، arXiv، 23 اپریل 2023۔ یہ رگ 50 Hz پر ریکارڈ کرتی ہے جس میں چار ویب کیمز 480x640 ریزولوشن پر 30 fps پر سٹریم کرتی ہیں: دو گرپرز پر، ایک اوپر، ایک سامنے۔ خلاصہ میں 80 سے 90 percent کامیابی کے ساتھ چھ مہارتوں کا دعویٰ کیا گیا ہے، جن میں ایک شفاف کنڈیمنٹ کپ کھولنا اور بیٹری لگانا شامل ہے، جو 10 minutes کے مظاہروں سے حاصل کی گئی ہیں۔

ریکارڈنگ سیشن کی منصوبہ بندی کرتے وقت باڈی زیادہ مفید ہوتی ہے: ہر کام کے لیے 50 demonstrations، سوائے Thread Velcro کے 100 پر، جو کہ 10 to 20 minutes کا ڈیٹا اور ری سیٹ گننے کے بعد 30 to 60 minutes کا وال-کلاک ٹائم ہے۔ کامیابی بھی یکساں نہیں ہے: Thread Velcro 20 percent پر ختم ہوتا ہے، Put On Shoe 92 پر، Cup Open 84 پر، Prep Tape 64 پر۔

ایکشن چنکنگ ہی اصل خیال ہے۔

عام رویے کی کلوننگ ایک مشاہدے کو ایک عمل سے جوڑتی ہے، اور غلطیاں بڑھتی جاتی ہیں: ایک انحراف بازو کو آف-ڈسٹریبیوشن کر دیتا ہے، جس سے ایک بدتر عمل پیدا ہوتا ہے، اور تیس قدموں کے بعد گریپر آبجیکٹ کے قریب کہیں نہیں ہوتا۔ ایکشن چنکنگ ایک ساتھ k اعمال کی پیش گوئی کرتا ہے اور انہیں انجام دیتا ہے، مؤثر افق کو k کے عنصر سے کم کرتا ہے۔ یہ انسانی ڈیٹا سے متعلق ایک پریشانی کو بھی سنبھالتا ہے: ٹیلی آپریٹرز وقفہ لیتے ہیں، اور ایک سنگل-اسٹیپ مارکووین پالیسی ایک ایسے وقفے کو ماڈل نہیں کر سکتا جو اس بات پر منحصر ہو کہ پہلے کیا ہوا تھا۔

مقالہ k کو ثابت کرنے کے بجائے اسے ابلیٹ کرتا ہے۔ ٹیمپورل اینسیمبلنگ بند ہونے کے ساتھ، چار سیٹنگز پر اوسطاً، کامیابی k = 1 پر 1 فیصد سے بڑھ کر k = 100 پر 44 فیصد ہو جاتی ہے، پھر 200 اور 400 پر کم ہوتی جاتی ہے جیسے ہی پالیسی اوپن-لوپ کنٹرول کے قریب پہنچتی ہے۔ یہ منحنی خطوط ہی وجہ ہے کہ ڈیفالٹ 100 ہے۔

• chunk_size: ڈیکوڈر فی فارورڈ پاس میں کتنی مستقبل کی کارروائیوں کی پیش گوئی کرتا ہے۔ ڈیفالٹ 100۔
• n_action_steps: دوبارہ استفسار کرنے سے پہلے آپ ان میں سے کتنے کو انجام دیتے ہیں۔ ڈیفالٹ 100، لہذا lerobot پورے چنک کو اوپن لوپ میں چلاتا ہے۔
• lerobot n_action_steps <= chunk_size کی توثیق کرتا ہے اور اگر آپ اسے الٹا کرتے ہیں تو ValueError اٹھاتا ہے۔

آپریشنل طور پر جو چیز اہمیت رکھتی ہے وہ chunk_size کو فریم ریٹ سے تقسیم کرنا ہے۔ 30 fps پر lerobot کے SO-100 مثالیں استعمال کرتی ہیں، 100 کا ایک چنک ایک مشاہدے سے تقریباً 3.3 سیکنڈ کا عہد کرتا ہے۔ اگر کام کو اس ونڈو کے اندر تصحیح کی ضرورت ہو، تو n_action_steps کو کم کریں، نہ کہ chunk_size کو: آپ طویل پیش گوئی کو برقرار رکھتے ہیں اور زیادہ کثرت سے دوبارہ مشاہدہ کرتے ہیں۔

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

جب ACT ایک فاؤنڈیشن ماڈل کو مات دیتا ہے

پانچ قابل تربیت پالیسیاں ساتھ ساتھ، ان اعداد و شمار کے ساتھ جنہیں AY-Robots ماپتا ہے اور اپنے کرائے کے GPU کا سائز متعین کرنے کے لیے استعمال کرتا ہے۔

ACT کا انتخاب کریں جب ٹاسک اور منظر مقرر ہوں اور حرکت تیز اور درست ہونی چاہیے۔ ایک کا انتخاب کریں جب ایک چیک پوائنٹ کو کئی ہدایات کا احاطہ کرنا ہو۔ دو صفحات اس فیصلے پر آمنے سامنے کام کرتے ہیں: اور ۔ شائع شدہ بینچ مارکس کے لیے، ہر نمبر کو اس کے ماخذ سے جوڑتی ہے۔

شروع کرنے سے پہلے آپ کو کیا چاہیے

ایک فالوور بازو، کے لیے ایک لیڈر بازو، کم از کم ایک کیمرہ، ایک 24 جی بی جی پی یو۔ ACT صرف تصاویر اور جوائنٹ پوزیشنز پڑھتا ہے۔ دو کیمرے بہترین ہیں: چیزیں کہاں ہیں اس کے لیے ایک مقررہ سامنے کا منظر، اور ایک کلائی کیمرہ اس کے لیے کہ کس چیز کو چھونے والا ہے، جیسا کہ ALOHA پر ہے۔

خالی آرم سے ریکارڈ شدہ ڈیٹا سیٹ تک

نیچے دیا گیا فلو lerobot 0.6.x ہے۔ اگر آپ کے پاس کیلیبریٹڈ آرم اور ڈیٹا سیٹ ہے تو اسے چھوڑ دیں۔ بصورت دیگر SO-100 شروع کرنے کی گائیڈ اسمبلی کا احاطہ کرتی ہے، ریکارڈنگ واک تھرو کیپچر کا احاطہ کرتا ہے اور ڈیٹا سیٹ دستاویزات فارمیٹ کا احاطہ کرتی ہے۔

1. 1
   مناسب ایکسٹراز کے ساتھ lerobot انسٹال کریں

   ریکارڈنگ کے لیے core_scripts، ٹریننگ کے لیے training، Feetech سرووز کے لیے feetech درکار ہیں۔ Python 3.12+۔

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   ہر بازو کی USB پورٹ تلاش کریں

   اسے دونوں بازوؤں کو پلگ ان کر کے چلائیں، جب کہا جائے تو ایک کو ان پلگ کر دیں۔ لینکس پر آپ کو نوڈ کی اجازتیں کھولنے کی ضرورت پڑ سکتی ہے۔

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   موٹر IDs اور باؤڈریٹ سیٹ کریں

   SO-100 پر یہ اسمبلی سے پہلے ہوتا ہے: SO-101 کے برعکس، ایک بار بننے کے بعد کنیکٹرز تک رسائی ممکن نہیں ہوتی۔ اسکرپٹ گریپر سے ایک وقت میں ایک موٹر کو بس پر چلاتا ہے، اور IDs کو EEPROM میں لکھتا ہے۔

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   دونوں بازوؤں کو کیلیبریٹ کریں

   ہر جوائنٹ کو اس کی رینج کے وسط میں سیٹ کریں، Enter دبائیں، پھر ہر ایک کو اس کی پوری رینج میں گھمائیں۔ کیلیبریشن ایک بازو پر تربیت یافتہ پالیسی کو دوسرے پر چلانے کی اجازت دیتی ہے۔ وہی id دوبارہ استعمال کریں۔

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   کیمروں کے ساتھ ایک بار ٹیلی آپریٹ کریں

   lerobot کا انگوٹھا اصول: آپ کو صرف کیمرے کی تصاویر دیکھ کر کام کرنے کے قابل ہونا چاہیے۔ اگر آپ نہیں کر سکتے، تو ACT بھی نہیں کر سکتا۔ یہ بعد کی ڈیبگنگ کے مقابلے میں زیادہ خراب ڈیٹا سیٹس کو پکڑتا ہے۔

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 ایپی سوڈز ریکارڈ کریں

   50 AY-Robots کی کم از کم تعداد ہے اور ALOHA نے فی ٹاسک یہی استعمال کیا تھا۔ lerobot فی آبجیکٹ لوکیشن 10 کی سفارش کرتا ہے، کیمرے فکسڈ ہوں، گرفت مستقل ہو۔ n ایک ایپی سوڈ ختم کرتا ہے، r دوبارہ ریکارڈ کرتا ہے، q روکتا ہے اور انکوڈ کرتا ہے۔

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

ٹریننگ سے پہلے، کم از کم پانچ ایپی سوڈز دوبارہ چلائیں۔ کیمرہ سٹریمز، جوائنٹ سٹیٹس اور ایکشنز فی میں محفوظ کرتا ہے، اور ری پلے ان ایکشنز کو بازو پر واپس دھکیلتا ہے۔ اگر ری پلے کام نہیں کرتا، تو ڈیٹا میں وہ شامل نہیں ہوتا اور ٹریننگ اسے ایجاد نہیں کرے گی۔

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT پالیسی کی تربیت

یہ مکمل کمانڈ ہے۔ ACT سے متعلق ہر چیز پہلے سے ہی ڈیفالٹ ہے، یہی وجہ ہے کہ lerobot ACT صفحہ ان کے ساتھ شروع کرنے کا کہتا ہے۔

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ACTConfig کو لوڈ کرتا ہے، جو آپ کے ڈیٹا سیٹ میں ریکارڈ کیے گئے موٹرز اور کیمروں کی تعداد کے مطابق ڈھل جاتا ہے، لہذا آپ کو کبھی بھی آبزرویشن کی شکل کا اعلان نہیں کرنا پڑتا۔ --wandb.enable=true اختیاری ہے اور اس کے قابل ہے: 100000 قدموں کی رن میں لاس کرو واحد سستا سگنل ہے۔ شیڈول lerobot کی ٹرین کنفگ سے آتا ہے، ACTConfig سے نہیں: 100000 قدم، بیچ 8، سیڈ 1000، ایک چیک پوائنٹ ہر 20000 قدموں پر ایک، اور ہر 200 قدموں پر لاگنگ۔

ایک مکمل رن پانچ چیک پوائنٹ ڈائریکٹریز چھوڑتا ہے، 020000 سے 100000 تک، علاوہ ایک آخری سم لنک۔ ان سب کو رکھیں: بہترین پالیسی اکثر آخری والی نہیں ہوتی۔

دورانیہ: پیپر میں 11 GB RTX 2080 Ti پر تقریباً 5 گھنٹے، lerobot کے ACT صفحہ کے مطابق 100k مراحل کے لیے چند گھنٹے، AY-Robots 24 GB ٹیر پر 2 سے 5 گھنٹے۔ اسے مختصر نہ کریں۔ ریفرنس ریپو کی README کے مطابق، ایک جھٹکے دار یا رک رک کر چلنے والی پالیسی کو عام طور پر مزید تربیت کی ضرورت ہوتی ہے، کیونکہ نقصان کے مستحکم ہونے کے بعد بھی کامیابی اور ہمواری بہتر ہوتی رہتی ہے: حقیقی دنیا کے ڈیٹا کے لیے اسے کم از کم 5000 ای پوکس، یا مستحکم ہونے کے بعد دوبارہ 3 سے 4 گنا زیادہ دورانیہ درکار ہوتا ہے۔

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

تربیت یافتہ پالیسی کو بازو پر چلانا

تعیناتی میں lerobot-rollout استعمال ہوتا ہے۔ کیمرہ کیز ریکارڈ شدہ کیز سے مماثل ہونی چاہئیں: ایک پالیسی جو front اور wrist پر تربیت یافتہ ہے وہ cam0 اور cam1 کو قبول نہیں کرے گی، اور rename_map مدد نہیں کرتا، کیونکہ اسے ایک پری ٹرینڈ چیک پوائنٹ کی ضرورت ہوتی ہے۔ ٹاسک سٹرنگ کو چھوڑا جا سکتا ہے؛ lerobot کی اپنی مثال اسے ACT کے لیے قابلِ گریز قرار دیتی ہے۔

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

حتمی ماڈل کی بجائے ایک چیک پوائنٹ کو پن کرنے کے لیے، شامل کریں --policy.pretrained_revision۔ اس کے لیے رن کا آغاز --save_checkpoint_to_hub=true کے ساتھ ہونا ضروری ہے، جو کہ بطور ڈیفالٹ بند ہوتا ہے: اس کے بغیر lerobot صرف حتمی ماڈل کو پش کرتا ہے اور کچھ نہیں۔ اس کے ساتھ، ہر چیک پوائنٹ کو اس کے زیرو پیڈڈ سٹیپ کے ساتھ ٹیگ کیا جاتا ہے، لہٰذا --policy.pretrained_revision=060000 60000 سٹیپ والے کو بازیافت کرتا ہے۔ اسے حقیقی بازو پر 100000 کے مقابلے میں جانچنا سب سے سستا دستیاب تجربہ ہے۔

ایک ہی چیک پوائنٹ تک پہنچنے کے دو راستے

اوپر بیان کردہ تمام طریقہ کار دستی ہے اور یہ کام کرتا ہے۔ پلیٹ فارم کا طریقہ کار GPU یا پائتھون ماحول کی ملکیت نہ ہونے کے بدلے کنٹرول کو قربان کرتا ہے۔

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

اصل میں کیا غلط ہوتا ہے

تقریباً تمام مشکلات ٹریننگ کمانڈ میں نہیں ہیں۔ بلکہ یہ اس کے ارد گرد کی چیزوں میں ہیں، اس ترتیب سے کہ وہ پہلی بار کتنی بار مسئلہ بنتی ہیں۔

دو قطاریں خاص توجہ کی مستحق ہیں۔ ACT LeRobot v3.0 پر تربیت حاصل کرتا ہے جبکہ GR00T کا لوڈر اس پر کریش ہو جاتا ہے اور اسے v2.1 کی ضرورت ہوتی ہے، لہذا ایک ڈیٹا سیٹ جو ACT کو تربیت دیتا ہے وہ GR00T رن کو ناکام کر سکتا ہے۔ اور آخری قطار میں دو حل ہیں: ACT کے مصنفین جھٹکے دار حرکت کا جواب مزید تربیت سے دیتے ہیں، جبکہ n_action_steps کو 100 پر رکھنے سے ایک حقیقی اسٹال چنک باؤنڈری پر ہوتا ہے، جو 30 fps پر ہر 3.3 سیکنڈ میں ایک واضح وقفہ ہے۔ مزید دو باتیں جاننے کے لیے: ایک واحد مردہ جوائنٹ عام طور پر ایک سروو آئی ڈی ہے جو کبھی نہیں لکھی گئی، اور ایک گریپر جو قریب آتا ہے لیکن کبھی بند نہیں ہوتا کا مطلب مظاہروں میں گریپر کی رینج بہت کم ہے۔ مکمل انڈیکس: ناکامی کے موڈ کے صفحات۔

ایک رن کی لاگت کیا ہے

یہ ACT سے شروع کرنے کی دلیل ہے، چاہے آپ بعد میں VLA چاہتے ہوں۔ ایک ناکام ACT رن کی قیمت ایک کافی کے برابر ہوتی ہے اور یہ آپ کو گھنٹوں کے اندر بتا دیتا ہے کہ آیا آپ کے ڈیٹا سیٹ میں وہ کام شامل ہے۔ ایک ناکام GR00T رن کی قیمت اسی سبق کے لیے چار گنا زیادہ ہے۔ اس کے بعد GR00T N1.7 یا SmolVLA بعد میں ایک شکل کی تبدیلی ہے، دوبارہ تعمیر نہیں۔ پس منظر: وژن-لینگویج-ایکشن ماڈلز، مکمل SO-100 گائیڈ، اپنی پہلی پالیسی کو تربیت دیں اور نقلی سیکھنا۔ کوئی بازو نہیں؟ لائیو صفحہ ایک حقیقی SO-100 کو بغیر سائن اپ کیے چلانے کے لیے سٹریم کرتا ہے۔