শুরু থেকে SO-100-এ ACT-কে কীভাবে প্রশিক্ষণ দেবেন

SO-100 নীতিগুলির মধ্যে ACT একটি ব্যতিক্রম। GR00T N1.7 এবং N1.5 শুরু হয় nvidia/GR00T-N1.7-3B এবং nvidia/GR00T-N1.5-3B, Pi0.5 থেকে lerobot/pi05_base। ACT শূন্য থেকে শুরু হয়: এর কোনো বেস চেকপয়েন্ট নেই, কারণ এটি কোনো ফাউন্ডেশন মডেল নয়। এটি প্রায় 80 মিলিয়ন প্যারামিটার বিশিষ্ট একটি ট্রান্সফরমার যা আপনি একটি নির্দিষ্ট কাজ, আপনার রোবটের বাহু এবং আপনার আলোর অধীনে স্ক্র্যাচ থেকে প্রশিক্ষণ দেন।

এ কারণেই এটি 20 ms-এ একটি নিয়ন্ত্রণ ধাপ চালায়, যেখানে একটি 3 বিলিয়ন প্যারামিটার VLA-এর জন্য 152 থেকে 485 ms প্রয়োজন হয় এবং প্রতি রানে 4 থেকে 12 USD-এর পরিবর্তে 1 থেকে 3 USD খরচ হয়। এই নির্দেশিকাটি ম্যানুয়াল পদ্ধতি অনুসরণ করে lerobot একটি SO-100-এ: রেকর্ড, act কনফিগ, কী chunk_size এবং n_action_steps নিয়ন্ত্রণ করে, 100000 ধাপের সময়সূচী, রোলআউট। তারপর AY-Robots-এ একই কাজ, যেখানে প্ল্যাটফর্ম সাহায্য করে না সেই ক্ষেত্রগুলি সহ।

ACT আসলে কী

অ্যাকশন চাংকিং উইথ ট্রান্সফরমার্স (ACT) ALOHA পেপার থেকে এসেছে, কম খরচের হার্ডওয়্যার দিয়ে সূক্ষ্ম দ্বিপাক্ষিক ম্যানিপুলেশন শেখা, ঝাও, কুমার, লেভিন এবং ফিন দ্বারা, arXiv, 23 এপ্রিল 2023। রিগটি 50 Hz এ রেকর্ড করে চারটি ওয়েবক্যাম 30 fps এ 480x640 স্ট্রিম করে: দুটি গ্রিপারগুলিতে, একটি উপরে, একটি সামনে। অ্যাবস্ট্রাক্টটি 10 মিনিটের প্রদর্শনী থেকে 80 থেকে 90 শতাংশ সাফল্যের সাথে ছয়টি দক্ষতার দাবি করে, যার মধ্যে একটি স্বচ্ছ মশলা কাপ খোলা এবং একটি ব্যাটারি স্লট করা।

রেকর্ডিং সেশন পরিকল্পনা করার সময় মূল অংশটি আরও কার্যকর: প্রতি টাস্কে 50টি প্রদর্শনী, থ্রেড ভেলক্রো 100টি ছাড়া, যা 10 থেকে 20 মিনিটের ডেটা এবং রিসেট গণনা করার পর 30 থেকে 60 মিনিটের ওয়াল-ক্লক সময়। সাফল্যও একরকম নয়: থ্রেড ভেলক্রো 20 শতাংশে শেষ হয়, পুট অন শু 92, কাপ ওপেন 84, প্রেপ টেপ 64।

অ্যাকশন চাংকিংই মূল ধারণা

সাধারণ আচরণগত ক্লোনিং একটি পর্যবেক্ষণকে একটি অ্যাকশনে ম্যাপ করে, এবং ত্রুটিগুলি জমা হয়: একটি বিচ্যুতি হাতকে বিতরণ থেকে সরিয়ে দেয়, একটি খারাপ অ্যাকশন তৈরি করে, এবং ত্রিশ ধাপ পরে গ্রিপার বস্তুর কাছাকাছিও থাকে না। অ্যাকশন চাংকিং একবারে k সংখ্যক অ্যাকশন ভবিষ্যদ্বাণী করে এবং সেগুলিকে কার্যকর করে, কার্যকর দিগন্তকে k গুণ কমিয়ে দেয়। এটি মানুষের ডেটার জন্য নির্দিষ্ট একটি উপদ্রবও পরিচালনা করে: টেলিঅপারেটররা বিরতি নেয়, এবং একটি একক-ধাপের মার্কোভিয়ান পলিসি আগের ঘটনার উপর নির্ভরশীল একটি বিরতিকে মডেল করতে পারে না।

গবেষণাপত্রটি k-কে জোর দিয়ে বলার পরিবর্তে এটিকে অ্যাবলেট করে। টেম্পোরাল এনসেম্বলিং বন্ধ রেখে, চারটি সেটিংসে গড় করে, k = 1 এ সাফল্যের হার 1 শতাংশ থেকে k = 100 এ 44 শতাংশে উন্নীত হয়, তারপর পলিসি ওপেন-লুপ নিয়ন্ত্রণের কাছাকাছি আসার সাথে সাথে 200 এবং 400 এ কমে যায়। এই বক্ররেখাটিই ডিফল্ট 100 হওয়ার কারণ।

• chunk_size: ডিকোডার প্রতি ফরোয়ার্ড পাসে কতগুলি ভবিষ্যৎ অ্যাকশন অনুমান করে। ডিফল্ট 100।
• n_action_steps: আবার কোয়েরি করার আগে আপনি সেগুলির মধ্যে কতগুলি কার্যকর করেন। ডিফল্ট 100, তাই lerobot পুরো চাঙ্কটি ওপেন লুপে চালায়।
• lerobot `n_action_steps <= chunk_size` যাচাই করে এবং যদি আপনি এটি উল্টোভাবে দেন তবে একটি `ValueError` উত্থাপন করে।

কার্যকরীভাবে যা গুরুত্বপূর্ণ তা হল chunk_size কে ফ্রেম রেট দ্বারা ভাগ করা। lerobot-এর SO-100 উদাহরণগুলিতে ব্যবহৃত 30 fps-এ, 100-এর একটি চাঙ্ক একটি পর্যবেক্ষণ থেকে প্রায় 3.3 সেকেন্ডের জন্য কাজ করে। যদি কাজটি সেই উইন্ডোর মধ্যে একটি সংশোধনের প্রয়োজন হয়, তবে n_action_steps কমান, chunk_size নয়: আপনি দীর্ঘ পূর্বাভাস বজায় রাখেন এবং আরও ঘন ঘন পুনরায় পর্যবেক্ষণ করেন।

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

যখন ACT একটি ফাউন্ডেশন মডেলকে হারায়

পাঁচটি প্রশিক্ষণযোগ্য নীতি পাশাপাশি, AY-Robots যে সংখ্যাগুলি পরিমাপ করে এবং তার ভাড়া করা GPU-এর আকার নির্ধারণ করতে ব্যবহার করে।

যখন টাস্ক এবং দৃশ্য স্থির থাকে এবং গতি দ্রুত ও নির্ভুল হতে হয়, তখন ACT বেছে নিন। একটি যখন একটি চেকপয়েন্টকে একাধিক নির্দেশনা কভার করতে হয়, তখন একটি ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল বেছে নিন। দুটি পৃষ্ঠা এই সিদ্ধান্তকে মুখোমুখি তুলনা করে: এবং । প্রকাশিত বেঞ্চমার্কের জন্য, প্রতিটি সংখ্যাকে তার উৎসের সাথে সংযুক্ত করে।

শুরু করার আগে আপনার যা প্রয়োজন

একটি ফলোয়ার আর্ম, একটি লিডার আর্ম , কমপক্ষে একটি ক্যামেরা, একটি ২৪ GB GPU। ACT শুধুমাত্র ছবি এবং জয়েন্ট পজিশন পড়ে। দুটি ক্যামেরা হল আদর্শ: জিনিসগুলি কোথায় আছে তার জন্য একটি স্থির সামনের দৃশ্য, এবং কী স্পর্শ করতে চলেছে তার জন্য একটি রিস্ট ক্যামেরা, যেমন ALOHA-তে।

খালি আর্ম থেকে রেকর্ড করা ডেটাসেট পর্যন্ত

নিচের ফ্লোটি হল lerobot 0.6.x। আপনার কাছে যদি একটি ক্যালিব্রেটেড আর্ম এবং একটি ডেটাসেট থাকে তবে এটি এড়িয়ে যান। অন্যথায় SO-100 শুরু করার নির্দেশিকা অ্যাসেম্বলি কভার করে, রেকর্ডিং ওয়াকথ্রু ক্যাপচার কভার করে এবং ডেটাসেট ডকুমেন্টেশন ফরম্যাটটি কভার করে।

1. 1
   সঠিক এক্সট্রা সহ lerobot ইনস্টল করুন

   রেকর্ডিংয়ের জন্য core_scripts, প্রশিক্ষণের জন্য training, Feetech সার্ভোর জন্য feetech প্রয়োজন। পাইথন 3.12+।

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   প্রতিটি হাতের USB পোর্ট খুঁজুন

   উভয় হাত সংযুক্ত রেখে এটি চালান, প্রম্পট করা হলে একটি খুলে ফেলুন। লিনাক্সে আপনার নোড পারমিশন খুলতে হতে পারে।

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   মোটর আইডি এবং বাউডরেট সেট করুন

   SO-100-এ এটি অ্যাসেম্বলির আগে ঘটে: SO-101-এর বিপরীতে, একবার তৈরি হয়ে গেলে কানেক্টরগুলি নাগালের বাইরে থাকে। স্ক্রিপ্টটি গ্রিপার থেকে একবারে একটি মোটর করে বাস বরাবর চলে, EEPROM-এ আইডি লেখে।

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   উভয় হাত ক্যালিব্রেট করুন

   প্রতিটি জয়েন্টকে তার পরিসরের মাঝখানে সেট করুন, এন্টার চাপুন, তারপর প্রতিটি জয়েন্টকে তার সম্পূর্ণ পরিসরের মধ্য দিয়ে সুইপ করুন। ক্যালিব্রেশন একটি হাতে প্রশিক্ষিত নীতিকে অন্য হাতে চালাতে দেয়। একই id পুনরায় ব্যবহার করুন।

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   ক্যামেরা চালু রেখে একবার টেলিঅপারেট করুন

   lerobot-এর সাধারণ নিয়ম: আপনার শুধুমাত্র ক্যামেরার ছবি দেখে কাজটি করতে সক্ষম হওয়া উচিত। যদি আপনি না পারেন, ACT-ও পারবে না। এটি পরবর্তী ডিবাগিংয়ের চেয়ে বেশি খারাপ ডেটাসেট ধরে ফেলে।

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50টি পর্ব রেকর্ড করুন

   50 হল AY-Robots-এর ন্যূনতম এবং ALOHA প্রতি টাস্কে যা ব্যবহার করত। lerobot প্রতি অবজেক্ট লোকেশনে 10টি, ক্যামেরা স্থির রেখে, গ্রাস্প সামঞ্জস্যপূর্ণ রাখার পরামর্শ দেয়। n একটি পর্ব শেষ করে, r পুনরায় রেকর্ড করে, q থামায় এবং এনকোড করে।

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

প্রশিক্ষণের আগে, অন্তত পাঁচটি পর্ব পুনরায় চালান। ক্যামেরা স্ট্রিম, জয়েন্ট স্টেট এবং অ্যাকশন প্রতি সংরক্ষণ করে, এবং রিপ্লে সেই অ্যাকশনগুলিকে হাতের দিকে ঠেলে দেয়। যদি রিপ্লে কাজটি না করে, তবে ডেটাতে এটি থাকে না এবং প্রশিক্ষণ এটি উদ্ভাবন করবে না।

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT পলিসি প্রশিক্ষণ

এটি সম্পূর্ণ কমান্ড। ACT-নির্দিষ্ট সবকিছুই ইতিমধ্যেই ডিফল্ট, এই কারণেই lerobot ACT পৃষ্ঠা তাদের দিয়ে শুরু করতে বলে।

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ACTConfig লোড করে, যা আপনার ডেটাসেটে রেকর্ড করা মোটর এবং ক্যামেরার সংখ্যার সাথে খাপ খাইয়ে নেয়, তাই আপনাকে পর্যবেক্ষণের আকার ঘোষণা করতে হয় না। --wandb.enable=true ঐচ্ছিক এবং এর মূল্য আছে: 100000 ধাপের একটি রানে লস কার্ভই একমাত্র সস্তা সংকেত। শিডিউলটি lerobot-এর ট্রেন কনফিগ থেকে আসে, ACTConfig থেকে নয়: 100000 ধাপ, ব্যাচ 8, সিড 1000, একটি চেকপয়েন্ট প্রতি 20000 ধাপে একটি, এবং প্রতি 200 ধাপে লগিং।

একটি সম্পূর্ণ রান পাঁচটি চেকপয়েন্ট ডিরেক্টরি রেখে যায়, 020000 থেকে 100000 পর্যন্ত, সাথে একটি শেষ সিমলিঙ্ক। সবগুলি রাখুন: সেরা নীতিটি প্রায়শই শেষটি হয় না।

সময়কাল: পেপারে একটি 11 GB RTX 2080 Ti-তে প্রায় 5 ঘন্টা, lerobot-এর ACT পৃষ্ঠা অনুযায়ী 100k স্টেপের জন্য কয়েক ঘন্টা, AY-Robots 24 GB টায়ারে 2 থেকে 5 ঘন্টা। এটি সংক্ষিপ্ত করবেন না। রেফারেন্স রেপোর README বলে যে একটি ঝাঁকুনিপূর্ণ বা থেমে থেমে চলা পলিসির সাধারণত আরও প্রশিক্ষণ, কারণ লস প্লেটোতে পৌঁছানোর পরেও সাফল্য এবং মসৃণতা উন্নত হতে থাকে: বাস্তব-বিশ্বের ডেটার জন্য এটি কমপক্ষে 5000 ইপোক চায়, অথবা প্লেটোর পরে আরও 3 থেকে 4 গুণ বেশি সময়।

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

প্রশিক্ষিত পলিসিটি বাহুতে চালানো হচ্ছে

ডিপ্লয়মেন্ট ব্যবহার করে lerobot-rollout। ক্যামেরা কীগুলি রেকর্ড করা কীগুলির সাথে মিলতে হবে: একটি পলিসি যা front এবং wrist এর উপর প্রশিক্ষিত, সেটি cam0 এবং cam1 গ্রহণ করবে না, এবং rename_map সাহায্য করে না, কারণ এটির একটি প্রিট্রেইনড চেকপয়েন্ট প্রয়োজন। টাস্ক স্ট্রিং বাদ দেওয়া যেতে পারে; lerobot-এর নিজস্ব উদাহরণে ACT-এর জন্য এটিকে স্কিপযোগ্য হিসাবে চিহ্নিত করা হয়েছে।

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

চূড়ান্ত মডেলের পরিবর্তে একটি চেকপয়েন্ট পিন করতে, যোগ করুন --policy.pretrained_revision। এর জন্য রানটি শুরু হতে হবে --save_checkpoint_to_hub=true, ডিফল্টরূপে বন্ধ: এটি ছাড়া lerobot শুধুমাত্র চূড়ান্ত মডেলটি পুশ করে এবং অন্য কিছু নয়। এটি সহ, প্রতিটি চেকপয়েন্ট তার শূন্য-প্যাড করা ধাপ দিয়ে ট্যাগ করা হয়, তাই --policy.pretrained_revision=060000 60000 ধাপের চেকপয়েন্টটি পুনরুদ্ধার করে। আসল আর্মের উপর 100000 এর সাথে এর তুলনা করা সবচেয়ে সস্তা পরীক্ষা।

একই চেকপয়েন্টে পৌঁছানোর দুটি পথ

উপরের সবকিছুই ম্যানুয়াল পদ্ধতি এবং এটি কাজ করে। প্ল্যাটফর্ম পদ্ধতিটি একটি GPU বা পাইথন পরিবেশের মালিকানা না থাকার বিনিময়ে নিয়ন্ত্রণ ত্যাগ করে।

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

আসলে কী ভুল হয়

প্রশিক্ষণ কমান্ডে প্রায় কোনো সমস্যাই থাকে না। সমস্যাগুলি এর চারপাশের জিনিসগুলিতে থাকে, যা প্রথমবার কত ঘন ঘন সমস্যা সৃষ্টি করে তার উপর ভিত্তি করে সাজানো হয়েছে।

দুটি সারি জোর দেওয়ার মতো। ACT LeRobot v3.0-এ প্রশিক্ষণ নেয় যখন GR00T-এর লোডার এতে ক্র্যাশ করে এবং v2.1 প্রয়োজন হয়, তাই ACT-কে প্রশিক্ষণ দেয় এমন একটি ডেটাসেট GR00T রান ব্যর্থ করতে পারে। এবং শেষ সারিতে দুটি সমাধান রয়েছে: ACT লেখকরা ঝাঁকুনিপূর্ণ গতির উত্তর দেন আরও প্রশিক্ষণের মাধ্যমে, যখন n_action_steps 100-এ একটি আসল স্টল একটি চাঙ্ক বাউন্ডারিতে পড়ে, 30 fps-এ প্রতি 3.3 সেকেন্ডে একটি দৃশ্যমান বিরতি। আরও দুটি বিষয় জানার আছে: একটি একক ডেড জয়েন্ট সাধারণত একটি সার্ভো আইডি যা কখনও লেখা হয়নি, এবং একটি গ্রিপার যা কাছে আসে কিন্তু কখনও বন্ধ হয় না মানে প্রদর্শনীতে গ্রিপার রেঞ্জ খুব কম। সম্পূর্ণ সূচক: ব্যর্থতার মোড পৃষ্ঠাগুলি.

একটি রানের খরচ কত

পরে VLA চাইলেও ACT দিয়ে শুরু করার যুক্তি এটাই। একটি ব্যর্থ ACT রানের খরচ এক কাপ কফির দামের সমান এবং কয়েক ঘণ্টার মধ্যেই আপনাকে জানিয়ে দেয় যে আপনার ডেটাসেটে কাজটি আছে কিনা। একটি ব্যর্থ GR00T রানের খরচ একই শিক্ষার জন্য এর চারগুণ। পরবর্তীতে GR00T N1.7 অথবা SmolVLA এ উন্নীত হওয়া একটি ফর্ম পরিবর্তন, পুনর্নির্মাণ নয়। পটভূমি: ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল, সম্পূর্ণ SO-100 গাইড, আপনার প্রথম পলিসি প্রশিক্ষণ দিন এবং ইমিটেশন লার্নিং। কোনো আর্ম নেই? লাইভ পৃষ্ঠা একটি আসল SO-100 স্ট্রিম করে যা সাইন আপ না করেই চালানো যায়।