ACTን በSO-100 ላይ ከመጀመሪያው እንዴት ማሰልጠን እንደሚቻል

ACT ከSO-100 ፖሊሲዎች መካከል ልዩ ነው። GR00T N1.7 እና N1.5 የሚጀምሩት ከnvidia/GR00T-N1.7-3B እና nvidia/GR00T-N1.5-3B፣ Pi0.5 ከlerobot/pi05_base። ACT ከምንም አይጀምርም: የመሠረት ቼክፖይንት የለውም፣ ምክንያቱም የመሠረት ሞዴል ስላልሆነ። ይህ በግምት 80 ሚሊዮን ፓራሜትር ያለው ትራንስፎርመር ሲሆን በአንድ ተግባር ላይ፣ በእጅዎ ላይ፣ በእርስዎ ብርሃን ስር ከመጀመሪያው ጀምሮ የሚያሰለጥኑት ነው።

ለዚህም ነው የቁጥጥር እርምጃን በ20 ሚሴ ውስጥ የሚያከናውነው፣ 3 ቢሊዮን ፓራሜትር ያለው VLA ደግሞ ከ152 እስከ 485 ሚሴ የሚፈልግ ሲሆን፣ በአንድ ሩጫ ከ4 እስከ 12 ዶላር ፈንታ ከ1 እስከ 3 ዶላር ብቻ የሚያስከፍለው። ይህ መመሪያ በእጅ የሚሰራውን መንገድ ከለሮቦት በSO-100: መቅዳት፣ የact ኮንፊግ፣ ምን chunk_size እና n_action_steps እንደሚቆጣጠሩ፣ የ100000 እርምጃ መርሐግብር፣ ሮልአውት። ከዚያም ተመሳሳይ ስራ በAY-Robots ላይ፣ መድረኩ በማይረዳበት ቦታ ጭምር።

ACT በትክክል ምንድን ነው

Action Chunking with Transformers ከALOHA ወረቀት የመጣ ነው፣ ዝቅተኛ ወጪ ባላቸው ሃርድዌሮች ጥሩ ዝርዝር የሁለት እጅ ማኒፑሌሽን መማር፣ በዣኦ፣ ኩማር፣ ሌቪን እና ፊን፣ arXiv፣ 23 ኤፕሪል 2023። መሳሪያው በ50 Hz ይመዘግባል፣ አራት የድር ካሜራዎች 480x640 በ30 fps ያስተላልፋሉ፡ ሁለቱ በመያዣዎቹ ላይ፣ አንዱ ከላይ፣ አንዱ ከፊት። ረቂቁ ከ10 ደቂቃ ማሳያዎች ውስጥ ስድስት ክህሎቶችን ከ80 እስከ 90 በመቶ ስኬት እንዳላቸው ይናገራል፣ ከእነዚህም መካከል ግልጽ የሆነ የቅመማ ቅመም ኩባያ መክፈት እና ባትሪ ማስገባት ይገኙበታል።

የቀረጻ ክፍለ ጊዜ ሲያቅዱ ዋናው ክፍል የበለጠ ጠቃሚ ነው፡ ለእያንዳንዱ ተግባር 50 ማሳያዎች፣ Thread Velcro በ100 ከሚለው በስተቀር፣ ይህም ከ10 እስከ 20 ደቂቃ የውሂብ እና ከ30 እስከ 60 ደቂቃ የሰዓት ጊዜ ዳግም ማስጀመር ከተቆጠረ በኋላ ነው። ስኬትም ወጥ አይደለም፡ Thread Velcro በ20 በመቶ፣ Put On Shoe በ92፣ Cup Open በ84፣ Prep Tape በ64 ያበቃል።

የድርጊት መከፋፈል ዋናው ሀሳብ ነው

የተለመደው የባህሪ ክሎኒንግ አንድ ምልከታን ከአንድ ድርጊት ጋር ያዛምዳል፣ እና ስህተቶች ይከማቻሉ፡ መዛባት ክንዱን ከስርጭቱ ውጪ ያደርገዋል፣ የከፋ ድርጊት ያስከትላል፣ እና ከሰላሳ እርምጃዎች በኋላ ግሪፐሩ ከዕቃው አጠገብ አይሆንም። የድርጊት መከፋፈል በአንድ ጊዜ k ድርጊቶችን ይተነብያል እና ያስፈጽማል፣ ውጤታማውን አድማስ በ k እጥፍ ይቀንሳል። በተጨማሪም ከሰው መረጃ ጋር የተያያዘ ችግርን ይፈታል፡ ቴሌኦፕሬተሮች ለአፍታ ያቆማሉ፣ እና አንድ-ደረጃ ማርኮቪያን ፖሊሲ ከዚህ በፊት በነበረው ነገር ላይ የተመሰረተ ለአፍታ ማቆምን መቅረጽ አይችልም።

ጽሑፉ kን ከማረጋገጥ ይልቅ ያጠፋዋል። ጊዜያዊ ስብስብ ሲጠፋ፣ በአራት ቅንብሮች ላይ በአማካይ ሲታይ፣ ስኬት በ k = 1 ከ 1 በመቶ ወደ 44 በመቶ በ k = 100 ይጨምራል፣ ከዚያም ፖሊሲው ወደ ክፍት-ሉፕ ቁጥጥር ሲቃረብ በ 200 እና 400 ላይ ይቀንሳል። ያ ኩርባ ነባሪው 100 የሆነበት ምክንያት ነው።

• chunk_size: ዲኮደሩ በአንድ ፎርዋርድ ፓስ ምን ያህል የወደፊት ድርጊቶችን እንደሚተነብይ። ነባሪ 100።
• n_action_steps: እንደገና ከመጠየቅዎ በፊት ከእነዚህ ውስጥ ስንቱን እንደሚፈጽሙ። ነባሪ 100 ነው፣ ስለዚህ lerobot ሙሉውን ቸንክ ክፍት ሉፕ ያካሂዳል።
• lerobot n_action_steps <= chunk_size መሆኑን ያረጋግጣል እና በተቃራኒው ከሆነ ValueError ያነሳል።

በአሰራር ደረጃ አስፈላጊው chunk_size በ frame rate የተከፈለው ነው። lerobot's SO-100 ምሳሌዎች በሚጠቀሙት 30 fps፣ የ100 ቸንክ ከአንድ ምልከታ ወደ 3.3 ሰከንዶች ያህል ይወስዳል። ስራው በዚያ መስኮት ውስጥ እርማት የሚያስፈልገው ከሆነ፣ n_action_stepsን ይቀንሱ እንጂ chunk_sizeን አይደለም። ረጅም ትንበያውን ይዘው ብዙ ጊዜ እንደገና ይመለከታሉ።

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT የመሠረት ሞዴልን ሲያሸንፍ

አምስቱ የሰለጠኑ ፖሊሲዎች ጎን ለጎን፣ AY-Robots የሚለካቸው እና የሚከራየውን ጂፒዩ መጠን ለመወሰን የሚጠቀምባቸው ቁጥሮች።

ተግባር እና ትዕይንት ቋሚ ሲሆኑ እና እንቅስቃሴ ፈጣንና ትክክለኛ መሆን ሲኖርበት ACTን ይምረጡ። አንድ የፍተሻ ነጥብ ብዙ መመሪያዎችን መሸፈን ሲኖርበት ይምረጡ። ሁለት ገጾች ውሳኔውን ፊት ለፊት ያነጻጽራሉ፡ እና ። ለታተሙ መለኪያዎች፣ እያንዳንዱን ቁጥር ወደ ምንጩ ያገናኛል።

ከመጀመርዎ በፊት የሚያስፈልግዎ ነገር

አንድ ተከታይ ክንድ፣ አንድ መሪ ክንድ ለ፣ ቢያንስ አንድ ካሜራ፣ 24 ጂቢ ጂፒዩ። ACT ምስሎችን እና የመገጣጠሚያ ቦታዎችን ብቻ ያነባል። ሁለት ካሜራዎች ምርጥ አማራጭ ናቸው፡ ነገሮች የት እንዳሉ ለማሳየት ቋሚ የፊት እይታ፣ እና ሊነካው ያለውን ለማሳየት የእጅ አንጓ ካሜራ፣ እንደ ALOHA ላይ።

ከባዶ ክንድ እስከ የተቀዳ የውሂብ ስብስብ

ከታች ያለው ፍሰት lerobot 0.6.x ነው። የተስተካከለ ክንድ እና የውሂብ ስብስብ ካለዎት ይዝለሉት። ያለበለዚያ SO-100 የመጀመርያ መመሪያ፣ ስብሰባን ይሸፍናል፣ የመቅጃ መመሪያ ቀረጻን ይሸፍናል እና የውሂብ ስብስብ ሰነዶች ቅርጸቱን ይሸፍናል።

1. 1
   ለሮቦትን በትክክለኛ ተጨማሪዎች ይጫኑ

   ለመቅዳት core_scripts፣ ለማሰልጠን training፣ ለFeetech ሰርቮስ feetech ያስፈልጋል። ፓይዘን 3.12+።

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   የእያንዳንዱን ክንድ የዩኤስቢ ወደብ ያግኙ

   ሁለቱንም ክንዶች ሰክተው ያሂዱት፣ ሲጠየቁ አንዱን ይንቀሉ። በሊኑክስ ላይ የኖድ ፍቃዶችን መክፈት ሊያስፈልግዎ ይችላል።

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   የሞተር መታወቂያዎችን እና ባውድሬትን ያዘጋጁ

   በSO-100 ላይ ይህ የሚሆነው ከመገጣጠሙ በፊት ነው፡ ከSO-101 በተለየ መልኩ አንዴ ከተገነባ በኋላ ማገናኛዎቹ ሊደረስባቸው አይችሉም። ስክሪፕቱ ከአውቶቡሱ ላይ አንድ ሞተር በአንድ ጊዜ ከግሪፐር በመነሳት መታወቂያዎችን ወደ EEPROM ይጽፋል።

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   ሁለቱንም ክንዶች ያስተካክሉ (ካሊብሬት ያድርጉ)

   እያንዳንዱን መገጣጠሚያ ወደ መካከለኛው ቦታው ያዘጋጁ፣ አስገባን ይጫኑ፣ ከዚያም እያንዳንዱን ሙሉ ክልሉን እንዲያልፍ ያድርጉ። ካሊብሬሽን በአንድ ክንድ ላይ የሰለጠነ ፖሊሲ በሌላኛው ላይ እንዲሰራ ያስችላል። ተመሳሳይ idን እንደገና ይጠቀሙ።

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   ካሜራዎቹ በርተው አንድ ጊዜ በቴሌኦፕሬት ያድርጉ

   የለሮቦት አጠቃላይ መመሪያ፡ ስራውን የካሜራ ምስሎችን ብቻ በመመልከት ማከናወን መቻል አለብዎት። ካልቻሉ፣ ACTም አይችልም። ይህ ከኋላ ከሚደረግ ማረም (debugging) የበለጠ መጥፎ የውሂብ ስብስቦችን ይይዛል።

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 ክፍሎችን ይመዝግቡ

   50 የAY-Robots ዝቅተኛው እና ALOHA ለእያንዳንዱ ተግባር የተጠቀመው ነው። ለሮቦት ለእያንዳንዱ የነገር ቦታ 10፣ ካሜራዎች ቋሚ፣ መያዣው ወጥ እንዲሆን ይመክራል። n አንድ ክፍልን ያበቃል፣ r እንደገና ይመዘግባል፣ q ያቆማል እና ኢንኮድ ያደርጋል።

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

ከማሰልጠንዎ በፊት ቢያንስ አምስት ክፍሎችን እንደገና ያጫውቱ። የለሮቦት የውሂብ ስብስብ ቅርጸት የካሜራ ዥረቶችን፣ የመገጣጠሚያ ሁኔታዎችን እና ድርጊቶችን ለእያንዳንዱ ክፍል ያከማቻል፣ እና መልሶ ማጫወት እነዚያን ድርጊቶች ወደ ክንዱ ይመልሳል። መልሶ ማጫወቱ ስራውን ካላከናወነ፣ ውሂቡ የያዘው አይደለም እና ስልጠናው አይፈጥረውም።

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

የACT ፖሊሲን ማሰልጠን

ይህ ሙሉ ትዕዛዙ ነው። ሁሉም ACT-ተኮር ነገሮች አስቀድሞ ነባሪ ናቸው፣ ለዚህም ነው የlerobot ACT ገጽ ከእነሱ ጋር እንዲጀምሩ የሚመክረው።

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act የመረጃ ስብስብዎ የያዛቸውን የሞተሮች እና የካሜራዎች ብዛት የሚስማማውን ACTConfig ይጭናል፣ ስለዚህ የምልከታ ቅርፅን በጭራሽ አይገልጹም። --wandb.enable=true አማራጭ እና ጠቃሚ ነው፡ የኪሳራ ኩርባ በ100000 እርምጃ ሩጫ ውስጥ ብቸኛው ርካሽ ምልክት ነው። መርሐግብሩ የሚመጣው ከlerobot የሥልጠና ውቅር እንጂ ከACTConfig አይደለም፡ 100000 እርምጃዎች፣ ባች 8፣ ሲድ 1000፣ እና ቼክፖይንት በየ20000 እርምጃዎች፣ በየ200 ምዝገባ።

ሙሉ ሩጫ አምስት የቼክፖይንት ማውጫዎችን፣ ከ020000 እስከ 100000፣ በተጨማሪም last ሲምሊንክ ይተዋል። ሁሉንም ያስቀምጡ፡ ምርጡ ፖሊሲ ብዙውን ጊዜ የመጨረሻው አይደለም።

የቆይታ ጊዜ፡ በጽሁፉ ላይ ባለው 11 ጂቢ RTX 2080 Ti ላይ ወደ 5 ሰዓታት ገደማ፣ በለሮቦት ACT ገጽ መሰረት ለ100k እርምጃዎች ጥቂት ሰዓታት፣ በAY-Robots 24 ጂቢ ደረጃ ላይ ከ2 እስከ 5 ሰዓታት። አያሳጥሩት። የማጣቀሻው ሪፖ README እንደሚያመለክተው የሚንቀጠቀጥ ወይም የሚቆም ፖሊሲ ብዙውን ጊዜ ተጨማሪ ስልጠና ይፈልጋል፣ ምክንያቱም ኪሳራው ከተረጋጋ በኋላ ስኬት እና ቅልጥፍና እየተሻሻሉ ስለሚሄዱ፡ ለእውነተኛ ዓለም መረጃ ቢያንስ 5000 ኢፖክስ ወይም ከተረጋጋ በኋላ ከ3 እስከ 4 እጥፍ የሚበልጥ ርዝመት ይፈልጋል።

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

የሰለጠነውን ፖሊሲ በክንዱ ላይ ማስኬድ

ማሰማራት የሚጠቀመው lerobot-rollout ነው። የካሜራ ቁልፎች ከተመዘገቡት ጋር መዛመድ አለባቸው፡ በfront እና wrist ላይ የሰለጠነ ፖሊሲ cam0 እና cam1 አይቀበልም፣ እና rename_map አይረዳም፣ ምክንያቱም ቅድመ-የሰለጠነ የፍተሻ ነጥብ ስለሚያስፈልገው። የተግባር ሕብረቁምፊው ሊተው ይችላል፤ የለሮቦት የራሱ ምሳሌ ለACT ሊዘለል የሚችል አድርጎ ይገልጸዋል።

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

የመጨረሻውን ሞዴል ሳይሆን ቼክፖይንትን ለመሰካት፣ ይጨምሩ --policy.pretrained_revision። ይህ ሩጫው የጀመረው በ --save_checkpoint_to_hub=true፣ በነባሪነት ጠፍቷል፡ ያለሱ lerobot የመጨረሻውን ሞዴል እንጂ ሌላ ምንም አይገፋም። በእሱ አማካኝነት እያንዳንዱ ቼክፖይንት በዜሮ በተሞላው ደረጃው ምልክት ይደረግበታል፣ ስለዚህ --policy.pretrained_revision=060000 የ60000ኛውን ደረጃ ይመልሳል። በእውነተኛው ክንድ ላይ ከ100000 ጋር ማወዳደር በጣም ርካሹ ሙከራ ነው።

ወደ አንድ አይነት ቼክፖይንት የሚወስዱ ሁለት መንገዶች

ከላይ ያለው ሁሉ በእጅ የሚሰራ መንገድ ሲሆን ይሰራል። የፕላትፎርም መንገድ ደግሞ የግራፊክስ ካርድ (GPU) ወይም የፓይዘን አካባቢ (Python environment) ባለቤት አለመሆንን በመምረጥ ቁጥጥርን ይተካል።

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

በእርግጥ ምን ስህተት ይፈጠራል

ከስልጠና ትዕዛዙ ጋር የተያያዘው ችግር እምብዛም አይደለም። ችግሩ በዙሪያው ባሉ ነገሮች ላይ ነው፣ ለመጀመሪያ ጊዜ ምን ያህል ጊዜ እንደሚያስቸግሩ በቅደም ተከተል ተዘርዝሯል።

ሁለት ረድፎች ትኩረት ሊሰጣቸው ይገባል። ACT በLeRobot v3.0 ላይ ሲሰለጥን የGR00T ሎደር ግን በእሱ ላይ ይበላሻል እና v2.1 ያስፈልገዋል፣ ስለዚህ ACTን የሚያሰለጥን የውሂብ ስብስብ የGR00Tን አሂድ ሊያበላሽ ይችላል። እና የመጨረሻው ረድፍ ሁለት መፍትሄዎች አሉት፡ የACT ደራሲዎች የሚንቀጠቀጥ እንቅስቃሴን በበለጠ ስልጠና ይመልሳሉ፣ በ n_action_steps በ100 ላይ እውነተኛ መቆም በቁራጭ ወሰን ላይ ያርፋል፣ በ30 fps በየ3.3 ሰከንዱ የሚታይ ለአፍታ ማቆም ይኖራል። ሌላ ሁለት ማወቅ ያለብዎት፡ አንድ የሞተ መገጣጠሚያ ብዙውን ጊዜ በፍፁም ያልተፃፈ የሰርቮ መለያ፣ እና የሚቀርብ ግን በፍፁም የማይዘጋ ግሪፐር ማለት በማሳያዎቹ ውስጥ በጣም ትንሽ የግሪፐር ክልል ማለት ነው። ሙሉ ማውጫ: የውድቀት ሁነታ ገጾች.

አንድ አሂድ ምን ያህል ያስከፍላል

በኋላ VLA ቢፈልጉም በACT ለመጀመር ይህ ምክንያት ነው። ያልተሳካ የACT ሩጫ የቡና ዋጋ ያስከፍላል እና የውሂብ ስብስብዎ ስራውን እንደያዘ በሰዓታት ውስጥ ይነግርዎታል። ያልተሳካ የGR00T ሩጫ ለተመሳሳይ ትምህርት አራት እጥፍ ያስከፍላል። ወደ GR00T N1.7 ወይም SmolVLA በኋላ መሄድ የቅርጽ ለውጥ እንጂ እንደገና መገንባት አይደለም። ዳራ: የእይታ-ቋንቋ-ድርጊት ሞዴሎች, የ ሙሉ የSO-100 መመሪያ, የመጀመሪያ ፖሊሲዎን ያሰልጥኑ እና የመኮረጅ ትምህርት። ክንድ የለም? የቀጥታ ገጹ እውነተኛ SO-100ን ያለምዝገባ ለመንዳት ያስችላል።