SO-100 මත ACT මුල සිට පුහුණු කරන්නේ කෙසේද

SO-100 ප්‍රතිපත්ති අතරින් ACT යනු සුවිශේෂී එකකි. GR00T N1.7 සහ N1.5 ආරම්භ වන්නේ nvidia/GR00T-N1.7-3B සහ nvidia/GR00T-N1.5-3B වෙතින් වන අතර, Pi0.5 ආරම්භ වන්නේ lerobot/pi05_base වෙතින්ය. ACT කිසිවකින් ආරම්භ නොවේ: එය පදනම් ආකෘතියක් (foundation model) නොවන නිසා මූලික චෙක්පොයින්ට් එකක් නොමැත. එය ආසන්න වශයෙන් මිලියන 80ක පරාමිති සහිත ට්‍රාන්ස්ෆෝමරයක් වන අතර, ඔබ එය එක් කාර්යයක් සඳහා, ඔබේ රොබෝ අත මත, ඔබේ ආලෝකකරණය යටතේ මුල සිට පුහුණු කරයි.

බිලියන 3ක පරාමිති සහිත VLA එකකට 152 සිට 485 ms අවශ්‍ය වන තැන, මෙය පාලන පියවරක් 20 ms තුළ ක්‍රියාත්මක කරන්නේ එබැවිනි, තවද එක් ධාවනයකට 4 සිට 12 USD වෙනුවට 1 සිට 3 USD වැය වේ. මෙම මාර්ගෝපදේශය අතින් සිදු කරන ක්‍රමය විස්තර කරයි lerobot මත SO-100 එකක් මත: වාර්තා කිරීම, act වින්‍යාසය, chunk_size සහ n_action_steps පාලනය කරන්නේ කුමක්දැයි, 100000 පියවර කාලසටහන, සහ රෝල්අවුට්. ඉන්පසු AY-Robots මත එම කාර්යයම, වේදිකාව උදව් නොකරන අවස්ථාද ඇතුළුව.

ACT යනු ඇත්ත වශයෙන්ම කුමක්ද

Action Chunking with Transformers ALOHA පත්‍රිකාවෙන් පැමිණේ, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, Zhao, Kumar, Levine සහ Finn විසින්, arXiv, 2023 අප්‍රේල් 23. මෙම උපකරණය 50 Hz වේගයකින් පටිගත කරන අතර, වෙබ් කැමරා හතරක් 480x640 විභේදනයෙන් 30 fps වේගයකින් විකාශනය කරයි: දෙකක් ග්‍රිපර් මත, එකක් ඉහළින්, එකක් ඉදිරිපසින්. සාරාංශය අනුව, විනිවිද පෙනෙන කුළුබඩු කෝප්පයක් විවෘත කිරීම සහ බැටරියක් ඇතුළු කිරීම ඇතුළු කුසලතා හයක් 80 සිට 90 ප්‍රතිශතයක් සාර්ථක වී ඇති අතර, එය විනාඩි 10ක නිරූපණ වලින් ලබාගෙන ඇත.

පටිගත කිරීමේ සැසියක් සැලසුම් කිරීමේදී ප්‍රධාන කොටස වඩාත් ප්‍රයෝජනවත් වේ: එක් කාර්යයක් සඳහා නිරූපණ 50ක්, Thread Velcro සඳහා 100ක් හැර, එය දත්ත විනාඩි 10 සිට 20ක් සහ නැවත සැකසීම් ගණනය කළ පසු බිත්ති ඔරලෝසු වේලාව විනාඩි 30 සිට 60ක් වේ. සාර්ථකත්වය ද ඒකාකාරී නොවේ: Thread Velcro 20 ප්‍රතිශතයකින් අවසන් වේ, Put On Shoe 92, Cup Open 84, Prep Tape 64.

ක්‍රියා ඛණ්ඩනය සම්පූර්ණ අදහසයි

සාමාන්‍ය චර්යාත්මක ක්ලෝනකරණය එක් නිරීක්ෂණයක් එක් ක්‍රියාවකට සිතියම්ගත කරයි, සහ දෝෂ එකතු වේ: අපගමනයක් මඟින් අත බෙදාහැරීමෙන් ඉවතට තල්ලු කරයි, නරක ක්‍රියාවක් නිපදවයි, සහ පියවර තිහකට පසු ග්‍රිපරය වස්තුව අසලවත් නොවේ. ක්‍රියා ඛණ්ඩනය එකවර k ක්‍රියා පුරෝකථනය කර ඒවා ක්‍රියාත්මක කරයි, ඵලදායී ක්ෂිතිජය k සාධකයකින් අඩු කරයි. එය මිනිස් දත්ත වලට විශේෂිත වූ කරදරයක් ද හසුරුවයි: ටෙලිඔපරේටර්වරු විරාමයක් ගනී, සහ තනි-පියවර Markovian ප්‍රතිපත්තියක් පෙර සිදු වූ දේ මත රඳා පවතින විරාමයක් ආකෘතිගත කළ නොහැක.

මෙම පත්‍රිකාව k තහවුරු කරනවාට වඩා එය ඉවත් කරයි. තාවකාලික සමූහගත කිරීම අක්‍රියව තිබියදී, සැකසුම් හතරක් හරහා සාමාන්‍යකරණය කළ විට, k = 1 හිදී 1% සිට k = 100 හිදී 44% දක්වා සාර්ථකත්වය ඉහළ යයි, පසුව ප්‍රතිපත්තිය විවෘත-ලූප් පාලනයට ළඟා වන විට 200 සහ 400 දී අඩු වේ. එම වක්‍රය පෙරනිමි අගය 100 වීමට හේතුවයි.

• chunk_size: ඩිකෝඩරය එක් ෆෝවර්ඩ් පාස් එකකට පුරෝකථනය කරන අනාගත ක්‍රියා කීයක්ද. පෙරනිමිය 100.
• n_action_steps: නැවත විමසීමට පෙර ඔබ ඒවායින් කීයක් ක්‍රියාත්මක කරනවාද. පෙරනිමිය 100, එබැවින් lerobot සම්පූර්ණ චන්ක් එක විවෘත ලූපයකින් ධාවනය කරයි.
• lerobot මගින් n_action_steps <= chunk_size වලංගු කරන අතර ඔබ එය වැරදි ලෙස ලබා දෙන්නේ නම් ValueError එකක් මතු කරයි.

ක්‍රියාකාරීව වැදගත් වන්නේ chunk_size රාමු අනුපාතයෙන් බෙදීමයි. lerobot හි SO-100 උදාහරණ භාවිතා කරන 30 fps දී, 100 ක චන්ක් එකක් එක් නිරීක්ෂණයකින් තත්පර 3.3 ක් පමණ කැප කරයි. කාර්යයට එම කවුළුව තුළ නිවැරදි කිරීමක් අවශ්‍ය නම්, අඩු කරන්න n_action_steps, නොව chunk_size: ඔබ දිගු පුරෝකථනය තබාගෙන නිතර නිතර නැවත නිරීක්ෂණය කරන්න.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT මූලික ආකෘතියක් පරදවන විට

පුහුණු කළ හැකි ප්‍රතිපත්ති පහ එක ළඟ, AY-Robots මනින සහ එය කුලියට ගන්නා GPU හි ප්‍රමාණය තීරණය කිරීමට භාවිතා කරන සංඛ්‍යා සමඟ.

කාර්යය සහ දර්ශනය ස්ථාවර වන විට සහ චලනය වේගවත් හා නිරවද්‍ය විය යුතු විට ACT තෝරන්න. එක් එක් පිරික්සුම් ලක්ෂ්‍යයක් උපදෙස් කිහිපයක් ආවරණය කළ යුතු විට තෝරන්න. පිටු දෙකක් තීරණය මුහුණට මුහුණ ලා ක්‍රියා කරයි: සහ . ප්‍රකාශිත මිණුම් සලකුණු සඳහා, සෑම අංකයක්ම එහි මූලාශ්‍රයට සම්බන්ධ කරයි.

ඔබ ආරම්භ කිරීමට පෙර අවශ්‍ය දේ

එක් අනුගාමික අතක්, සඳහා එක් නායක අතක්, අවම වශයෙන් එක් කැමරාවක්, 24 GB GPU එකක්. ACT කියවන්නේ රූප සහ සන්ධි පිහිටීම් පමණි. කැමරා දෙකක් වඩාත් සුදුසුයි: දේවල් කොහේදැයි බැලීමට ස්ථාවර ඉදිරිපස දසුනක්, සහ ස්පර්ශ කිරීමට ආසන්න දේ සඳහා මැණික් කටු කැමරාවක්, ALOHA හි මෙන්.

හිස් අතේ සිට වාර්තාගත දත්ත කට්ටලය දක්වා

පහත ප්‍රවාහය lerobot 0.6.x වේ. ඔබට ක්‍රමාංකනය කරන ලද අතක් සහ දත්ත කට්ටලයක් තිබේ නම් මෙය මඟ හරින්න. එසේ නොමැතිනම් SO-100 ආරම්භක මාර්ගෝපදේශය එකලස් කිරීම ආවරණය කරයි, වාර්තා කිරීමේ මාර්ගෝපදේශය ග්‍රහණය කිරීම ආවරණය කරයි, සහ දත්ත කට්ටල ලේඛන ආකෘතිය ආවරණය කරයි.

1. 1
   නිවැරදි අමතර දේ සමඟ lerobot ස්ථාපනය කරන්න

   පටිගත කිරීම සඳහා `core_scripts`, පුහුණුව සඳහා `training`, Feetech සර්වෝ සඳහා `feetech` අවශ්‍ය වේ. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   සෑම අතකම USB පෝට් එක සොයන්න

   අත් දෙකම සම්බන්ධ කර ධාවනය කරන්න, විමසූ විට එකක් විසන්ධි කරන්න. Linux මත ඔබට නෝඩ් අවසර විවෘත කිරීමට අවශ්‍ය විය හැක.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   මෝටර් හැඳුනුම්පත් සහ බෝඩ් අනුපාතය සකසන්න

   SO-100 මත මෙය එකලස් කිරීමට පෙර සිදු වේ: SO-101 මෙන් නොව, සම්බන්ධක සෑදූ පසු ළඟා විය නොහැක. ස්ක්‍රිප්ට් එක ග්‍රිපර් එකෙන් එකවර එක් මෝටරයක් ​​බස් එක දිගේ ගමන් කර, EEPROM වෙත හැඳුනුම්පත් ලියයි.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   අත් දෙකම ක්‍රමාංකනය කරන්න

   සෑම සන්ධියක්ම එහි පරාසයේ මැදට සකසන්න, Enter ඔබන්න, ඉන්පසු එක් එක් එහි සම්පූර්ණ පරාසය හරහා ගෙන යන්න. ක්‍රමාංකනය මඟින් එක් අතක් මත පුහුණු කරන ලද ප්‍රතිපත්තියක් තවත් අතක් මත ධාවනය කිරීමට ඉඩ සලසයි. එකම id නැවත භාවිතා කරන්න.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   කැමරා ක්‍රියාත්මක කර එක් වරක් දුරස්ථව ක්‍රියාත්මක කරන්න

   lerobot හි සාමාන්‍ය රීතිය: ඔබට කැමරා රූප පමණක් බලා කාර්යය කිරීමට හැකි විය යුතුය. ඔබට නොහැකි නම්, ACT ටද නොහැක. මෙය පසුකාලීන දෝෂ නිවැරදි කිරීමට වඩා නරක දත්ත කට්ටල වැඩි ප්‍රමාණයක් හඳුනා ගනී.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   කථාංග 50ක් පටිගත කරන්න

   50 යනු AY-Robots අවම අගය වන අතර ALOHA එක් කාර්යයක් සඳහා භාවිතා කළ අගයයි. lerobot වස්තු ස්ථානයකට 10ක්, කැමරා ස්ථාවරව, ග්‍රහණය ස්ථාවරව තබා ගැනීමට උපදෙස් දෙයි. n මඟින් කථාංගයක් අවසන් කරයි, r නැවත පටිගත කරයි, q නවතා කේතනය කරයි.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

පුහුණු කිරීමට පෙර, අවම වශයෙන් කථාංග පහක් නැවත ධාවනය කරන්න. කැමරා ප්‍රවාහ, සන්ධි තත්ව සහ ක්‍රියා ගබඩා කරයි , සහ නැවත ධාවනය එම ක්‍රියා අතට ආපසු තල්ලු කරයි. නැවත ධාවනය කාර්යය නොකරන්නේ නම්, දත්ත එය අඩංගු නොවන අතර පුහුණුව එය නිර්මාණය නොකරනු ඇත.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT ප්‍රතිපත්තිය පුහුණු කිරීම

මෙය සම්පූර්ණ විධානයයි. ACT-විශේෂිත සියල්ල දැනටමත් පෙරනිමියකි, එබැවින් lerobot ACT පිටුව පවසන්නේ ඒවායින් ආරම්භ කරන ලෙසයි.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act මඟින් ACTConfig පූරණය කරයි, එය ඔබගේ දත්ත කට්ටලය වාර්තා කළ මෝටර සහ කැමරා ගණනට අනුවර්තනය වේ, එබැවින් ඔබට නිරීක්ෂණ හැඩය කිසිවිටෙක ප්‍රකාශ කිරීමට අවශ්‍ය නොවේ. --wandb.enable=true විකල්ප වන අතර එය වටී: පියවර 100000 ක ධාවනයකදී පාඩු වක්‍රය එකම ලාභ සංඥාවයි. කාලසටහන ACTConfig වෙතින් නොව lerobot හි පුහුණු වින්‍යාසයෙන් පැමිණේ: පියවර 100000, කණ්ඩායම් 8, බීජය 1000, සෑම පියවර 20000 කට වරක් චෙක්පොයින්ට් එකක්, සෑම 200 කට වරක් ලොග් කිරීම.

සම්පූර්ණ ධාවනයකින් චෙක්පොයින්ට් ඩිරෙක්ටරි පහක්, 020000 සිට 100000 දක්වා, සහ අවසාන සිම්ලින්ක් එකක් ඉතිරි වේ. ඒවා සියල්ලම තබා ගන්න: හොඳම ප්‍රතිපත්තිය බොහෝ විට අවසාන එක නොවේ.

කාලය: පත්‍රිකාවේ සඳහන් පරිදි 11 GB RTX 2080 Ti එකක පැය 5ක් පමණ, lerobot හි ACT පිටුවට අනුව 100k පියවර සඳහා පැය කිහිපයක්, AY-Robots 24 GB ස්ථරයේ පැය 2 සිට 5 දක්වා. එය කෙටි නොකරන්න. යොමු ගබඩාවේ README පවසන්නේ, ගැස්සෙන හෝ නතර වන ප්‍රතිපත්තියකට සාමාන්‍යයෙන් අවශ්‍ය වන්නේ තවත් පුහුණුව, මන්ද පාඩු ස්ථාවර වූ පසු සාර්ථකත්වය සහ සුමට බව දිගින් දිගටම වැඩි දියුණු වන බැවිනි: සැබෑ ලෝක දත්ත සඳහා එයට අවම වශයෙන් යුග 5000ක් හෝ ස්ථාවර වීමෙන් පසු නැවතත් දිගෙන් 3 සිට 4 ගුණයක් අවශ්‍ය වේ.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

පුහුණු කළ ප්‍රතිපත්තිය අත මත ක්‍රියාත්මක කිරීම

යෙදවීම සඳහා lerobot-rollout භාවිතා කරයි. කැමරා යතුරු පටිගත කළ ඒවාට ගැළපිය යුතුය: front සහ wrist මත පුහුණු කළ ප්‍රතිපත්තියක් cam0 සහ cam1 භාර නොගනී, තවද rename_map උදව් නොකරයි, මන්ද එයට පූර්ව පුහුණු කළ පිරික්සුම් ස්ථානයක් අවශ්‍ය වන බැවිනි. කාර්ය තන්තුව මඟ හැරිය හැක; lerobot හිම උදාහරණය ACT සඳහා එය මඟ හැරිය හැකි ලෙස සලකුණු කරයි.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

අවසාන ආකෘතියට වඩා චෙක්පොයින්ට් එකක් සවි කිරීමට, එකතු කරන්න --policy.pretrained_revision. ඒ සඳහා ධාවනය ආරම්භ වී තිබිය යුතුය --save_checkpoint_to_hub=true, පෙරනිමියෙන් අක්‍රියයි: එය නොමැතිව lerobot අවසාන ආකෘතිය පමණක් තල්ලු කරයි. එය සමඟ, සෑම චෙක්පොයින්ට් එකක්ම එහි ශුන්‍ය-පිරවූ පියවර සමඟ ටැග් කර ඇත, එබැවින් --policy.pretrained_revision=060000 60000 පියවර එකක් ප්‍රතිසාධනය කරයි. සැබෑ අත මත 100000 ට එරෙහිව එය සංසන්දනය කිරීම ලබා ගත හැකි ලාභම අත්හදා බැලීමයි.

එකම චෙක්පොයින්ට් එකට මාර්ග දෙකක්

ඉහත සියල්ල අතින් කරන ක්‍රමය වන අතර එය ක්‍රියා කරයි. වේදිකා ක්‍රමය මඟින් GPU එකක් හෝ Python පරිසරයක් අයිති කර නොගැනීම සඳහා පාලනය හුවමාරු කරයි.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

ඇත්තටම වැරදෙන්නේ කුමක්ද

පුහුණු විධානය තුළ කිසිදු අපහසුතාවයක් නොමැත. එය අවට ඇති දේ තුළ පවතින අතර, ඒවා පළමු වරට ගැටලු ඇති කරන වාර ගණන අනුව පෙළගස්වා ඇත.

පේළි දෙකක් අවධාරණය කළ යුතුය. ACT LeRobot v3.0 මත පුහුණු වන අතර GR00T හි ලෝඩරය එය මත බිඳ වැටී v2.1 අවශ්‍ය වේ, එබැවින් ACT පුහුණු කරන දත්ත කට්ටලයක් GR00T ධාවනයක් අසාර්ථක කළ හැකිය. අවසාන පේළියේ විසඳුම් දෙකක් ඇත: ACT කතුවරුන් ගැස්සෙන චලනයට වැඩි පුහුණුවකින් පිළිතුරු දෙන අතර, n_action_steps 100 දී සැබෑ ඇනහිටීමක් කොටසක මායිමක සිදු වේ, එය 30 fps දී සෑම තත්පර 3.3 කට වරක් දෘශ්‍යමාන විරාමයකි. තවත් කරුණු දෙකක් දැනගත යුතුය: තනි මිය ගිය සන්ධියක් සාමාන්‍යයෙන් කිසිදා ලියා නොතිබූ සර්වෝ හැඳුනුම්පතක්, සහ ළඟා වන නමුත් කිසිදා වැසී නොයන ග්‍රිපරයක් යනු නිරූපණවල ග්‍රිපර් පරාසය ඉතා අඩු බවයි. සම්පූර්ණ දර්ශකය: අසාර්ථක වීමේ ක්‍රම පිටු.

ධාවනයකට වැය වන මුදල

පසුව VLA එකක් අවශ්‍ය වුවද ACT සමඟ ආරම්භ කිරීමට මෙය තර්කයයි. අසාර්ථක ACT ධාවනයකට කෝපි කෝප්පයක මිල වැය වන අතර, ඔබේ දත්ත කට්ටලයේ කාර්යය අඩංගු දැයි පැය කිහිපයක් ඇතුළත ඔබට කියයි. අසාර්ථක GR00T ධාවනයකට එම පාඩම සඳහා සිව් ගුණයක් වැය වේ. ඉන්පසු GR00T N1.7 හෝ SmolVLA වෙත මාරු වීම යනු නැවත ගොඩනැගීමක් නොව, ආකෘති වෙනසකි. පසුබිම: දෘශ්‍ය-භාෂා-ක්‍රියාකාරී මාදිලි, එම සම්පූර්ණ SO-100 මාර්ගෝපදේශය, ඔබේ පළමු ප්‍රතිපත්තිය පුහුණු කරන්න සහ අනුකරණ ඉගෙනීම. අතක් නැද්ද? සජීවී පිටුව ලියාපදිංචි නොවී ධාවනය කිරීමට සැබෑ SO-100 එකක් විකාශනය කරයි.