ACT-ийг SO-100 дээр эхнээс нь хэрхэн сургах вэ

ACT нь SO-100 бодлогуудын дундаас онцгой нэг юм. GR00T N1.7 болон N1.5 нь nvidia/GR00T-N1.7-3B болон nvidia/GR00T-N1.5-3B, Pi0.5 нь lerobot/pi05_base. ACT нь юунаас ч эхэлдэггүй: суурь шалгах цэг байхгүй, учир нь энэ нь суурь загвар биш юм. Энэ нь таны гарт, таны гэрэлтүүлгийн дор, нэг даалгавар дээр эхнээс нь сургадаг ойролцоогоор 80 сая параметртэй трансформатор юм.

Тиймээс ч энэ нь 20 ms дотор хяналтын алхам гүйцэтгэдэг бол 3 тэрбум параметртэй VLA нь 152-485 ms шаарддаг бөгөөд нэг ажиллуулалт нь 4-12 USD-ийн оронд 1-3 USD үнэтэй байдаг. Энэхүү гарын авлага нь lerobot дээрх SO-100: бичлэг, act тохиргоо, chunk_size болон n_action_steps хяналт, 100000 алхамт хуваарь, гүйцэтгэл зэргийг авч үзнэ. Дараа нь AY-Robots дээрх ижил ажлыг, тухайн платформ тус болохгүй байгаа хэсгүүдийг оруулан авч үзнэ.

ACT үнэндээ юу вэ

Трансформатор ашиглан үйлдлийг хуваах (Action Chunking with Transformers) нь ALOHA баримт бичгээс гаралтай, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, Zhao, Kumar, Levine, Finn нарын arXiv-т 2023 оны 4-р сарын 23-нд нийтлэгдсэн. Энэхүү төхөөрөмж нь 50 Гц давтамжтайгаар бичлэг хийдэг бөгөөд дөрвөн вэбкамер 480x640 нягтралтай, 30 fps хурдтайгаар дамжуулдаг: хоёр нь баригч дээр, нэг нь дээрээс, нэг нь урдаас. Хураангуйд 10 минутын турш хийсэн үзүүлбэрээс зургаан ур чадварыг 80-90 хувийн амжилттай гүйцэтгэсэн гэж дурдсан бөгөөд үүнд тунгалаг амтлагчийн аягыг онгойлгох, зайг үүрэнд нь хийх зэрэг багтжээ.

Бичлэг хийх хуваарийг төлөвлөхөд энэ хэсэг илүү ашигтай: даалгавар тус бүрт 50 үзүүлбэр, харин Thread Velcro-д 100 үзүүлбэр, энэ нь 10-20 минутын өгөгдөл, дахин тохируулгыг тооцвол 30-60 минутын бодит хугацаа юм. Амжилт нь жигд биш: Thread Velcro 20 хувь, Put On Shoe 92 хувь, Cup Open 84 хувь, Prep Tape 64 хувьтай дууссан.

Үйлдлийн хэсэгчлэл бол гол санаа юм

Энгийн зан үйлийн клончлол нь нэг ажиглалтыг нэг үйлдэлтэй холбодог бөгөөд алдаанууд хуримтлагддаг: хазайлт нь гарыг хуваарилалтаас гаргаж, муу үйлдэл үүсгэдэг бөгөөд гучин алхмын дараа баригч нь объектын ойролцоо ч байдаггүй. Үйлдлийн хэсэгчлэл нь k үйлдлийг нэг дор таамаглаж, гүйцэтгэдэг бөгөөд ингэснээр үр дүнтэй хэтийн төлөвийг k хүчин зүйлээр бууруулдаг. Энэ нь мөн хүний ​​өгөгдөлд хамаарах нэгэн бэрхшээлийг шийддэг: телеоператорууд түр зогсдог бөгөөд нэг алхамт Марковын бодлого нь өмнө нь юу болсноос хамаарах түр зогсолтыг загварчилж чадахгүй.

Уг баримт бичигт k-г батлахын оронд түүнийг арилгадаг. Цаг хугацааны хамтын ажиллагааг унтраасан үед, дөрвөн тохиргоонд дундчилж үзэхэд, амжилт k = 1 үед 1 хувиас k = 100 үед 44 хувь хүртэл өсөж, дараа нь бодлого нээлттэй гогцооны хяналтад ойртох үед 200 ба 400-д буурдаг. Энэ муруй нь анхдагч утга 100 байх шалтгаан юм.

• chunk_size: декодер нэг урагш дамжуулалтаар хэдэн ирээдүйн үйлдлийг таамаглах вэ. Анхдагч утга 100.
• n_action_steps: дахин асуулга хийхээс өмнө тэдгээрийн хэдийг нь гүйцэтгэх вэ. Анхдагч утга 100, ингэснээр lerobot бүх хэсгийг нээлттэй гогцоогоор ажиллуулна.
• lerobot нь n_action_steps <= chunk_size-ийг баталгаажуулж, хэрэв та урвуугаар оруулбал ValueError өгнө.

Үйл ажиллагааны хувьд чухал зүйл бол chunk_size-ийг кадрын хурдад хуваах явдал юм. lerobot-ын SO-100 жишээнүүдийн ашигладаг 30 fps хурдтай үед, 100-ийн хэсэг нь нэг ажиглалтаас хойш ойролцоогоор 3.3 секундын үйлдлийг гүйцэтгэнэ. Хэрэв даалгавар тухайн хугацаанд залруулга шаардвал, n_action_steps-ийг багасгах хэрэгтэй, харин chunk_size-ийг биш: ингэснээр та урт таамаглалыг хадгалж, илүү олон удаа дахин ажиглана.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT суурь загварыг давж гарах үед

Сургах боломжтой таван бодлого зэрэгцээгээр, AY-Robots-ийн түрээсэлдэг GPU-ийнхээ хэмжээг тодорхойлоход хэмжиж ашигладаг тоон үзүүлэлтүүдийн хамт.

Даалгавар болон орчин тогтмол, хөдөлгөөн хурдан бөгөөд нарийн байх ёстой үед ACT-ийг сонго. Нэг шалгах цэг нь хэд хэдэн зааврыг хамарч байх ёстой үед -ыг сонго. Хоёр хуудас энэ шийдвэрийг харьцуулж үздэг: болон . Нийтлэгдсэн жишиг үзүүлэлтүүдийн хувьд, нь тоо бүрийг эх сурвалжтай нь холбодог.

Эхлэхийн өмнө танд юу хэрэгтэй вэ

Нэг дагагч гар, нэг удирдагч гар, дор хаяж нэг камер, 24 ГБ GPU. ACT нь зөвхөн зураг болон үений байрлалыг уншдаг. Хоёр камер нь хамгийн тохиромжтой: зүйлс хаана байгааг харуулах тогтмол урд талын харагдац, юунд хүрэх гэж байгааг харуулах бугуйн камер, ALOHA дээрх шиг.

Хоосон гараас бичигдсэн өгөгдлийн багц хүртэл

Доорх урсгал нь lerobot 0.6.x юм. Хэрэв танд тохируулсан гар болон өгөгдлийн багц байгаа бол үүнийг алгасана уу. Үгүй бол SO-100 эхлүүлэх гарын авлага угсралтыг хамардаг, бичлэгийн алхам алхмын заавар бичлэгийг хамардаг ба өгөгдлийн багцын баримт бичиг форматыг хамардаг.

1. 1
   Lerobot-ийг зөв нэмэлтүүдтэй суулгах

   Бичлэг хийхэд core_scripts, сургалтад training, Feetech серво моторд feetech шаардлагатай. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Гар тус бүрийн USB портыг олох

   Хоёр гарыг залгаад ажиллуулж, шаардлагатай үед нэгийг нь салгана. Linux дээр та node-ийн зөвшөөрлийг нээх шаардлагатай байж магадгүй.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Моторын ID болон baudrate-ийг тохируулах

   SO-100 дээр энэ нь угсрахаас өмнө хийгддэг: SO-101-ээс ялгаатай нь угсарч дууссаны дараа холбогчдод хүрэх боломжгүй болдог. Энэ скрипт нь баригчаас эхлэн нэг нэгээр нь моторын автобусаар явж, ID-уудыг EEPROM-д бичдэг.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Хоёр гарыг тохируулах

   Үе тус бүрийг хөдөлгөөнийх нь дунд байрлалд тохируулж, Enter дарна, дараа нь тус бүрийг бүрэн хөдөлгөөнөөр нь гүйлгэнэ. Тохируулга нь нэг гарт сургасан бодлогыг өөр гарт ажиллуулах боломжийг олгодог. Ижил id-г дахин ашиглана.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Камеруудыг асаагаад нэг удаа алсаас удирдах

   Lerobot-ийн ерөнхий дүрэм: та зөвхөн камерын зургийг хараад л даалгаврыг гүйцэтгэх боломжтой байх ёстой. Хэрэв та чадахгүй бол ACT ч чадахгүй. Энэ нь дараа нь алдааг олж засварахаас илүү олон муу өгөгдлийн багцыг илрүүлдэг.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 эпизод бичих

   50 нь AY-Robots-ийн хамгийн бага хэмжээ бөгөөд ALOHA даалгавар тус бүрт ашигладаг байсан тоо юм. lerobot нь объектын байршил тус бүрт 10, камерууд тогтмол, барилт тогтвортой байхыг зөвлөдөг. n нь эпизодыг дуусгана, r дахин бичнэ, q зогсоож кодлоно.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Сургахаас өмнө дор хаяж таван эпизодыг дахин тоглуулна уу. LeRobot өгөгдлийн багцын формат нь камерын урсгал, үений төлөв, үйлдлүүдийг эпизод тус бүрээр хадгалдаг бөгөөд дахин тоглуулах нь эдгээр үйлдлүүдийг гарт буцаан түлхдэг. Хэрэв дахин тоглуулах нь даалгаврыг гүйцэтгэхгүй бол өгөгдөл үүнийг агуулаагүй бөгөөд сургалт үүнийг зохион бүтээхгүй.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT бодлогыг сургах

Энэ бол бүхэл бүтэн тушаал юм. ACT-д хамаарах бүх зүйл аль хэдийн анхдагч утгатай байдаг тул lerobot ACT хуудас тэдгээрээс эхлэхийг зөвлөдөг.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ACTConfig-ийг ачаалладаг бөгөөд энэ нь таны өгөгдлийн багцад хэдэн мотор, камер бичигдсэнээс үл хамааран дасан зохицдог тул та ажиглалтын хэлбэрийг хэзээ ч зарлах шаардлагагүй. --wandb.enable=true нь нэмэлт бөгөөд үнэ цэнэтэй: алдагдлын муруй нь 100000 алхамтай гүйлтийн цорын ганц хямд дохио юм. Хуваарь нь ACTConfig-ээс биш, lerobot-ын сургалтын тохиргооноос ирдэг: 100000 алхам, багц 8, үр 1000, шалгах цэг 20000 алхам тутамд, 200 тутамд бүртгэл хийдэг.

Бүрэн гүйлт нь 020000-аас 100000 хүртэлх таван шалгах цэгийн директори, мөн сүүлчийн симлинк үлдээдэг. Бүгдийг нь хадгалаарай: хамгийн сайн бодлого нь ихэвчлэн сүүлчийнх биш байдаг.

Үргэлжлэх хугацаа: баримт бичигт дурдсанаар 11 ГБ RTX 2080 Ti дээр 5 цаг орчим, lerobot-ын ACT хуудсанд 100k алхамд хэдэн цаг, AY-Robots 24 ГБ түвшинд 2-оос 5 цаг. Үүнийг бүү богиносго. Лавлах репо-гийн README-д дурдсанаар, тасалдах эсвэл зогсох бодлого нь ихэвчлэн зүгээр л илүү их сургалт, учир нь алдагдал тогтворжсоны дараа амжилт, жигд байдал сайжирсаар байдаг: бодит ертөнцийн өгөгдөлд дор хаяж 5000 эпох, эсвэл тогтворжсоны дараа дахин 3-аас 4 дахин их хугацаа шаардлагатай.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Сургасан бодлогыг гарт ажиллуулах

Хэрэгжүүлэлт нь lerobot-rollout. Камерын түлхүүрүүд бичигдсэн түлхүүрүүдтэй таарч байх ёстой: front болон wrist-д сургасан бодлого нь cam0 болон cam1-г хүлээн авахгүй, мөн rename_map нь тус болохгүй, учир нь энэ нь урьдчилан сургасан шалгах цэг шаарддаг. Даалгаврын мөрийг орхиж болно; lerobot-ын өөрийн жишээ нь ACT-д үүнийг алгасах боломжтой гэж тэмдэглэсэн байна.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Эцсийн загварыг бус, харин шалгалтын цэгийг тогтоохын тулд --policy.pretrained_revision. Үүний тулд ажиллагааг --save_checkpoint_to_hub=true гэж эхлүүлсэн байх шаардлагатай. Энэ нь анхдагчаар идэвхгүй байдаг: үүнгүйгээр lerobot зөвхөн эцсийн загварыг түлхэж, өөр юу ч хийдэггүй. Үүнийг ашигласнаар шалгалтын цэг бүрийг тэгээр дүүргэсэн алхамаар тэмдэглэдэг тул --policy.pretrained_revision=060000 нь 60000 алхамтайг сэргээнэ. Үүнийг бодит гарт 100000-тай харьцуулах нь хамгийн хямд туршилт юм.

Нэг шалгалтын цэг рүү хүрэх хоёр зам

Дээрх бүх зүйл бол гарын авлагын арга бөгөөд энэ нь ажилладаг. Платформын арга нь GPU эсвэл Python орчин эзэмшихгүй байхын тулд хяналтыг солилцдог.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Яг юу буруу болдог вэ

Сургалтын командын өөрөөс нь үүдэх бэрхшээл бараг байдаггүй. Харин түүнийг тойрсон зүйлсээс, анх удаагаа алдаа гаргах давтамжаар нь эрэмбэлсэн жагсаалт энд байна.

Хоёр мөр онцгой анхаарал татна. ACT нь LeRobot v3.0 дээр сургагддаг бол GR00T-ийн ачаалагч нь үүн дээр унаж, v2.1 шаарддаг тул ACT-ийг сургадаг өгөгдлийн багц нь GR00T-ийн ажиллагааг тасалдуулж болно. Мөн сүүлийн мөрөнд хоёр засвар бий: ACT-ийн зохиогчид тасалдалтай хөдөлгөөнийг илүү их сургалтаар шийддэг бол n_action_steps 100 байхад жинхэнэ гацалт нь хэсгийн хил дээр буюу 30 fps хурдтай үед 3.3 секунд тутамд харагдахуйц түр зогсолт үүсгэдэг. Нэмж мэдэх хоёр зүйл: нэг үхсэн үе нь ихэвчлэн хэзээ ч бичигдээгүй серво ID, ба ойртох боловч хэзээ ч хаагдахгүй баригч нь үзүүлбэрүүдэд баригчийн хүрээ хэт бага байсныг илтгэнэ. Бүрэн индекс: алдааны горимын хуудаснууд.

Нэг ажиллагааны зардал

Хэрэв та хожим VLA ашиглахыг хүсэж байсан ч ACT-аас эхлэх нь зөв гэдгийг энэ нь харуулж байна. Амжилтгүй болсон ACT ажиллагаа нь нэг аяга кофений үнэтэй тэнцэх бөгөөд таны өгөгдлийн багц тухайн даалгаврыг агуулж байгаа эсэхийг хэдхэн цагийн дотор хэлж өгнө. Амжилтгүй болсон GR00T ажиллагаа нь ижил сургамжийн хувьд дөрөв дахин их үнэтэй. Дараа нь GR00T N1.7 эсвэл SmolVLA руу шилжих нь дахин бүтээх биш, харин хэлбэр өөрчлөх явдал юм. Ерөнхий мэдээлэл: хараа-хэл-үйлдэл загварууд, SO-100-ийн иж бүрэн гарын авлага, анхны бодлогоо сургах болон дуурайх сургалт. Гар байхгүй юу? Шууд дамжуулалтын хуудас нь бүртгүүлэхгүйгээр жолоодох боломжтой бодит SO-100-г шууд дамжуулдаг.