ACTni SO-100da noldan qanday o'rgatish kerak

ACT SO-100 siyosatlari orasida g'ayrioddiy hisoblanadi. GR00T N1.7 va N1.5 quyidagilardan boshlanadi: nvidia/GR00T-N1.7-3B va nvidia/GR00T-N1.5-3B, Pi0.5 esa quyidagidan: lerobot/pi05_base. ACT hech narsadan boshlanadi: asosiy nazorat nuqtasi yo'q, chunki u asosiy model emas. Bu taxminan 80 million parametrlik transformer bo'lib, uni siz bir vazifa uchun, o'z qo'lingizda, o'z yoritgichingiz ostida noldan o'rgatasiz.

Shuning uchun ham u 20 ms ichida boshqaruv qadamini bajaradi, holbuki 3 milliard parametrlik VLA uchun 152 dan 485 ms gacha va har bir ishga tushirish uchun 4 dan 12 USD o'rniga 1 dan 3 USD turadi. Ushbu qo'llanma quyidagilar bilan qo'lda ishlash yo'lini ko'rsatadi: lerobot ustida: SO-100: yozish, act konfiguratsiyasi, chunk_size va n_action_steps nimani boshqarishi, 100000 qadamli jadval, rollout. Keyin AY-Robots platformasida xuddi shu ish, shu jumladan platforma yordam bermaydigan joylar ham.

ACT aslida nima

Action Chunking with Transformers ALOHA maqolasidan olingan, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, Zhao, Kumar, Levine va Finn tomonidan, arXiv, 2023-yil 23-aprel. Qurilma 50 Hz chastotada yozib oladi, to'rtta veb-kamera 480x640 o'lchamda 30 kadr/sek tezlikda oqim uzatadi: ikkitasi tutqichlarda, bittasi tepada, bittasi oldinda. Abstraktda 10 daqiqalik namoyishlardan so'ng, 80-90 foiz muvaffaqiyatga ega oltita ko'nikma, jumladan, shaffof ziravorlar idishini ochish va batareyani joylashtirish da'vo qilingan.

Yozib olish sessiyasini rejalashtirishda asosiy qism foydaliroq: har bir vazifa uchun 50 ta namoyish, Thread Velcro uchun 100 ta bundan mustasno, bu 10 dan 20 daqiqagacha ma'lumot va qayta tiklashlar hisobga olinganda 30 dan 60 daqiqagacha umumiy vaqtni tashkil qiladi. Muvaffaqiyat ham bir xil emas: Thread Velcro 20 foizda tugaydi, Put On Shoe 92, Cup Open 84, Prep Tape 64.

Harakatni bo'laklarga bo'lish butun g'oya

Oddiy xulq-atvor klonlash bir kuzatuvni bir harakatga moslashtiradi va xatolar yig'ilib boradi: og'ish qo'lni taqsimotdan chiqarib yuboradi, yomonroq harakatni keltirib chiqaradi va o'ttiz qadamdan keyin tutqich ob'ektga yaqin ham bo'lmaydi. Harakatni bo'laklarga bo'lish bir vaqtning o'zida k ta harakatni bashorat qiladi va ularni bajaradi, samarali gorizontni k faktoriga kamaytiradi. Shuningdek, u inson ma'lumotlariga xos bo'lgan noqulaylikni ham hal qiladi: teleoperatorlar pauza qiladi va bir bosqichli Markov siyosat oldingi narsalarga bog'liq bo'lgan pauzani modellashtira olmaydi.

Maqolada k ni tasdiqlash o'rniga uni ablatatsiya qiladi. Vaqtinchalik ansambl o'chirilgan holda, to'rtta sozlamada o'rtacha hisobda, muvaffaqiyat k = 1 da 1 foizdan k = 100 da 44 foizgacha ko'tariladi, so'ngra siyosat ochiq-kontur boshqaruviga yaqinlashganda 200 va 400 da pasayadi. Bu egri chiziq nima uchun standart qiymat 100 ekanligini ko'rsatadi.

• chunk_size: dekoder har bir oldinga o'tishda qancha kelajakdagi harakatlarni bashorat qiladi. Standart 100.
• n_action_steps: qayta so'rov qilishdan oldin ulardan qanchasini bajarishingiz. Standart 100, shuning uchun lerobot butun bo'lakni ochiq tsiklda ishga tushiradi.
• lerobot n_action_steps <= chunk_size ni tasdiqlaydi va agar siz uni teskari qilsangiz, ValueError xatosini ko'taradi.

Operatsion jihatdan muhimi chunk_size ning kadr tezligiga bo'linganidir. lerobot'ning SO-100 misollari foydalanadigan 30 kadr/sekund tezligida, 100 ta bo'lak bitta kuzatuvdan taxminan 3.3 soniyani o'z ichiga oladi. Agar vazifa shu vaqt oralig'ida tuzatishni talab qilsa, n_action_steps ni kamaytiring, chunk_size ni emas: siz uzoq bashoratni saqlab qolasiz va tez-tez qayta kuzatasiz.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT asosiy modeldan ustun kelganda

Besh o'qitiladigan siyosat yonma-yon, AY-Robots o'lchaydigan va ijaraga olgan GPU hajmini aniqlash uchun foydalanadigan raqamlar bilan.

Vazifa va sahna qat'iy belgilangan va harakat tez va aniq bo'lishi kerak bo'lganda ACTni tanlang. bir nazorat nuqtasi bir nechta ko'rsatmalarni qamrab olishi kerak bo'lganda tanlang. Ikki sahifa qarorni to'g'ridan-to'g'ri ko'rib chiqadi: va . Nashr etilgan benchmarklar uchun, har bir raqamni o'z manbasiga bog'laydi.

Boshlashdan oldin nimalar kerak

Bitta ergashuvchi qo'l, bitta yetakchi qo'l uchun, kamida bitta kamera, 24 GB GPU. ACT faqat tasvirlar va bo'g'in pozitsiyalarini o'qiydi. Ikki kamera eng maqbul variant: narsalar qayerda ekanligini ko'rsatish uchun qat'iy old ko'rinish, nima tegmoqchi ekanligini ko'rsatish uchun bilak kamerasi, xuddi ALOHA'dagidek.

Yalang'och qo'ldan yozib olingan ma'lumotlar to'plamigacha

Quyidagi oqim lerobot 0.6.x. Agar sizda kalibrlangan qo'l va ma'lumotlar to'plami bo'lsa, uni o'tkazib yuboring. Aks holda SO-100 bilan ishlash bo'yicha qo'llanma yig'ishni qamrab oladi, yozib olish bo'yicha qo'llanma yozib olishni qamrab oladi va ma'lumotlar to'plami hujjatlari formatni qamrab oladi.

1. 1
   lerobot'ni kerakli qo'shimchalar bilan o'rnating

   Yozish uchun core_scripts, o'qitish uchun training, Feetech servolari uchun feetech kerak. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Har bir qo'lning USB portini toping

   Ikkala qo'lni ham ulangan holda ishga tushiring, so'ralganda birini uzing. Linuxda tugun ruxsatnomalarini ochishingiz kerak bo'lishi mumkin.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Motor identifikatorlari va uzatish tezligini o'rnating

   SO-100 da bu yig'ishdan oldin sodir bo'ladi: SO-101 dan farqli o'laroq, ulagichlar qurilgandan so'ng erishib bo'lmaydi. Skript avtobusni bir vaqtning o'zida bitta motorni qisqichdan boshlab aylanib chiqadi va identifikatorlarni EEPROMga yozadi.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Ikkala qo'lni ham kalibrlang

   Har bir bo'g'inni o'z diapazonining o'rtasiga o'rnating, Enter tugmasini bosing, so'ngra har birini to'liq diapazoni bo'ylab harakatlantiring. Kalibrlash bir qo'lda o'qitilgan siyosatni boshqasida ishga tushirish imkonini beradi. Bir xil id dan qayta foydalaning.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Kameralar yoqilgan holda bir marta teleoperatsiya qiling

   lerobot ning asosiy qoidasi: siz vazifani faqat kamera tasvirlariga qarab bajarishingiz kerak. Agar qila olmasangiz, ACT ham qila olmaydi. Bu keyingi disk raskadrovkadan ko'ra ko'proq yomon ma'lumotlar to'plamini aniqlaydi.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 ta epizodni yozib oling

   50 bu AY-Robots minimal miqdori va ALOHA har bir vazifa uchun ishlatgan miqdor. lerobot har bir obyekt joylashuvi uchun 10 ta, kameralar qat'iy, ushlash izchil bo'lishini tavsiya qiladi. n epizodni tugatadi, r qayta yozadi, q to'xtatadi va kodlaydi.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

O'qitishdan oldin, kamida beshta epizodni qayta ijro eting. LeRobot ma'lumotlar to'plami formati kamera oqimlari, bo'g'in holatlari va harakatlarini har bir epizod uchun saqlaydi va qayta ijro etish bu harakatlarni qo'lga qaytaradi. Agar qayta ijro etish vazifani bajarmasa, ma'lumotlar uni o'z ichiga olmaydi va o'qitish uni ixtiro qilmaydi.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT siyosatini o'qitish

Bu butun buyruq. ACTga xos bo'lgan hamma narsa allaqachon standart hisoblanadi, shuning uchun lerobot ACT sahifasida ular bilan boshlash tavsiya etiladi.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ACTConfig'ni yuklaydi, u ma'lumotlar to'plamingizda qancha motor va kamera yozilgan bo'lsa, shunga moslashadi, shuning uchun siz kuzatuv shaklini hech qachon e'lon qilmaysiz. --wandb.enable=true ixtiyoriy va bunga arziydi: yo'qotish egri chizig'i 100000 qadamli ishda yagona arzon signaldir. Jadval ACTConfig'dan emas, balki lerobot'ning o'quv konfiguratsiyasidan keladi: 100000 qadam, partiya 8, urug' 1000, nazorat nuqtasi har 20000 qadamda, har 200 qadamda jurnalga yozish.

To'liq ish beshta nazorat nuqtasi katalogini qoldiradi, 020000 dan 100000 gacha, shuningdek oxirgi simvolik havola. Ularning barchasini saqlang: eng yaxshi siyosat ko'pincha oxirgisi bo'lmaydi.

Davomiyligi: maqolada 11 GB RTX 2080 Ti da taxminan 5 soat, lerobot's ACT sahifasiga ko'ra 100 ming qadam uchun bir necha soat, AY-Robots 24 GB darajasida 2 dan 5 soatgacha. Uni qisqartirmang. Ma'lumotnoma repo'sining README faylida aytilishicha, silkinuvchi yoki to'xtab qoluvchi siyosat odatda ko'proq mashg'ulot, chunki yo'qotish platosi barqarorlashgandan so'ng muvaffaqiyat va silliqlik yaxshilanishda davom etadi: real dunyo ma'lumotlari uchun kamida 5000 epoxa, yoki platodan keyin yana 3-4 marta uzunlik kerak bo'ladi.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

O'qitilgan siyosatni qo'lda ishga tushirish

Joylashtirish lerobot-rollout dan foydalanadi. Kamera kalitlari yozilganlarga mos kelishi kerak: front va wrist da o'qitilgan siyosat cam0 va cam1 ni qabul qilmaydi, va rename_map yordam bermaydi, chunki unga oldindan o'qitilgan nazorat nuqtasi kerak. Vazifa satrini qoldirish mumkin; lerobot'ning o'z misoli uni ACT uchun o'tkazib yuboriladigan deb belgilaydi.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Yakuniy model oʻrniga nazorat nuqtasini belgilash uchun qoʻshing --policy.pretrained_revision. Buning uchun ish quyidagidan boshlangan boʻlishi kerak: --save_checkpoint_to_hub=true, sukut boʻyicha oʻchirilgan: usiz lerobot faqat yakuniy modelni yuklaydi. U bilan har bir nazorat nuqtasi nol bilan toʻldirilgan qadam bilan belgilanadi, shuning uchun --policy.pretrained_revision=060000 60000-qadamdagini tiklaydi. Uni haqiqiy qoʻlda 100000-qadamdagiga solishtirish mavjud eng arzon tajribadir.

Bir xil nazorat nuqtasiga ikki yoʻl

Yuqoridagi barchasi qo'lda bajariladigan yo'l bo'lib, u ishlaydi. Platforma yo'li GPU yoki Python muhitiga egalik qilmaslik evaziga boshqaruvni almashtiradi.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Aslida nima noto'g'ri ketadi

Deyarli hech qanday qiyinchilik o'qitish buyrug'ida emas. Uning atrofidagi narsalarda, birinchi marta qanchalik tez-tez muammo tug'dirishiga qarab tartiblangan.

Ikki qatorga alohida e'tibor berish kerak. ACT LeRobot v3.0 da o'qitiladi, GR00T yuklovchisi esa unda ishlamaydi va v2.1 ni talab qiladi, shuning uchun ACT ni o'qitadigan ma'lumotlar to'plami GR00T ishini buzishi mumkin. Va oxirgi qatorda ikkita tuzatish bor: ACT mualliflari sakrashli harakatga ko'proq o'qitish bilan javob berishadi, shu bilan birga n_action_steps 100 da haqiqiy to'xtash bo'lak chegarasida sodir bo'ladi, har 3.3 soniyada 30 fps da ko'rinadigan pauza. Yana ikkita narsani bilish kerak: bitta o'lik bo'g'in odatda hech qachon yozilmagan servo identifikatori, va yaqinlashadigan, lekin hech qachon yopilmaydigan tutqich namoyishlarda tutqich diapazoni juda kamligini anglatadi. To'liq indeks: nosozlik rejimi sahifalari.

Bir ishlanma qancha turadi

Bu, keyinchalik VLA xohlasangiz ham, ACT bilan boshlash uchun dalildir. Muvaffaqiyatsiz ACT ishlatish bir chashka qahva narxiga tushadi va bir necha soat ichida ma'lumotlar to'plamingizda vazifa bor-yo'qligini aytadi. Muvaffaqiyatsiz GR00T ishlatish xuddi shu saboq uchun to'rt barobar qimmatga tushadi. Keyinchalik GR00T N1.7 yoki SmolVLA ga o'tish qayta qurish emas, balki shakl o'zgarishidir. Ma'lumot: ko'rish-til-harakat modellari, SO-100 ni sozlash, teleoperatsiya va AI o'qitish bo'yicha to'liq qo'llanma, birinchi siyosatingizni o'rgating va taqlidli o'rganish. Qo'l yo'qmi? Jonli sahifa ro'yxatdan o'tmasdan haqiqiy SO-100 ni boshqarish uchun translyatsiya qiladi.