ACT-ті SO-100-де нөлден бастап қалай үйрету керек

ACT SO-100 саясаттарының ішінде ерекше болып табылады. GR00T N1.7 және N1.5 басталады nvidia/GR00T-N1.7-3B және nvidia/GR00T-N1.5-3B, Pi0.5 басталады lerobot/pi05_base. ACT ештеңеден басталады: негізгі бақылау нүктесі жоқ, себебі ол іргелі модель емес. Бұл шамамен 80 миллион параметрлі трансформер, оны сіз бір тапсырма бойынша, өз қолыңызда, өз жарығыңызда нөлден бастап үйретесіз.

Сондықтан да ол 20 мс ішінде басқару қадамын орындайды, ал 3 миллиард параметрлі VLA-ға 152-ден 485 мс қажет, және бір іске қосу үшін 4-тен 12 USD орнына 1-ден 3 USD тұрады. Бұл нұсқаулық қолмен орындалатын жолды көрсетеді lerobot арқылы SO-100: жазу, act конфигурациясы, не chunk_size және n_action_steps басқарады, 100000 қадамдық кесте, орындау. Содан кейін AY-Robots-та дәл сол жұмыс, платформа көмектеспейтін жағдайларды қоса алғанда.

ACT іс жүзінде не?

Трансформаторлармен әрекетті бөліктеу (Action Chunking with Transformers) ALOHA мақаласынан алынған, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, авторлары Чжао, Кумар, Левин және Финн, arXiv, 2023 жылғы 23 сәуір. Қондырғы 50 Гц жиілікте жазады, төрт веб-камера 480x640 ажыратымдылықта 30 кадр/сек жылдамдықпен ағынмен жібереді: екеуі қысқыштарда, біреуі үстінде, біреуі алдында. Рефератта 10 минуттық демонстрациялардан кейін 80-90 пайыздық сәттілікпен алты дағды, соның ішінде мөлдір дәмдеуіш кесесін ашу және батареяны салу сияқты дағдылар бар делінген.

Жазба сессиясын жоспарлау кезінде негізгі мәтін пайдалырақ: әр тапсырмаға 50 демонстрация, тек Thread Velcro үшін 100 демонстрация, бұл 10-20 минут деректер және қайта орнатулар есептелгенде 30-60 минут нақты уақыт. Сәттілік біркелкі емес: Thread Velcro 20 пайызбен, Put On Shoe 92, Cup Open 84, Prep Tape 64 пайызбен аяқталады.

Әрекетті бөліктеу – бұл бүкіл идея

Қарапайым мінез-құлықты клондау бір бақылауды бір әрекетке сәйкестендіреді, және қателер жинақталады: ауытқу қолды бөлуден шығарады, нашар әрекет тудырады, және отыз қадамнан кейін қысқыш нысанға жақын жерде болмайды. Әрекетті бөліктеу бірден k әрекетті болжайды және оларды орындайды, тиімді көкжиекті k факторына азайтады. Ол сондай-ақ адам деректеріне тән кедергіні де шешеді: телеоператорлар кідіреді, және бір қадамдық Марковтық саясат бұрын болғанға байланысты кідірісті модельдей алмайды.

Мақала k мәнін растаудың орнына оны ажыратады. Уақытша ансамбльдеу өшірілген кезде, төрт параметр бойынша орташа алғанда, k = 1 кезіндегі 1 пайыздық сәттілік k = 100 кезінде 44 пайызға дейін көтеріледі, содан кейін саясат ашық циклді басқаруға жақындағанда 200 және 400-де төмендейді. Бұл қисық сызық әдепкі мәннің 100 болу себебі.

• chunk_size: декодер бір алға басуда қанша болашақ әрекетті болжайды. Әдепкі 100.
• n_action_steps: қайта сұрау алдында олардың қаншасын орындайсыз. Әдепкі 100, сондықтан lerobot бүкіл бөлікті ашық циклде орындайды.
• lerobot тексереді n_action_steps <= chunk_size және егер сіз оны керісінше орнатсаңыз, ValueError қатесін шығарады.

Операциялық тұрғыдан маңыздысы – chunk_size-ды кадр жиілігіне бөлу. lerobot-тың SO-100 мысалдары қолданатын 30 кадр/сек жылдамдықта, 100 бөліктен тұратын бір үзінді бір бақылаудан шамамен 3.3 секундты қамтиды. Егер тапсырма сол терезе ішінде түзетуді қажет етсе, төмендетіңіз n_action_steps, ал емес chunk_size: сіз ұзақ болжамды сақтап, жиірек қайта бақылайсыз.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT негізгі модельден асып түскенде

Бес оқытылатын саясат қатар, AY-Robots өлшейтін және жалға алатын GPU-ды өлшемдеу үшін қолданатын сандармен.

Тапсырма мен көрініс тұрақты және қозғалыс жылдам әрі дәл болуы керек болса, ACT-ті таңдаңыз. Бір бақылау нүктесі бірнеше нұсқаулықты қамтуы керек болса, таңдаңыз. Екі бет шешімді тікелей салыстырады: және . Жарияланған эталондар үшін, әрбір санды оның дереккөзіне сілтейді.

Бастамас бұрын не қажет

Бір ілесуші қол, бір жетекші қол, кем дегенде бір камера, 24 ГБ GPU. ACT тек кескіндер мен буын позицияларын оқиды. Екі камера ең қолайлы нұсқа: заттардың қайда екенін көрсететін тұрақты алдыңғы көрініс, неге тиетінін көрсететін білек камерасы, ALOHA-дағы сияқты.

Жалаң қолдан жазылған деректер жинағына дейін

Төмендегі ағын lerobot 0.6.x. Егер сізде калибрленген қол және деректер жинағы болса, оны өткізіп жіберіңіз. Әйтпесе, SO-100 бастау нұсқаулығы құрастыруды қамтиды, ал жазуға шолу түсіруді қамтиды, ал деректер жинағы құжаттамасы пішімін қамтиды.

1. 1
   lerobot-ты қажетті қосымшалармен орнату

   Жазу үшін core_scripts, оқыту үшін training, Feetech серволары үшін feetech қажет. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Әр қолдың USB портын табу

   Екі қолды да қосып іске қосыңыз, сұралған кезде біреуін ажыратыңыз. Linux жүйесінде түйін рұқсаттарын ашу қажет болуы мүмкін.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Қозғалтқыш идентификаторлары мен бод жылдамдығын орнату

   SO-100-де бұл құрастыру алдында орындалады: SO-101-ден айырмашылығы, қосқыштар құрастырылғаннан кейін қол жетімсіз болады. Скрипт шинаны қысқыштан бастап, бір қозғалтқыштан кейін бір қозғалтқышты аралап, идентификаторларды EEPROM-ға жазады.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Екі қолды да калибрлеу

   Әрбір буынды диапазонының ортасына орнатыңыз, Enter пернесін басыңыз, содан кейін әрқайсысын толық диапазоны бойынша жылжытыңыз. Калибрлеу бір қолда оқытылған саясатты басқа қолда іске қосуға мүмкіндік береді. Бірдей id қайта пайдаланыңыз.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Камералар қосулы кезде бір рет телеоперация жасау

   lerobot-тың жалпы ережесі: сіз тапсырманы тек камера кескіндеріне қарап орындай алуыңыз керек. Егер сіз орындай алмасаңыз, ACT та орындай алмайды. Бұл кейінгі жөндеуге қарағанда көптеген нашар деректер жинақтарын анықтайды.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 эпизодты жазу

   50 - AY-Robots минимумы және ALOHA әр тапсырмаға қолданған мөлшер. lerobot нысан орналасқан жеріне 10-нан, камералар бекітілген, ұстау тұрақты болуын ұсынады. n эпизодты аяқтайды, r қайта жазады, q тоқтатады және кодтайды.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Оқыту алдында кем дегенде бес эпизодты қайталаңыз. LeRobot деректер жинағы форматы камера ағындарын, буын күйлерін және әрекеттерді әрбір эпизод, және қайталау бұл әрекеттерді қолға қайтарады. Егер қайталау тапсырманы орындамаса, деректер оны қамтымайды және оқыту оны ойлап таппайды.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT саясатын оқыту

Бұл толық пәрмен. ACT-ке қатысты барлық нәрсе әдепкі бойынша орнатылған, сондықтан lerobot ACT бетінде олардан бастау керектігі айтылған.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ACTConfig-ті жүктейді, ол деректер жинағыңыз жазып алған қозғалтқыштар мен камералар санына бейімделеді, сондықтан сіз ешқашан бақылау пішінін жарияламайсыз. --wandb.enable=true міндетті емес, бірақ пайдалы: шығын қисығы 100000 қадамдық іске қосудағы жалғыз арзан сигнал болып табылады. Кесте ACTConfig-тен емес, lerobot-тың оқыту конфигурациясынан алынады: 100000 қадам, пакет 8, тұқым 1000, бақылау нүктесі әр 20000 қадам сайын, әр 200 қадам сайын журналға жазу.

Толық іске қосу бес бақылау нүктесі каталогын қалдырады, 020000-нан 100000-ға дейін, сонымен қатар соңғы символикалық сілтеме. Олардың барлығын сақтаңыз: ең жақсы саясат көбінесе соңғысы болмайды.

Ұзақтығы: құжаттағы 11 ГБ RTX 2080 Ti-да шамамен 5 сағат, lerobot-тың ACT бетіндегі 100 мың қадам үшін бірнеше сағат, AY-Robots 24 ГБ деңгейінде 2-ден 5 сағатқа дейін. Оны қысқартпаңыз. Сілтеме репозиторийінің README файлында айтылғандай, дірілдеген немесе кідірген саясатқа әдетте көбірек жаттығу қажет болады, өйткені шығын тұрақтанғаннан кейін сәттілік пен тегістік жақсара береді: нақты әлем деректері үшін кем дегенде 5000 дәуір немесе тұрақтанғаннан кейін тағы 3-4 есе ұзақтық қажет.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Оқытылған саясатты қолда іске қосу

Орналастыру lerobot-rollout пайдаланады. Камера кілттері жазылғандарға сәйкес келуі керек: front және wrist бойынша оқытылған саясат cam0 және cam1 қабылдамайды, және rename_map көмектеспейді, өйткені оған алдын ала оқытылған бақылау нүктесі қажет. Тапсырма жолын қалдыруға болады; lerobot-тың өз мысалы оны ACT үшін өткізіп жіберуге болатын етіп белгілейді.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Соңғы модельдің орнына бақылау нүктесін бекіту үшін --policy.pretrained_revision қосыңыз. Ол іске қосу --save_checkpoint_to_hub=true параметрімен басталғанын талап етеді, ол әдепкі бойынша өшірулі: онсыз lerobot тек соңғы модельді жібереді. Онымен әрбір бақылау нүктесі нөлмен толтырылған қадамымен белгіленеді, сондықтан --policy.pretrained_revision=060000 60000 қадамдық нүктені қалпына келтіреді. Оны нақты қолда 100000-мен салыстыру - қолжетімді ең арзан эксперимент.

Бір бақылау нүктесіне екі жол

Жоғарыда айтылғандардың бәрі қолмен орындалатын жол және ол жұмыс істейді. Платформалық жол GPU немесе Python ортасын иеленбеу үшін басқаруды айырбастайды.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Нақты не қате болады

Ауырсынудың басым бөлігі жаттығу командасында емес. Ол оның айналасындағы нәрселерде, олардың алғаш рет қаншалықты жиі қателесетініне қарай реттелген.

Екі жолға ерекше назар аудару керек. ACT LeRobot v3.0 нұсқасында жаттығады, ал GR00T жүктегіші онымен жұмыс істемейді және v2.1 нұсқасын қажет етеді, сондықтан ACT-ті жаттықтыратын деректер жинағы GR00T жұмысын бұзуы мүмкін. Ал соңғы жолда екі түзету бар: ACT авторлары дірілдеген қозғалысқа көбірек жаттығумен жауап береді, ал n_action_steps 100-де нақты тоқтау блок шекарасында болады, яғни 30 кадр/сек жылдамдықта әр 3.3 секунд сайын көрінетін кідіріс. Тағы екі нәрсені білу керек: бір өлі буын әдетте ешқашан жазылмаған серво идентификаторы, және жақындайтын, бірақ ешқашан жабылмайтын қысқыш демонстрацияларда қысқыштың диапазоны тым аз екенін білдіреді. Толық индекс: ақаулық режимдері беттері.

Жүгіру қанша тұрады

Бұл кейінірек VLA қажет болса да, ACT-тен бастауға арналған дәлел. Сәтсіз ACT іске қосу кофе бағасына тең және деректер жинағыңызда тапсырма бар-жоғын бірнеше сағат ішінде хабарлайды. Сәтсіз GR00T іске қосу сол сабақ үшін одан төрт есе қымбатқа түседі. Кейіннен GR00T N1.7 немесе SmolVLA кейіннен форманы өзгерту болып табылады, қайта құру емес. Анықтама: көру-тіл-әрекет модельдері, SO-100 толық нұсқаулығы, алғашқы саясатыңызды үйретіңіз және еліктеу арқылы оқыту. Қолы жоқ па? Тікелей эфир беті тіркелмей-ақ нақты SO-100-ді басқаруға мүмкіндік береді.