Как да тренираме ACT на SO-100 от нулата

ACT е изключение сред политиките на SO-100. GR00T N1.7 и N1.5 започват от nvidia/GR00T-N1.7-3B и nvidia/GR00T-N1.5-3B, Pi0.5 от lerobot/pi05_base. ACT започва от нищото: няма базов контролен пункт, защото не е фундаментален модел. Това е трансформатор с приблизително 80 милиона параметъра, който обучавате от нулата за една задача, на вашата ръка, при вашето осветление.

Ето защо изпълнява контролна стъпка за 20 ms, докато VLA с 3 милиарда параметъра се нуждае от 152 до 485 ms и струва 1 до 3 USD на изпълнение вместо 4 до 12. Това ръководство описва ръчния маршрут с lerobot на SO-100: запис, конфигурацията на act, какво контролират chunk_size и n_action_steps, графикът от 100000 стъпки, разгръщането. След това същата задача на AY-Robots, включително къде платформата не помага.

Какво всъщност е ACT

Action Chunking with Transformers идва от статията ALOHA, Изучаване на фино двуръчно манипулиране с нискобюджетен хардуер, от Zhao, Kumar, Levine и Finn, arXiv, 23 април 2023 г. Установката записва при 50 Hz с четири уеб камери, предаващи 480x640 при 30 fps: две на захватите, една отгоре, една отпред. Резюмето твърди шест умения с 80 до 90 процента успеваемост, сред които отваряне на полупрозрачна чаша за подправки и поставяне на батерия, от 10 минути демонстрации.

Основната част е по-полезна при планиране на сесия за запис: 50 демонстрации на задача, с изключение на Thread Velcro при 100, което е 10 до 20 минути данни и 30 до 60 минути реално време, след като се отчетат нулиранията. Успеваемостта също не е еднаква: Thread Velcro завършва на 20 процента, Put On Shoe на 92, Cup Open 84, Prep Tape 64.

Разделянето на действията е цялата идея

Обикновеното поведенческо клониране картографира едно наблюдение към едно действие и грешките се натрупват: отклонение изважда ръката извън разпределението, произвеждайки по-лошо действие, и тридесет стъпки по-късно захватът е далеч от обекта. Разделяне на действията предсказва k действия наведнъж и ги изпълнява, намалявайки ефективния хоризонт с фактор k. Той също така се справя с неудобство, специфично за човешките данни: телеоператорите правят паузи, а едностъпкова Марковска политика не може да моделира пауза, която зависи от това, което е предшествало.

Докладът изследва k чрез аблация, вместо да го утвърждава. При изключено темпорално ансамблиране, осреднено за четири настройки, успехът нараства от 1 процент при k = 1 до 44 процента при k = 100, след което намалява при 200 и 400, тъй като политиката наближава управление с отворен цикъл. Тази крива е причината по подразбиране да е 100.

• chunk_size: колко бъдещи действия предсказва декодерът за едно преминаване напред. По подразбиране 100.
• n_action_steps: колко от тях изпълнявате, преди да направите ново запитване. По подразбиране 100, така че lerobot изпълнява целия блок в отворен цикъл.
• lerobot валидира n_action_steps <= chunk_size и повдига ValueError, ако ги объркате.

Оперативно значение има chunk_size, разделен на честотата на кадрите. При 30 кадъра в секунда, използвани от примерите SO-100 на lerobot, блок от 100 действия обхваща около 3.3 секунди от едно наблюдение. Ако задачата изисква корекция в този прозорец, намалете n_action_steps, а не chunk_size: така запазвате дългото предсказание и наблюдавате отново по-често.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Когато ACT превъзхожда базов модел

Петте обучими политики една до друга, с числата, които AY-Robots измерва и използва за оразмеряване на наетия от нея GPU.

Изберете ACT, когато задачата и сцената са фиксирани и движението трябва да е бързо и прецизно. Изберете , когато една контролна точка трябва да покрива няколко инструкции. Две страници разглеждат решението директно: и . За публикувани бенчмаркове, свързва всяко число с неговия източник.

Какво ви е необходимо, преди да започнете

Една следваща ръка, една водеща ръка за , поне една камера, 24 GB GPU. ACT чете само изображения и позиции на ставите. Две камери са оптималният вариант: фиксиран преден изглед за това къде са нещата, камера на китката за това какво предстои да докосне, както при ALOHA.

От гола ръка до записан набор от данни

Потокът по-долу е lerobot 0.6.x. Пропуснете го, ако имате калибрирана ръка и набор от данни. В противен случай ръководството за започване със SO-100 обхваща сглобяването, ръководството за запис обхваща заснемането, а документацията за набори от данни формата.

1. 1
   Инсталирайте lerobot с правилните допълнения

   За запис са нужни core_scripts, за обучение training, за Feetech сервомотори feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Намерете USB порта на всяка ръка

   Стартирайте го с включени и двете ръце, като изключите едната, когато бъдете подканени. На Linux може да се наложи да отворите разрешенията на възела.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Задайте идентификаторите на моторите и скоростта на предаване

   При SO-100 това се случва преди сглобяването: за разлика от SO-101, конекторите са недостъпни, след като е сглобен. Скриптът обхожда шината мотор по мотор, започвайки от грипера, записвайки идентификатори в EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Калибрирайте двете ръце

   Настройте всяка става в средата на нейния обхват, натиснете Enter, след което прекарайте всяка през пълния ѝ обхват. Калибрирането позволява политика, обучена на една ръка, да работи на друга. Използвайте повторно същия id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Телеоперирайте веднъж с включени камери

   Основното правило на lerobot: трябва да можете да изпълнявате задачата, гледайки само изображенията от камерата. Ако не можете, ACT също не може. Това улавя повече лоши набори от данни, отколкото по-късното отстраняване на грешки.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Запишете 50 епизода

   50 е минимумът за AY-Robots и това, което ALOHA използваше за задача. lerobot съветва 10 на местоположение на обект, фиксирани камери, последователен захват. n завършва епизод, r презаписва, q спира и кодира.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Преди обучение, възпроизведете поне пет епизода. съхранява потоци от камери, състояния на ставите и действия за всеки , а възпроизвеждането връща тези действия към ръката. Ако възпроизвеждането не изпълнява задачата, данните не я съдържат и обучението няма да я измисли.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Обучение на ACT политиката

Това е цялата команда. Всичко специфично за ACT вече е по подразбиране, ето защо страницата на lerobot ACT препоръчва да започнете с тях.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act зарежда ACTConfig, който се адаптира към броя на моторите и камерите, записани от вашия набор от данни, така че никога не декларирате формата на наблюдение. --wandb.enable=true е по избор и си струва: кривата на загубите е единственият евтин сигнал в изпълнение от 100000 стъпки. Графикът идва от конфигурацията за обучение на lerobot, а не от ACTConfig: 100000 стъпки, пакет 8, seed 1000, контролна точка на всеки 20000 стъпки, регистриране на всеки 200.

Пълното изпълнение оставя пет директории с контролни точки, от 020000 до 100000, плюс last символна връзка. Запазете ги всички: най-добрата политика често не е последната.

Продължителност: около 5 часа на 11 GB RTX 2080 Ti в статията, няколко часа за 100k стъпки според ACT страницата на lerobot, 2 до 5 часа на 24 GB ниво на AY-Robots. Не го съкращавайте. README файлът на референтното хранилище казва, че една накъсана или спираща политика обикновено просто се нуждае от повече обучение, защото успехът и плавността продължават да се подобряват след платото на загубата: за данни от реалния свят са необходими поне 5000 епохи, или 3 до 4 пъти по-дълго отново след платото.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Изпълнение на обучената политика върху ръката

Разгръщането използва lerobot-rollout. Ключовете на камерата трябва да съответстват на записаните: политика, обучена на front и wrist няма да приеме cam0 и cam1, а rename_map не помага, тъй като е необходима предварително обучена контролна точка. Низът на задачата може да бъде пропуснат; собственият пример на lerobot го отбелязва като пропускаем за ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

За да закачите контролна точка, а не финалния модел, добавете --policy.pretrained_revision. Това изисква изпълнението да е започнало с --save_checkpoint_to_hub=true, изключено по подразбиране: без него lerobot качва само финалния модел и нищо друго. С него всяка контролна точка е маркирана с нейната стъпка с водещи нули, така че --policy.pretrained_revision=060000 възстановява тази от стъпка 60000. Сравняването ѝ с 100000 на реалната ръка е най-евтиният наличен експеримент.

Два пътя до една и съща контролна точка

Всичко по-горе е ръчният маршрут и работи. Маршрутът през платформата разменя контрола за това да не притежавате GPU или Python среда.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Какво всъщност се обърква

Почти никаква трудност не е в командата за обучение. Тя е в нещата около нея, подредени по това колко често създават проблеми от първия път.

Два реда заслужават акцент. ACT се обучава на LeRobot v3.0, докато зареждачът на GR00T се срива с него и се нуждае от v2.1, така че набор от данни, който обучава ACT, може да провали изпълнение на GR00T. И последният ред има две поправки: авторите на ACT отговарят на накъсаното движение с повече обучение, докато с n_action_steps при 100 истинско забавяне попада на границата на парчето, видима пауза на всеки 3.3 секунди при 30 кадъра в секунда. Още две неща за знаене: една мъртва става обикновено е ID на серво, което никога не е било записано, и хващач, който се приближава, но никога не се затваря означава твърде малък обхват на хващача в демонстрациите. Пълен индекс: страниците с режими на отказ.

Какво струва едно изпълнение

Това е аргументът да започнете с ACT, дори ако по-късно искате VLA. Неуспешно изпълнение на ACT струва колкото кафе и ви казва в рамките на часове дали вашият набор от данни съдържа задачата. Неуспешно изпълнение на GR00T струва четири пъти повече за същия урок. Преминаването към GR00T N1.7 или SmolVLA след това е промяна на формата, а не преизграждане. Предистория: модели за визия-език-действие, пълно ръководство за SO-100, обучете първата си политика и имитационно обучение. Нямате ръка? Страницата на живо предава на живо истински SO-100, който можете да управлявате без регистрация.