Як тренувати ACT на SO-100 з нуля

ACT є винятком серед політик SO-100. GR00T N1.7 та N1.5 починаються з nvidia/GR00T-N1.7-3B та nvidia/GR00T-N1.5-3B, Pi0.5 з lerobot/pi05_base. ACT починається з нуля: немає базової контрольної точки, оскільки це не фундаментальна модель. Це трансформер приблизно з 80 мільйонами параметрів, який ви тренуєте з нуля для одного завдання, на вашій руці, при вашому освітленні.

Саме тому він виконує крок керування за 20 мс, тоді як VLA з 3 мільярдами параметрів потребує від 152 до 485 мс і коштує від 1 до 3 USD за запуск замість 4 до 12. Цей посібник описує ручний шлях з lerobot на SO-100: запис, конфігурація act, що контролюють chunk_size та n_action_steps, розклад на 100000 кроків, розгортання. Потім те саме завдання на AY-Robots, включаючи випадки, коли платформа не допомагає.

Що таке ACT насправді

Метод Action Chunking with Transformers походить з роботи ALOHA, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, від Zhao, Kumar, Levine та Finn, arXiv, 23 квітня 2023 року. Установка записує дані з частотою 50 Гц за допомогою чотирьох вебкамер, що транслюють відео 480x640 з частотою 30 кадрів на секунду: дві на захватах, одна зверху, одна спереду. Анотація стверджує про шість навичок з успішністю від 80 до 90 відсотків, серед них відкриття напівпрозорої чашки для приправ та вставляння батарейки, на основі 10 хвилин демонстрацій.

Основна частина роботи є більш корисною при плануванні сесії запису: 50 демонстрацій на завдання, за винятком Thread Velcro – 100, що становить від 10 до 20 хвилин даних та від 30 до 60 хвилин реального часу з урахуванням скидань. Успішність також не є рівномірною: Thread Velcro завершується на 20 відсотках, Put On Shoe – на 92, Cup Open – 84, Prep Tape – 64.

Розбиття дій на фрагменти — це вся ідея

Звичайне поведінкове клонування відображає одне спостереження на одну дію, і помилки накопичуються: відхилення виводить руку за межі розподілу, створюючи гіршу дію, і через тридцять кроків захват знаходиться далеко від об'єкта. Розбиття дій на фрагменти передбачає k дій одночасно і виконує їх, зменшуючи ефективний горизонт у k разів. Це також вирішує проблему, специфічну для людських даних: телеоператори роблять паузи, а однокрокова марковська політика не може моделювати паузу, яка залежить від того, що було раніше.

У статті досліджується k, а не стверджується його значення. При вимкненому часовому ансамблюванні, усередненому за чотирма налаштуваннями, успіх зростає з 1 відсотка при k = 1 до 44 відсотків при k = 100, потім знижується при 200 і 400, коли політика наближається до керування з розімкненим контуром. Ця крива пояснює, чому значення за замовчуванням дорівнює 100.

• chunk_size: скільки майбутніх дій декодер передбачає за один прямий прохід. За замовчуванням 100.
• n_action_steps: скільки з них ви виконуєте, перш ніж знову зробити запит. За замовчуванням 100, тому lerobot виконує весь фрагмент у відкритому циклі.
• lerobot перевіряє n_action_steps <= chunk_size і викликає ValueError, якщо ви вкажете їх у зворотному порядку.

Що має значення в роботі, це chunk_size, поділений на частоту кадрів. При 30 кадрах на секунду, які використовуються в прикладах SO-100 lerobot, фрагмент зі 100 дій займає близько 3,3 секунди від одного спостереження. Якщо завдання потребує корекції в межах цього вікна, зменшіть n_action_steps, а не chunk_size: ви зберігаєте довге передбачення і частіше робите повторні спостереження.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Коли ACT перевершує базову модель

П'ять навчаних політик поруч, з показниками, які AY-Robots вимірює та використовує для визначення розміру орендованого GPU.

Вибирайте ACT, коли завдання та сцена фіксовані, а рух має бути швидким і точним. Вибирайте коли одна контрольна точка повинна охоплювати кілька інструкцій. Дві сторінки порівнюють рішення безпосередньо: та . Для опублікованих бенчмарків, посилається на джерело кожного числа.

Що вам потрібно, перш ніж почати

Одна рука-послідовник, одна рука-лідер для , щонайменше одна камера, графічний процесор 24 ГБ. ACT зчитує лише зображення та положення суглобів. Дві камери — це оптимальний варіант: фіксований фронтальний вид для визначення розташування об'єктів, камера на зап'ясті для того, до чого збирається торкнутися, як у ALOHA.

Від голої руки до записаного набору даних

Описаний нижче процес стосується lerobot 0.6.x. Пропустіть його, якщо у вас є відкалібрована рука та набір даних. В іншому випадку посібник із початку роботи з SO-100 охоплює збірку, покроковий посібник із запису охоплює захоплення, а документація по наборах даних формат.

1. 1
   Встановіть lerobot з потрібними додатками

   Для запису потрібні core_scripts, для навчання training, для сервоприводів Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Знайдіть USB-порт кожної руки

   Запустіть його з підключеними обома руками, відключаючи одну за запитом. У Linux може знадобитися відкрити дозволи вузла.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Встановіть ідентифікатори двигунів та швидкість передачі даних

   На SO-100 це відбувається до збирання: на відміну від SO-101, роз'єми недоступні після складання. Скрипт проходить по шині по одному двигуну, починаючи від захвату, записуючи ідентифікатори в EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Відкалібруйте обидві руки

   Встановіть кожен суглоб у середину його діапазону, натисніть Enter, потім проведіть кожен через весь його діапазон. Калібрування дозволяє політиці, навченій на одній руці, працювати на іншій. Повторно використовуйте той самий id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Телекеруйте один раз з увімкненими камерами

   Емпіричне правило lerobot: ви повинні бути в змозі виконати завдання, дивлячись лише на зображення з камери. Якщо ви не можете, то й ACT не зможе. Це виявляє більше поганих наборів даних, ніж подальше налагодження.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Запишіть 50 епізодів

   50 — це мінімум для AY-Robots і те, що ALOHA використовувала для кожного завдання. lerobot радить 10 на кожне розташування об'єкта, камери зафіксовані, захоплення послідовне. n завершує епізод, r перезаписує, q зупиняє та кодує.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Перед навчанням відтворіть щонайменше п'ять епізодів. зберігає потоки з камер, стани суглобів та дії за , а відтворення повертає ці дії руці. Якщо відтворення не виконує завдання, дані не містять його, і навчання не винайде його.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Навчання політики ACT

Це повна команда. Усе, що стосується ACT, вже є значенням за замовчуванням, тому сторінка lerobot ACT рекомендує починати саме з них.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act завантажує ACTConfig, який адаптується до будь-якої кількості двигунів і камер, записаних вашим набором даних, тому вам ніколи не потрібно оголошувати форму спостереження. --wandb.enable=true є необов'язковим і вартим того: крива втрат — це єдиний дешевий сигнал у 100000-кроковому запуску. Розклад походить від конфігурації навчання lerobot, а не ACTConfig: 100000 кроків, пакет 8, початкове значення 1000, контрольна точка кожні 20000 кроків, логування кожні 200.

Повний запуск залишає п'ять каталогів контрольних точок, від 020000 до 100000, плюс символічне посилання last. Зберігайте їх усі: найкраща політика часто не є останньою.

Тривалість: близько 5 годин на 11 ГБ RTX 2080 Ti у статті, кілька годин для 100 тис. кроків згідно зі сторінкою ACT lerobot, від 2 до 5 годин на рівні 24 ГБ AY-Robots. Не скорочуйте. README репозиторію посилань стверджує, що політика, яка смикається або зупиняється, зазвичай просто потребує більше , оскільки успіх і плавність продовжують покращуватися після стабілізації втрат: для реальних даних потрібно щонайменше 5000 епох, або в 3-4 рази більше після стабілізації.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Запуск навченої політики на руці

Розгортання використовує lerobot-rollout. Ключі камери повинні відповідати записаним: політика, навчена на front та wrist не прийме cam0 та cam1, і rename_map не допоможе, оскільки потрібна попередньо навчена контрольна точка. Рядок завдання можна опустити; власний приклад lerobot позначає його як необов'язковий для ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Щоб закріпити контрольну точку, а не фінальну модель, додайте --policy.pretrained_revision. Для цього запуск повинен був початися з --save_checkpoint_to_hub=true, вимкнено за замовчуванням: без цього lerobot завантажує лише фінальну модель. З ним кожна контрольна точка позначається кроком з нульовим доповненням, тому --policy.pretrained_revision=060000 відновлює контрольну точку на кроці 60000. Порівняння її з 100000 на реальній руці є найдешевшим доступним експериментом.

Два шляхи до однієї контрольної точки

Все вищезгадане — це ручний шлях, і він працює. Шлях через платформу обмінює контроль на відсутність власного GPU або середовища Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Що насправді йде не так

Майже весь біль не в команді навчання. Він у речах навколо неї, упорядкованих за тим, як часто вони виникають вперше.

Два рядки заслуговують на особливу увагу. ACT навчається на LeRobot v3.0, тоді як завантажувач GR00T на ньому виходить з ладу і потребує v2.1, тому набір даних, який навчає ACT, може призвести до збою запуску GR00T. І останній рядок має два виправлення: автори ACT відповідають на ривковий рух додатковим навчанням, тоді як з n_action_steps при 100 справжня затримка відбувається на межі фрагмента, видима пауза кожні 3.3 секунди при 30 кадрах в секунду. Ще два моменти, які варто знати: один непрацюючий суглоб зазвичай є ідентифікатором сервоприводу, який ніколи не був записаний, і захватом, який наближається, але ніколи не закривається означає занадто малий діапазон захвату в демонстраціях. Повний індекс: сторінки режимів відмов.

Скільки коштує запуск

Це аргумент на користь початку роботи з ACT, навіть якщо пізніше ви захочете VLA. Невдалий запуск ACT коштує як чашка кави і протягом кількох годин показує, чи містить ваш набір даних потрібне завдання. Невдалий запуск GR00T коштує вчетверо дорожче за той самий урок. Перехід до GR00T N1.7 або SmolVLA згодом — це зміна форми, а не повна перебудова. Довідкова інформація: моделі зору, мови та дії, повний посібник SO-100, навчіть свою першу політику та навчання наслідуванням. Немає маніпулятора? Сторінка прямої трансляції транслює реальний SO-100, яким можна керувати без реєстрації.