Как обучить ACT на SO-100 с нуля

ACT выделяется среди политик SO-100. GR00T N1.7 и N1.5 начинаются с nvidia/GR00T-N1.7-3B и nvidia/GR00T-N1.5-3B, Pi0.5 с lerobot/pi05_base. ACT начинается с нуля: нет базовой контрольной точки, потому что это не фундаментальная модель. Это трансформер примерно с 80 миллионами параметров, который вы обучаете с нуля для одной задачи, на вашей руке, при вашем освещении.

Именно поэтому он выполняет шаг управления за 20 мс, тогда как VLA с 3 миллиардами параметров требуется от 152 до 485 мс, а стоимость одного запуска составляет от 1 до 3 USD вместо 4 до 12. Это руководство описывает ручной путь с lerobot на SO-100: запись, конфигурация act, что chunk_size и n_action_steps контролируют, расписание из 100000 шагов, развертывание. Затем та же задача на AY-Robots, включая случаи, когда платформа не помогает.

Что такое ACT на самом деле

Метод Action Chunking with Transformers основан на статье ALOHA, Обучение точной бимануальной манипуляции с использованием недорогого оборудования, авторы Zhao, Kumar, Levine и Finn, arXiv, 23 апреля 2023 года. Установка записывает данные с частотой 50 Гц с четырех веб-камер, транслирующих видео 480x640 при 30 кадрах в секунду: две на захватах, одна сверху, одна спереди. В аннотации заявлено о шести навыках с успехом от 80 до 90 процентов, среди которых открытие полупрозрачной чашки для приправ и установка батарейки, на основе 10 минут демонстраций.

Основная часть статьи более полезна при планировании сессии записи: 50 демонстраций на задачу, за исключением Thread Velcro — 100 демонстраций, что составляет от 10 до 20 минут данных и от 30 до 60 минут реального времени с учетом сбросов. Успех также не является равномерным: Thread Velcro завершается на 20 процентах, Put On Shoe — на 92, Cup Open — на 84, Prep Tape — на 64.

Разбиение действий на чанки — это вся идея

Обычное клонирование поведения сопоставляет одно наблюдение одному действию, и ошибки накапливаются: отклонение выводит руку из распределения, что приводит к худшему действию, и через тридцать шагов захват находится далеко от объекта. Разбиение действий на чанки предсказывает k действий одновременно и выполняет их, уменьшая эффективный горизонт в k раз. Это также решает проблему, специфичную для человеческих данных: телеоператоры делают паузы, а одношаговая марковская политика не может моделировать паузу, которая зависит от того, что было раньше.

В статье k исследуется путем абляции, а не постулируется. При отключенном временном ансамблировании, усредненном по четырем настройкам, успех возрастает с 1 процента при k = 1 до 44 процентов при k = 100, затем снижается при 200 и 400, когда политика приближается к управлению с разомкнутым контуром. Эта кривая объясняет, почему значение по умолчанию равно 100.

• chunk_size: сколько будущих действий декодер предсказывает за один прямой проход. По умолчанию 100.
• n_action_steps: сколько из них вы выполняете до повторного запроса. По умолчанию 100, поэтому lerobot выполняет весь фрагмент в разомкнутом цикле.
• lerobot проверяет, что n_action_steps <= chunk_size, и вызывает ValueError, если вы зададите их наоборот.

Что имеет значение с операционной точки зрения, так это chunk_size, деленный на частоту кадров. При 30 кадрах в секунду, используемых в примерах SO-100 от lerobot, фрагмент из 100 действий занимает около 3,3 секунды от одного наблюдения. Если задача требует коррекции внутри этого окна, уменьшите n_action_steps, а не chunk_size: вы сохраняете длительное предсказание и повторно наблюдаете чаще.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Когда ACT превосходит базовую модель

Пять обучаемых политик рядом, с числами, которые AY-Robots измеряет и использует для определения размера арендуемого GPU.

Выбирайте ACT, когда задача и сцена фиксированы, а движение должно быть быстрым и точным. Выбирайте модель зрения-языка-действия, когда одна контрольная точка должна охватывать несколько инструкций. Две страницы сравнивают решения напрямую: ACT vs SmolVLA и ACT vs GR00T N1.7. Для опубликованных бенчмарков запись ACT на арене ссылается на источник каждого числа.

Что вам понадобится, прежде чем начать

Одна ведомая рука, одна ведущая рука для телеуправления, как минимум одна камера, GPU 24 ГБ. ACT считывает только изображения и положения суставов. Две камеры — оптимальный вариант: фиксированный вид спереди для определения местоположения объектов, и камера на запястье для того, к чему собирается прикоснуться конечный эффектор, как в ALOHA.

От пустого манипулятора до записанного набора данных

Описанный ниже процесс относится к lerobot 0.6.x. Пропустите его, если у вас есть откалиброванный манипулятор и набор данных. В противном случае руководство по началу работы с SO-100 охватывает сборку, пошаговое руководство по записи охватывает захват, а документация по наборам данных — формат.

1. 1
   Установите lerobot с нужными дополнениями

   Для записи требуются core_scripts, для обучения training, для сервоприводов Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Найдите USB-порт каждой руки

   Запустите его с подключенными обеими руками, отключая одну по запросу. В Linux может потребоваться открыть разрешения узла.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Установите идентификаторы моторов и скорость передачи данных

   На SO-100 это происходит до сборки: в отличие от SO-101, разъемы недоступны после сборки. Скрипт обходит шину по одному мотору, начиная с захвата, записывая идентификаторы в EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Откалибруйте обе руки

   Установите каждый сустав в середину его диапазона, нажмите Enter, затем проведите каждый через весь его диапазон. Калибровка позволяет политике, обученной на одной руке, работать на другой. Используйте тот же id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Выполните телеуправление один раз с включенными камерами

   Эмпирическое правило lerobot: вы должны быть в состоянии выполнить задачу, глядя только на изображения с камеры. Если вы не можете, то и ACT не сможет. Это выявляет больше плохих наборов данных, чем последующая отладка.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Запишите 50 эпизодов

   50 — это минимум для AY-Robots и то, что ALOHA использовала для каждой задачи. lerobot рекомендует 10 для каждого положения объекта, фиксированные камеры, согласованный захват. n завершает эпизод, r перезаписывает, q останавливает и кодирует.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Перед обучением воспроизведите как минимум пять эпизодов. хранит потоки с камер, состояния суставов и действия для каждого , а воспроизведение передает эти действия обратно руке. Если воспроизведение не выполняет задачу, данные не содержат ее, и обучение не сможет ее изобрести.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Обучение политики ACT

Это полная команда. Все специфичное для ACT уже является значением по умолчанию, поэтому страница lerobot ACT рекомендует начинать с них.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act загружает ACTConfig, который адаптируется к любому количеству моторов и камер, записанных вашим набором данных, поэтому вам никогда не нужно объявлять форму наблюдения. --wandb.enable=true необязателен, но полезен: кривая потерь — это единственный дешевый сигнал в прогоне на 100000 шагов. Расписание берется из конфигурации обучения lerobot, а не из ACTConfig: 100000 шагов, пакет 8, seed 1000, контрольная точка каждые 20000 шагов, логирование каждые 200.

Полный запуск оставляет пять директорий контрольных точек, от 020000 до 100000, плюс last символическую ссылку. Сохраните их все: лучшая политика часто не последняя.

Продолжительность: около 5 часов на 11 ГБ RTX 2080 Ti (согласно статье), несколько часов для 100 тыс. шагов (согласно странице ACT lerobot), от 2 до 5 часов на уровне AY-Robots 24 ГБ. Не сокращайте. README репозитория-источника указывает, что прерывистая или замедляющаяся политика обычно просто нуждается в большем количестве обучения, потому что успех и плавность продолжают улучшаться после стабилизации функции потерь: для реальных данных требуется не менее 5000 эпох, или в 3-4 раза больше после плато.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Запуск обученной политики на манипуляторе

Развертывание использует lerobot-rollout. Ключи камер должны соответствовать записанным: политика, обученная на front и wrist не примет cam0 и cam1, а rename_map не поможет, так как требуется предварительно обученный контрольный пункт. Строку задачи можно опустить; собственный пример lerobot помечает ее как пропускаемую для ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Чтобы закрепить контрольную точку, а не финальную модель, добавьте --policy.pretrained_revision. Для этого запуск должен был начаться с --save_checkpoint_to_hub=true, по умолчанию отключено: без этого lerobot отправляет только финальную модель. С ним каждая контрольная точка помечается своим шагом с ведущими нулями, поэтому --policy.pretrained_revision=060000 восстанавливает контрольную точку на шаге 60000. Сравнение ее с 100000 на реальной руке — это самый дешевый доступный эксперимент.

Два пути к одной и той же контрольной точке

Все вышеперечисленное — это ручной путь, и он работает. Путь через платформу обменивает контроль на отсутствие необходимости владеть GPU или средой Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Что на самом деле идет не так

Почти все трудности не в команде обучения. Они в сопутствующих вещах, упорядоченных по частоте возникновения при первом запуске.

Две строки заслуживают особого внимания. ACT обучается на LeRobot v3.0, в то время как загрузчик GR00T на нем падает и требует v2.1, поэтому набор данных, который обучает ACT, может привести к сбою GR00T. И последняя строка содержит два исправления: авторы ACT отвечают на рывковое движение дополнительным обучением, в то время как при n_action_steps равном 100, настоящая задержка происходит на границе блока, видимая пауза каждые 3.3 секунды при 30 кадрах в секунду. Еще два момента, которые стоит знать: один неработающий сустав обычно является идентификатором сервопривода, который никогда не был записан, и захват, который приближается, но никогда не закрывается означает слишком малый диапазон захвата в демонстрациях. Полный индекс: страницы режимов отказа.

Что стоит запуск

Это аргумент в пользу начала работы с ACT, даже если позже вы захотите использовать VLA. Неудачный запуск ACT стоит как чашка кофе и в течение нескольких часов покажет, содержит ли ваш набор данных нужную задачу. Неудачный запуск GR00T стоит в четыре раза дороже за тот же урок. Переход на GR00T N1.7 или SmolVLA впоследствии — это изменение формы, а не перестройка. Справочная информация: модели зрения, языка и действий, полное руководство по SO-100, обучите свою первую политику и обучение с имитацией. Нет манипулятора? Страница трансляции транслирует реальный SO-100, которым можно управлять без регистрации.