Како да тренирате ACT на SO-100 од нула

ACT е исклучок меѓу политиките SO-100. GR00T N1.7 и N1.5 започнуваат од nvidia/GR00T-N1.7-3B и nvidia/GR00T-N1.5-3B, Pi0.5 од lerobot/pi05_base. ACT започнува од ништо: нема основна контролна точка, бидејќи не е темелен модел. Тоа е трансформатор со приближно 80 милиони параметри кој го тренирате од нула за една задача, на вашата рака, под ваше осветлување.

Тоа е исто така зошто извршува контролен чекор за 20 ms, додека VLA со 3 милијарди параметри бара 152 до 485 ms, и чини 1 до 3 USD по извршување наместо 4 до 12. Овој водич го опишува рачниот пат со lerobot на SO-100: снимање, act конфигурација, што chunk_size и n_action_steps контролираат, распоредот од 100000 чекори, извршувањето. Потоа истата работа на AY-Robots, вклучувајќи ги и местата каде платформата не помага.

Што всушност е ACT

Action Chunking with Transformers доаѓа од трудот ALOHA, Учење на фино-гранулирана бимануелна манипулација со нискобуџетен хардвер, од Жао, Кумар, Левин и Фин, arXiv, 23 април 2023. Опремата снима со 50 Hz со четири веб-камери кои стримуваат 480x640 со 30 fps: две на грајферите, една горе, една напред. Апстрактот тврди шест вештини со 80 до 90 проценти успех, меѓу нив отворање проѕирна чаша за зачини и вметнување батерија, од 10 минути демонстрации.

Телото е покорисно при планирање сесија за снимање: 50 демонстрации по задача, освен Thread Velcro со 100, што е 10 до 20 минути податоци и 30 до 60 минути реално време откако ќе се избројат ресетирањата. Успехот исто така не е униформен: Thread Velcro завршува со 20 проценти, Put On Shoe со 92, Cup Open 84, Prep Tape 64.

Групирањето акции е целата идеја

Обичното клонирање на однесувањето мапира едно набљудување на една акција, а грешките се натрупуваат: отстапувањето ја става раката надвор од дистрибуцијата, произведувајќи полоша акција, а триесет чекори подоцна фаќачот не е никаде блиску до објектот. Групирање акции предвидува k акции одеднаш и ги извршува, намалувајќи го ефективниот хоризонт за фактор k. Исто така, се справува со непријатност специфична за човечките податоци: телеоператорите паузираат, а едночекорна Марковска политика не може да моделира пауза што зависи од она што претходело.

Трудот го аблатира k наместо да го тврди. Со исклучено временско ансамблирање, просечно преку четири поставки, успехот се зголемува од 1 процент при k = 1 на 44 проценти при k = 100, потоа се намалува на 200 и 400 како што политиката се приближува до контрола со отворена јамка. Таа крива е причината зошто стандардната вредност е 100.

• chunk_size: колку идни дејства предвидува декодерот по едно напредно поминување. Стандардно 100.
• n_action_steps: колку од нив извршувате пред повторно да поставите барање. Стандардно 100, така што lerobot го извршува целиот дел во отворена јамка.
• lerobot проверува дали `n_action_steps <= chunk_size` и покренува `ValueError` ако ги поставите обратно.

Оперативно, важно е chunk_size поделено со стапката на слики. При 30 fps што ги користат примерите на SO-100 на lerobot, дел од 100 дејства опфаќа околу 3.3 секунди од едно набљудување. Ако задачата бара корекција во тој прозорец, намалете го n_action_steps, а не chunk_size: ја задржувате долгата предикција и повторно набљудувате почесто.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Кога ACT надминува основен модел

Петте политики за тренирање рамо до рамо, со бројките што AY-Robots ги мери и користи за димензионирање на графичкиот процесор што го изнајмува.

Изберете ACT кога задачата и сцената се фиксни, а движењето мора да биде брзо и прецизно. Изберете кога една контролна точка мора да покрие неколку инструкции. Две страници ја обработуваат одлуката директно: и . За објавени бенчмаркови, ги поврзува сите бројки со нивниот извор.

Што ви е потребно пред да започнете

Една следечка рака, една водечка рака за , најмалку една камера, 24 GB графичка картичка. ACT чита само слики и позиции на зглобовите. Две камери се идеални: фиксен преден поглед за тоа каде се работите, камера на зглобот за тоа што ќе допре, како кај ALOHA.

Од гола рака до снимен сет на податоци

Протокот подолу е lerobot 0.6.x. Прескокнете го ако имате калибрирана рака и сет на податоци. Во спротивно, водичот за почеток со SO-100 ја опфаќа монтажата, упатството за снимање го опфаќа снимањето, а документацијата за сетови на податоци го опфаќа форматот.

1. 1
   Инсталирајте го lerobot со соодветните додатоци

   За снимање се потребни core_scripts, за тренирање training, за Feetech серва feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Најдете ја USB портата на секоја рака

   Стартувајте го со двете раце приклучени, исклучувајќи една кога ќе биде побарано. На Linux можеби ќе треба да ги отворите дозволите за јазолот.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Поставете ги ID-ата на моторите и брзината на пренос

   На SO-100 ова се случува пред склопување: за разлика од SO-101, конекторите се недостапни откако ќе се состави. Скриптата ја пребарува магистралата мотор по мотор, почнувајќи од грајферот, запишувајќи ги ID-ата во EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Калибрирајте ги двете раце

   Поставете го секој зглоб на средината од неговиот опсег, притиснете Enter, а потоа поминете го секој низ целиот негов опсег. Калибрацијата овозможува политика тренирана на една рака да работи на друга. Повторно користете го истиот id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Телеоперирајте еднаш со вклучени камери

   Општото правило на lerobot: треба да можете да ја извршите задачата гледајќи само во сликите од камерата. Ако не можете, не може ни ACT. Ова открива повеќе лоши податочни множества отколку подоцнежното дебагирање.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Сними 50 епизоди

   50 е минимумот на AY-Robots и она што ALOHA го користеше по задача. lerobot советува 10 по локација на објект, фиксни камери, конзистентен зафат. n завршува епизода, r повторно снима, q запира и кодира.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Пред тренирање, повторете најмалку пет епизоди. , ги зачувува видео стримовите од камерата, состојбите на зглобовите и акциите по , а повторувањето ги враќа тие акции назад кон раката. Ако повторувањето не ја изврши задачата, податоците не ја содржат и тренирањето нема да ја измисли.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Обука на ACT политиката

Ова е целата команда. Сè што е специфично за ACT е веќе стандардно, поради што страницата на lerobot ACT препорачува да се започне со нив.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act вчитува ACTConfig, кој се прилагодува на колку и да мотори и камери снимил вашиот сет на податоци, така што никогаш не ја декларирате формата на набљудување. --wandb.enable=true е опционално и вреди: кривата на загуба е единствениот евтин сигнал во извршување од 100000 чекори. Распоредот доаѓа од конфигурацијата за тренирање на lerobot, а не од ACTConfig: 100000 чекори, серија 8, семе 1000, контролна точка на секои 20000 чекори, логирање на секои 200.

Целосното извршување остава пет директориуми за контролни точки, од 020000 до 100000, плус последна симболична врска. Чувајте ги сите: најдобрата политика често не е последната.

Времетраење: околу 5 часа на 11 GB RTX 2080 Ti во трудот, неколку часа за 100k чекори според ACT страницата на lerobot, 2 до 5 часа на AY-Robots 24 GB ниво. Не го скратувајте. README-то на референтното складиште вели дека политиката што е грчевита или паузира обично само бара повеќе обука, бидејќи успехот и мазноста продолжуваат да се подобруваат откако загубата ќе се стабилизира: за податоци од реалниот свет потребни се најмалку 5000 епохи, или 3 до 4 пати поголема должина повторно по стабилизацијата.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Извршување на обучената политика на раката

Имплементацијата користи lerobot-rollout. Клучевите на камерата мора да се совпаѓаат со снимените: политика обучена на front и wrist нема да прифати cam0 и cam1, а rename_map не помага, бидејќи бара претходно обучена контролна точка. Низата за задача може да се изостави; сопствениот пример на lerobot ја означува како прескокната за ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

За да закачите контролна точка наместо финалниот модел, додадете --policy.pretrained_revision. За тоа е потребно извршувањето да започнало со --save_checkpoint_to_hub=true, исклучено по дифолт: без тоа lerobot го турка финалниот модел и ништо друго. Со тоа, секоја контролна точка е означена со нејзиниот чекор со нули, така што --policy.pretrained_revision=060000 го враќа оној од 60000 чекори. Споредувањето со 100000 на вистинската рака е најевтиниот достапен експеримент.

Два патишта до истата контролна точка

Сè погоре е рачен пат и функционира. Патот преку платформата ја менува контролата за тоа што не поседувате графичка картичка или Python околина.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Што всушност тргнува наопаку

Речиси ништо од маката не е во командата за тренирање. Таа е во работите околу неа, подредени според тоа колку често се појавуваат првпат.

Два реда заслужуваат нагласување. ACT тренира на LeRobot v3.0 додека вчитувачот на GR00T паѓа на него и му треба v2.1, така што множество податоци што тренира ACT може да предизвика неуспех на извршување на GR00T. А последниот ред има две поправки: авторите на ACT одговараат на нерамномерното движење со повеќе тренирање, додека со n_action_steps на 100 вистински застој се појавува на границата на парче, видлива пауза на секои 3.3 секунди при 30 fps. Уште две работи што треба да се знаат: еден мртов зглоб обично е ID на серво што никогаш не бил запишан, и фаќач што се приближува, но никогаш не се затвора значи премал опсег на фаќачот во демонстрациите. Целосен индекс: страниците за режими на откажување.

Колку чини едно извршување

Ова е аргументот за започнување со ACT дури и ако подоцна сакате VLA. Неуспешно извршување на ACT чини колку цена на кафе и ви кажува за неколку часа дали вашиот сет на податоци ја содржи задачата. Неуспешно извршување на GR00T чини четири пати повеќе за истата лекција. Преминувањето на GR00T N1.7 или SmolVLA потоа е промена на формата, а не повторна изградба. Позадина: модели за визија-јазик-акција, на целосен SO-100 водич, обучете ја вашата прва политика и учење со имитација. Нема рака? Страницата во живо пренесува вистински SO-100 за управување без регистрација.