Как да обучим SmolVLA на 24 GB GPU (lerobot 0.6.1)

Повечето хора, които искат модел за визия, език и действие на истинска ръка, спират до хардуерната линия. GR00T N1.7 и Pi0.5 са около три милиарда параметри всеки и изискват A100 80 GB или H100. Ако притежавате геймърски компютър с RTX 4090, това е краят на пътя. SmolVLA е изключението: 450 M параметри, в LeRobot, създаден за фино настройване на една потребителска карта и обслужване от CPU.

Първо ръчният път: инсталирайте lerobot, изтеглете lerobot/smolvla_base контролна точка, изпълнете истинската команда, прочетете изпълнението, докато се случва. След това пътят на платформата и къде не помага.

Какво е SmolVLA, в числа, които можете да проверите

SmolVLA е съвпадение на потока политика, прикрепена към малък визуален езиков модел. Гръбнакът е SmolVLM2-500M-Video-Instruct; в статията се запазват само първите 16 слоя от неговия езиков модел, ограничава се всеки кадър от камерата до 64 визуални токена с пикселно разбъркване вместо плочки на изображението и се редува кръстосано внимание със слой за самовнимание на всеки втори блок. Разходите за инференция бяха ограничение при проектирането, а не допълнителна мисъл.

Бенчмарковете са причината хората да се занимават с модел от 450 M. На LIBERO той постига средно 87.3 процента срещу 76.5 за OpenVLA при 7 B и 86.0 за предварително обучен за роботика Pi0 при 3.3 B; на Meta-World, 57.3 срещу 47.9. На реален SO-100 хардуер, многозадачното обучение дава 75 процента при взимане и поставяне, 90 при подреждане, 70 при сортиране, средно 78.3, където ACT обучен за задача постига средно 48.3. Същите редове стоят до всеки публикуван VLA в запис в арената на SmolVLA и сравнението на ACT срещу SmolVLA.

Защо 24 GB карта е правилният избор за първо стартиране

LeRobot предоставя ръководство за оразмеряване на изчислителните ресурси, което е най-полезната страница в хранилището за тази цел. То групира политиките по размер на гръбнака и дава един VRAM обем за всяка група, измерен при размер на пакета 8 с AdamW, което е стандартната настройка на lerobot. Само състоянието на оптимизатора добавя от 30 до 100 процента над голото преминаване напред и назад, така че това не са само цифри за теглата.

Десет до шестнадесет гигабайта при размер на пакета 8 е аргументът: 24 GB карта побира това плюс зареждащия модул за данни. AY-Robots поставя SmolVLA на RTX 4090 или всяка 24 GB карта, минимум 30 епизода, LeRobot v3.0 данни, 245 ms на стъпка на действие. Нает, това е от 2 до 5 часа при 0.30 до 0.60 USD на час, около 1 до 3 USD за фина настройка изпълнение, срещу 4 до 12 USD на нивото от 80 GB, което GR00T и Pi0.5 изискват (цени). Неуспешно изпълнение на SmolVLA е едно кафе; неуспешно изпълнение на GR00T е обяд.

Стъпка 0: наборът от данни решава изпълнението, а не флаговете

Нищо по-долу няма значение, ако записът е лош. Страницата на LeRobot SmolVLA е директна: референтният набор от данни е бил 50 епизода в 5 позиции на куб, по 10 на позиция, а същата задача с 25 епизода се е представила зле. Повторението на вариация обобщава, суровият брой епизоди не. Никога не сте записвали такъв? Започнете от запишете първия си набор от данни с настолния клиент, който записва LeRobot формат от телеоперация сесия, или вземете такъв от директорията с набори от данни.

• Поне 30 епизода на AY-Robots, около 50 за референтната рецепта на LeRobot.
• Всяка вариация, която очаквате при разгръщане, повторена няколко пъти.
• Един низ на задачата, изписан идентично по време на запис и разгръщане. Моделът е обучен на този текст.
• Фиксирани камери. Камера, преместена между запис и разгръщане, е най-честата причина чиста крива на загубите да води до неподвижна ръка.
• Запазена вариация, по която никога не сте тренирали, така че да имате нещо честно за тестване.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Повече по този въпрос в как да събираме висококачествени данни за обучение на VLA за манипулация на роботи. Накратко: 30 до 50 чисти епизода на една задача с целенасочена вариация превъзхождат 200 небрежни епизода на три, с разлика, която никой хиперпараметър не може да затвори.

Инсталиране на lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Базовата lerobot инсталация е лека и ограничава тежките зависимости зад допълнителни пакети: smolvla добавя transformers, num2words и accelerate, training стека за данни и wandb, core_scripts хардуерните и визуализационни зависимости. На Linux пътят за инсталиране също определя вашия CUDA wheel: стандартната настройка на PyPI е cu130 wheel с минимална версия на драйвера 580.65, така че при по-стар драйвер първо инсталирайте torch от cu128 индекса, след това lerobot.

Изпълнението на обучението, команда по команда

1. 1
   Удостоверяване спрямо Hub

   Базовият контролен пункт идва от Hub, а вероятно и вашият набор от данни също.

   bash

   hf auth login

2. 2
   Прочетете опциите веднъж

   Всяко поле от конфигурацията на конвейера и политиката е флаг. Прегледайте го набързо, преди да се задълбочите в изходния код.

   bash

   lerobot-train --help

3. 3
   Стартирайте фината настройка

   Примерът в документацията изпълнява пакет 64 на един A100; собственият A100 40 GB еквивалент в ръководството за изчисления е пакет 16, а 8 е еквивалентът за 24 GB. Тук няма флаг за планировчик нарочно, вижте по-долу.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Прочетете реда от лога, не само загубата

   На всеки --log_freq стъпки lerobot отпечатва loss, grdn, lr, updt_s, data_s, smp/s и, на CUDA, mem_gb. mem_gb показва дали пакетът се побира, lr дали графикът затихва, а data_s, приближаващо updt_s, означава, че зареждачът на данни е тясното място, а не GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Съберете контролни пунктове, които можете да сравните

   save_freq по подразбиране е 20000, така че изпълнение от 20000 стъпки оставя един контролен пункт и нищо за сравнение. Задайте 2000. Изпращането към Hub изисква --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Продължете, ако машината спре

   Насочете --config_path към train_config.json до контролния пункт. lerobot отказва да стартира в съществуваща output_dir, освен ако не продължавате, така че не можете да презапишете изпълнение по погрешка.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Флаговете, които всъщност променят резултата

Настройките по подразбиране, които наследявате, ако не променяте нищо

Конфигурация на в lerobot носи свои собствени предварително зададени настройки за оптимизатор и планировчик, и освен ако не зададете use_policy_training_preset=false, тези предварително зададени настройки надделяват. Половината от въпросите, които хората задават относно обучението на SmolVLA, се отговарят от настройка по подразбиране, за която не са знаели, че съществува.

Двата реда, които изненадват хората, са freeze_vision_encoder и train_expert_only, и двете верни. По подразбиране тренирате приблизително 100 M параметъра, а не 450 M, поради което се побира на 24 GB. Собственият референтен тест на LeRobot на клъстер от четири H100 GPU обръща и двете на false; на една 24 GB карта това превръща работещ тест в срив поради недостиг на памет.

Колко време отнема изпълнението и колко стъпки са достатъчни

LeRobot публикува реални времеви ориентири за пет епохи върху набор от данни от приблизително 50 епизода, около 45000 кадъра при 30 fps. Цифри от порядъка на величината, казват документите, но те са разликата между очакване на час и ден.

Изпълнение на фино настроената политика обратно върху ръката

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245-те ms на стъпка на действие лесно могат да бъдат разбрани погрешно: политиката излъчва chunk_size = 50 действия на едно преминаване напред и изпълнява n_action_steps = 50 от тях, така че колко често плащате тази цена се определя от тези настройки, а не от това колко често сервомоторите получават команда. Това е, което групиране на действия осигурява, и защо модел от 245 ms може да управлява 30 Hz рамо. Това, което остава, е латентност на извода в края на групата.

Този трети ред е това, което повечето публикации пропускат. Асинхронният извод е около 30 процента по-бърз и приблизително удвоява пропускателната способност във фиксиран прозорец, а статията нарича процентите на успех сравними, което средностатистически е така. Под това, сортирането спадна от 70 на 50 процента, докато взимането и поставянето спечели 5. lerobot 0.6.1 носи другия лост в същия бинарен файл: --inference.type=rtc превключва изпълнението към групиране в реално време, което собственият блок за употреба на скрипта препоръчва за бавните VLA, Pi0, Pi0.5 и SmolVLA.

Два пътя до една и съща контролна точка

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Когато SmolVLA е грешен избор

Тестът дали SmolVLA е бил правилният първи опит не е дали е проработил, а дали провалът ви е казал нещо. Достигнете 60 или 70 процента и по-голям модел е разумна следваща инвестиция: данните носят сигнал. Достигнете 10 процента и 3 B модел най-вероятно също ще достигне 10 процента, което току-що научихте за три долара вместо дванадесет.

Струва си да прочетете, преди да похарчите повече: Pi0.5 срещу SmolVLA за повече капацитет по същата идея, и GR00T N1.7 срещу SmolVLA за пътя на NVIDIA, и двата от 80 GB ниво на 4 до 12 USD на изпълнение. От друга страна, ACT е по-евтината базова линия: 80 M параметри, 20 ms на стъпка на действие, без езиково обуславяне. Всичките пет са на страницата с политики; арената има 85 модела и 332 резултата от бенчмаркове.

Контролен списък преди да мащабирате каквото и да е

1. Достигна ли lr своя минимум от 2.5e-6? Под 30000 стъпки lerobot премащабира затихването и го съобщава при стартиране; над тази стойност, задайте --policy.scheduler_decay_steps сами.
2. Повече от една контролна точка и епизоди, отделени с --dataset.eval_split, така че загубата при оценка да има смисъл.
3. Движи ли се изобщо политиката? Намаляваща загуба с неподвижна ръка има специфични причини: загубата намалява, политиката не прави нищо.
4. Оцелява ли при промяна на сцената? Ако не: политиката работи само в една настройка.
5. Записахте ли си сида? lerobot по подразбиране е 1000, така че две непроменени изпълнения остават сравними.
6. Едва тогава: повече епизоди, повече вариации или по-голям модел. В този ред.

Защо съществуват тези модели и какво правят с езиковия вход, е фонът; преминава през сглобяване чрез до първото изпълнение. За завършената контролна точка, ; ако ръката никога не се появи, .