SmolVLA-ны 24 ГБ GPU-да қалай үйретуге болады (lerobot 0.6.1)

Нақты қолданыстағы роботқа көру-тіл-әрекет моделін қалайтын адамдардың көпшілігі аппараттық шекте тоқтайды. GR00T N1.7 және Pi0.5 әрқайсысы шамамен үш миллиард параметрге ие және A100 80 ГБ немесе H100 қажет етеді. Егер сізде RTX 4090 бар ойын компьютері болса, бұл жолдың соңы. SmolVLA ерекшелік болып табылады: 450 М параметр, LeRobot ішінде, бір тұтынушы картасында дәлдеп баптауға және CPU-дан қызмет көрсетуге арналған.

Алдымен қолмен жасау жолы: lerobot орнату, lerobot/smolvla_base чекпоинтін жүктеп алу, нақты пәрменді орындау, орындалу барысын оқу. Содан кейін платформа жолы және оның көмектеспейтін жерлері.

SmolVLA деген не, тексеруге болатын сандармен

SmolVLA – бұл ағынды сәйкестендіру саясаты шағын визуалды тіл моделіне бекітілген. Негізгі құрылымы SmolVLM2-500M-Video-Instruct; мақалада оның тіл моделінің алғашқы 16 қабаты ғана сақталған, әр камера кадры кескінді тақталаудың орнына пиксельді араластыру арқылы 64 визуалды токенмен шектелген және әр екінші блокта өзара назар аударуды өзін-өзі назар аудару қабатымен кезектестіреді. Инференция құны кейіннен ойластырылған нәрсе емес, дизайн шектеуі болды.

Бенчмарктар адамдардың 450 М моделімен неге айналысатынын көрсетеді. LIBERO-да ол 7 B OpenVLA үшін 76.5-ке және 3.3 B робототехникалық алдын ала оқытылған Pi0 үшін 86.0-ға қарсы орташа есеппен 87.3 пайызды көрсетеді; Meta-World-да 47.9-ға қарсы 57.3. Нақты SO-100 жабдығында көп тапсырмалы оқыту алу және орналастыруда 75 пайыз, жинақтауда 90, сұрыптауда 70 пайызды береді, орташа есеппен 78.3, мұнда ACT тапсырма бойынша оқытылған орташа есеппен 48.3 болды. Дәл осы қатарлар SmolVLA арена жазбасы және ACT пен SmolVLA салыстыруы.

Неліктен 24 ГБ карта алғашқы іске қосу үшін дұрыс таңдау

LeRobot есептеу өлшемін анықтау нұсқаулығын ұсынады, бұл реподағы ең пайдалы бет. Ол саясаттарды негізгі архитектура өлшемі бойынша топтастырады және әр топқа бір VRAM лимитін береді, ол AdamW көмегімен 8 пакет өлшемінде өлшенген, бұл lerobot әдепкі мәні. Оңтайландырғыштың күйінің өзі тікелей және кері өтуден 30-дан 100 пайызға дейін қосады, сондықтан бұл тек салмақтарға қатысты көрсеткіштер емес.

8 пакетте он-он алты гигабайт – бұл дәлел: 24 ГБ карта оған деректер жүктегішін қоса сыяды. AY-Robots SmolVLA-ны RTX 4090 немесе кез келген 24 ГБ картаға орналастырады, ең аз дегенде 30 эпизод, LeRobot v3.0 деректер, әрекет қадамына 245 мс. Жалға алынғанда, бұл сағатына 0.30-дан 0.60 USD-ға дейін 2-ден 5 сағат, шамамен 1-ден 3 USD-ға дейін дәл баптау іске қосу, ал GR00T және Pi0.5 қажет ететін 80 ГБ деңгейінде 4-тен 12 USD-ға дейін (баға). Сәтсіз SmolVLA іске қосу – кофе; сәтсіз GR00T іске қосу – түскі ас.

0-қадам: деректер жинағы іске қосуды шешеді, жалаушалар емес

Жазба нашар болса, төмендегі ештеңе маңызды емес. LeRobot SmolVLA беті анық айтады: эталондық деректер жинағы 5 текше позициясы бойынша 50 эпизодтан тұрды, әр позицияға 10-нан, ал 25 эпизодтағы бірдей тапсырма нашар орындалды. Вариация бойынша қайталау жалпыланады, ал шикі эпизод саны жалпыланбайды. Ешқашан жазбағансыз ба? Бастаңыз алғашқы деректер жинағыңызды жазыңыз, келесімен жұмыс үстелі клиенті, ол LeRobot форматын келесіден жазады телеоперация сессиясынан, немесе оны келесі жерден алыңыз деректер жинағы каталогы.

• AY-Robots үшін кемінде 30 эпизод, LeRobot эталондық рецепті үшін шамамен 50.
• Жүзеге асыру кезінде күтілетін әрбір вариация, бірнеше рет қайталанған.
• Бір тапсырма жолы, жазу және жүзеге асыру кезінде бірдей жазылған. Модель сол мәтінге негізделген.
• Тұрақты камералар. Жазу мен жүзеге асыру арасында жылжытылған камера – таза шығын қисығы қозғалмайтын қолды беретін ең көп таралған себеп.
• Ешқашан үйретпеген, бөлек қалдырылған вариация, осылайша сізде тексеруге арналған шынайы нәрсе болады.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Бұл туралы толығырақ жоғары сапалы VLA оқыту деректерін қалай жинауға болады. Қысқаша айтқанда: бір тапсырманың 30-дан 50-ге дейінгі таза эпизодтары, әдейі өзгерістермен, үш тапсырманың 200 ұқыпсыз эпизодынан басым түседі, мұны ешбір гиперпараметр жаба алмайды.

lerobot 0.6.1 орнату

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Негізгі lerobot орнатуы жұқа және ауыр тәуелділіктерді қосымшалар арқылы шектейді: smolvla transformers, num2words және accelerate қосады, training деректер жинағы стегін және wandb-ті, core_scripts аппараттық және визуализация тәуелділіктерін қосады. Linux жүйесінде орнату жолы сіздің CUDA дөңгелегіңізді де анықтайды: PyPI әдепкі мәні 580.65 драйвер едені бар cu130 дөңгелегі, сондықтан ескі драйверде алдымен cu128 индексінен torch орнатыңыз, содан кейін lerobot орнатыңыз.

Оқытуды іске қосу, команда бойынша

1. 1
   Hub-қа қарсы аутентификация жасау

   Негізгі бақылау нүктесі Hub-тан келеді, және сіздің деректер жинағыңыз да солай болуы мүмкін.

   bash

   hf auth login

2. 2
   Опцияларды бір рет оқып шығу

   Конвейер мен саясат конфигурациясының әрбір өрісі – бұл жалауша. Бастапқы кодқа кіріспес бұрын оны шолып шығыңыз.

   bash

   lerobot-train --help

3. 3
   Жіңішке баптауды бастау

   Құжаттама мысалы бір A100-де 64 пакетті іске қосады; есептеу нұсқаулығының A100 40 ГБ якорі 16 пакет, ал 8 – 24 ГБ эквиваленті. Мұнда әдейі жоспарлаушы жалаушасы жоқ, төменде қараңыз.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Тек шығынды емес, журнал жолын оқу

   Әрбір --log_freq қадамында lerobot шығынды, grdn, lr, updt_s, data_s, smp/s және CUDA-да mem_gb басып шығарады. mem_gb пакеттің сәйкес келетінін, lr кестенің төмендеп жатқанын, ал data_s updt_s-ке жақындауы деректер жүктегішінің кедергі екенін, GPU емес екенін білдіреді.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Салыстыруға болатын бақылау нүктелерін жинау

   save_freq әдепкі бойынша 20000, сондықтан 20000 қадамдық іске қосу бір бақылау нүктесін қалдырады және оны салыстыратын ештеңе жоқ. 2000 орнатыңыз. Hub-қа жіберу үшін --policy.repo_id қажет.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Машина істен шықса, жалғастыру

   --config_path-ты бақылау нүктесінің жанындағы train_config.json файлына бағыттаңыз. lerobot бар output_dir-ге жалғастырмасаңыз, іске қосудан бас тартады, сондықтан сіз іске қосуды кездейсоқ қайта жаза алмайсыз.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Нәтижені шынымен өзгертетін жалаушалар

Ештеңеге тиіспесеңіз, мұрагерлікке алатын әдепкі мәндер

lerobot-тағы саясат конфигурациясы өзінің оңтайландырғышы мен жоспарлаушы алдын ала орнатуын қамтиды, және егер сіз орнатпасаңыз use_policy_training_preset=false сол алдын ала орнатулар жеңеді. Адамдардың SmolVLA оқытуы туралы қоятын сұрақтарының жартысына олар білмеген әдепкі мән жауап береді.

Адамдарды таң қалдыратын екі жол: freeze_vision_encoder және train_expert_only, екеуі де true. Әдепкі бойынша сіз шамамен 100 M параметрді үйретесіз, 450 M емес, сондықтан ол 24 ГБ-қа сыяды. LeRobot-тың төрт GPU H100 кластеріндегі өзінің эталондық іске қосуы екеуін де false-қа өзгертеді; бір 24 ГБ картада бұл жұмыс істеп тұрған іске қосуды .

Іске қосу қанша уақыт алады және қанша қадам жеткілікті

LeRobot шамамен 50 эпизодтық деректер жиынтығында бес дәуір үшін, 30 кадр/сек жылдамдықпен шамамен 45000 кадр үшін нақты уақыт көрсеткіштерін жариялайды. Құжаттарда айтылғандай, бұл шамамен мәндер, бірақ олар бір сағат пен бір күн арасындағы айырмашылықты көрсетеді.

Жетілдірілген саясатты қолға қайта іске қосу

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Әрекет қадамына 245 мс-ті қате түсіну оңай: саясат шығарады chunk_size = 50 әрекетті бір алға басуда және орындайды n_action_steps = 50 олардың, сондықтан бұл шығынды қаншалықты жиі төлейтініңіз сервоприводтар команданы қаншалықты жиі алатынымен емес, осы реттегіштермен анықталады. Міне, осыны қамтамасыз етеді және неліктен 245 мс модель 30 Гц қолды басқара алады. Қалғаны бөліктің соңында.

Бұл үшінші жолды көптеген жазбалар өткізіп жібереді. Асинхронды инференс шамамен 30 пайызға жылдамырақ және белгіленген уақыт аралығында өткізу қабілетін шамамен екі есе арттырады, ал мақалада сәттілік деңгейлері салыстырмалы деп аталады, бұл орташа алғанда солай. Оның астында сұрыптау 70-тен 50 пайызға дейін төмендеді, ал алу және орналастыру 5 пайызға өсті. lerobot 0.6.1 сол бинарлық файлда басқа тетікті қамтиды: --inference.type=rtc орындалуды нақты уақыттағы бөліктеуге ауыстырады, мұны сценарийдің өзінің қолдану блогы баяу VLA-лар, Pi0, Pi0.5 және SmolVLA үшін ұсынады.

Бір бақылау нүктесіне екі жол

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

SmolVLA қате таңдау болғанда

SmolVLA дұрыс алғашқы іске қосу болды ма деген сынақ оның жұмыс істегені емес, керісінше сәтсіздік сізге бірдеңе айтты ма дегенде. 60 немесе 70 пайызға жетсеңіз, үлкенірек модель келесі ақша жұмсауға тұрарлық: деректерде сигнал бар. 10 пайызға жетсеңіз, 3 B моделі де 10 пайызға жетуі ықтимал, мұны сіз он екі доллардың орнына үш долларға білдіңіз.

Көбірек ақша жұмсамас бұрын оқуға тұрарлық: Pi0.5 SmolVLA-ға қарсы бір идея бойынша көбірек мүмкіндік алу үшін, және GR00T N1.7 SmolVLA-ға қарсы NVIDIA бағыты үшін, екеуі де 80 GB деңгейінде, бір іске қосу үшін 4-тен 12 USD. Басқа жолмен, ACT арзанырақ базалық нұсқа: 80 M параметр, әрекет қадамына 20 ms, тілдік шарттау жоқ. Барлық бесеуі орналасқан саясаттар бетінде; аренада 85 модель және 332 эталондық нәтиже бар.

Кез келген нәрсені масштабтамас бұрынғы тексеру тізімі

1. `lr` өзінің 2.5e-6 ең төменгі шегіне жетті ме? 30000 қадамнан төмен lerobot ыдырауды қайта масштабтайды және іске қосу кезінде бұл туралы хабарлайды; одан жоғары болса, `--policy.scheduler_decay_steps` параметрін өзіңіз орнатыңыз.
2. Бірнеше бақылау нүктесі және `--dataset.eval_split` арқылы бөлінген эпизодтар, сонда бағалау шығынының мағынасы болады.
3. Саясат мүлдем қозғала ма? Қозғалмайтын қолмен шығынның төмендеуінің нақты себептері бар: шығын төмендейді, саясат ештеңе істемейді.
4. Ол көрініс өзгергенде жұмыс істей ме? Егер жоқ болса: саясат тек бір конфигурацияда жұмыс істейді.
5. Сіз тұқымды жазып алдыңыз ба? lerobot әдепкі бойынша 1000-ға орнатылған, сондықтан екі өзгертілмеген іске қосу салыстырмалы болып қалады.
6. Тек содан кейін: көбірек эпизодтар, көбірек вариация немесе үлкенірек модель. Осы ретпен.

Бұл модельдер не үшін бар екенін және олар тілдік енгізумен не істейтінін түсіну үшін, негіз болып табылады; құрастыруды арқылы бірінші іске қосуға дейін жүргізеді. Дайын бақылау нүктесі үшін, ; егер қол ешқашан пайда болмаса, .