Како да се тренира SmolVLA на 24 GB графички процесор (lerobot 0.6.1)

Повеќето луѓе кои сакаат визио-јазичен акционен модел на вистинска рака застануваат на хардверската линија. GR00T N1.7 и Pi0.5 се околу три милијарди параметри секој и бараат A100 80 GB или H100. Ако поседувате гејмерски компјутер со RTX 4090, тоа е крајот на патот. SmolVLA е исклучок: 450 M параметри, во LeRobot, изграден за фино подесување на една потрошувачка картичка и опслужување од процесор.

Прво рачниот пат: инсталирајте lerobot, повлечете го lerobot/smolvla_base контролниот пункт, извршете ја вистинската команда, читајте го извршувањето додека се случува. Потоа патот на платформата, и каде што не помага.

Што е SmolVLA, во бројки што можете да ги проверите

SmolVLA е усогласување на проток политика прикачена на мал визуелен јазичен модел. Основата е SmolVLM2-500M-Video-Instruct; трудот ги задржува само првите 16 слоеви од неговиот јазичен модел, го ограничува секој кадар од камерата на 64 визуелни токени со мешање на пиксели наместо плочки од слика, и наизменично вметнува вкрстено внимание со слој за самовнимание на секој втор блок. Трошоците за заклучување беа ограничување на дизајнот, а не дополнителна мисла.

Бенчмарците се причината зошто луѓето се занимаваат со модел од 450 M. На LIBERO, тој просечно постигнува 87.3 проценти наспроти 76.5 за OpenVLA од 7 B и 86.0 за роботски претходно обучен Pi0 од 3.3 B; на Meta-World, 57.3 наспроти 47.9. На вистински SO-100 хардвер, обуката за повеќе задачи дава 75 проценти за подигање и поставување, 90 за редење, 70 за сортирање, со просек од 78.3, каде што ACT обучен по задача просечно постигна 48.3. Истите редови стојат покрај секој објавен VLA во влезот на арената SmolVLA и споредбата ACT наспроти SmolVLA.

Зошто картичка од 24 GB е вистинскиот избор за прво извршување

LeRobot испорачува водич за димензионирање на пресметковна моќ, најкорисната страница во репозиториумот за ова. Ги групира политиките според големината на 'backbone' и дава по еден VRAM опсег по група, мерено со големина на 'batch' од 8 со AdamW, стандардната поставка на lerobot. Само состојбата на оптимизаторот додава 30 до 100 проценти над голото 'forward' и 'backward' поминување, така што ова не се бројки само за тежини.

Десет до шеснаесет гигабајти при 'batch' од 8 е аргументот: картичка од 24 GB го собира тоа плус 'dataloader'. AY-Robots го става SmolVLA на RTX 4090 или која било картичка од 24 GB, минимум 30 епизоди, LeRobot v3.0 податоци, 245 ms по чекор на акција. Изнајмено, тоа е 2 до 5 часа по 0.30 до 0.60 USD на час, околу 1 до 3 USD за фино подесување извршување, наспроти 4 до 12 USD на нивото од 80 GB што им треба на GR00T и Pi0.5 (цени). Неуспешно извршување на SmolVLA е кафе; неуспешно извршување на GR00T, ручек.

Чекор 0: сетот на податоци го одлучува извршувањето, а не знаменцата

Ништо подолу не е важно ако снимката е лоша. Страницата LeRobot SmolVLA е директна: референтниот сет на податоци беше 50 епизоди низ 5 позиции на коцки, по 10 за секоја позиција, а истата задача со 25 епизоди се изврши лошо. Повторувањето по варијација генерализира, суровиот број на епизоди не. Никогаш не сте снимиле? Започнете со сними го твојот прв сет на податоци со десктоп клиент, кој го запишува форматот LeRobot од телеоперација сесија, или позајмете еден од директориумот со податочни множества.

• Најмалку 30 епизоди на AY-Robots, околу 50 за референтниот рецепт на LeRobot.
• Секоја варијација што ја очекувате при распоредување, повторена неколку пати.
• Еден низа за задача, напишана идентично при снимање и распоредување. Моделот е условен од тој текст.
• Фиксни камери. Камера поместена помеѓу снимањето и распоредувањето е најчестата причина зошто чистата крива на загуба дава неподвижна рака.
• Издвоена вариација на која никогаш не сте тренирале, за да имате нешто искрено за тестирање.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Повеќе за ова во како да се соберат висококвалитетни податоци за обука на VLA за манипулација со роботи. Накратко: 30 до 50 чисти епизоди од една задача со намерна варијација победуваат 200 невешти епизоди од три, со маргина што ниту еден хиперпараметар не ја затвора.

Инсталирајте lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Основната lerobot инсталација е тенка и ги ограничува тешките зависности зад додатоците: smolvla додава transformers, num2words и accelerate, training стекот на податоци и wandb, core_scripts хардверските и визуелизациските зависности. На Linux, патеката за инсталација исто така го одредува вашиот CUDA wheel: стандардната PyPI е cu130 wheel со минимална верзија на драјвер од 580.65, така што на постар драјвер прво инсталирајте torch од cu128 индексот, а потоа lerobot.

Извршувањето на обуката, команда по команда

1. 1
   Автентикација со Hub-от

   Основната контролна точка доаѓа од Hub-от, а веројатно и вашето множество податоци.

   bash

   hf auth login

2. 2
   Прочитајте ги опциите еднаш

   Секое поле од конфигурацијата на цевководот и политиката е знаменце. Прегледајте го пред да навлезете во изворниот код.

   bash

   lerobot-train --help

3. 3
   Започнете со фино подесување

   Примерот од документацијата извршува серија од 64 на еден A100; сопствената референца на водичот за пресметување за A100 40 GB е серија од 16, а 8 е еквивалентот за 24 GB. Овде нема знаменце за распоредувач намерно, видете подолу.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Прочитајте ја линијата на дневникот, не само загубата

   На секои --log_freq чекори, lerobot печати loss, grdn, lr, updt_s, data_s, smp/s и, на CUDA, mem_gb. mem_gb покажува дали серијата се вклопува, lr дали распоредот се намалува, а data_s што се приближува до updt_s значи дека вчитувачот на податоци е тесно грло, а не графичкиот процесор.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Соберете контролни точки што можете да ги споредите

   save_freq стандардно е 20000, така што извршување од 20000 чекори остава една контролна точка и ништо за споредба. Поставете 2000. За испраќање на Hub-от е потребно --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Продолжете ако машината откаже

   Насочете го --config_path кон train_config.json до контролната точка. lerobot одбива да започне во постоечки output_dir освен ако не продолжувате, така што не можете случајно да презапишете извршување.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Знаменца кои всушност го менуваат исходот

Стандардните поставки што ги наследувате ако не допирате ништо

Конфигурација на политика во lerobot носи сопствен оптимизатор и претходно поставени вредности за распоредувач, и освен ако не поставите use_policy_training_preset=false тие претходно поставени вредности победуваат. Половина од прашањата што луѓето ги поставуваат за обуката на SmolVLA се одговорени со стандардна поставка за која не знаеле дека постои.

Двете линии што изненадуваат се freeze_vision_encoder и train_expert_only, и двете вистинити. Веднаш по инсталацијата тренирате приближно 100 M параметри, а не 450 M, поради што се вклопува на 24 GB. Референтниот запуск на LeRobot на кластер со четири GPU H100 ги префрла двете на false; на една 24 GB картичка тоа претвора работен запуск во пад поради недоволна меморија.

Колку долго трае извршувањето и колку чекори се доволни

LeRobot објавува реални временски репери за пет епохи над збир на податоци од приближно 50 епизоди, околу 45000 рамки со 30 fps. Бројки од редот на големината, велат документите, но тие ја прават разликата помеѓу очекување еден час и еден ден.

Извршување на фино подесената политика назад на раката

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms по чекор на акција лесно може да се погрешно протолкува: политиката емитува chunk_size = 50 акции по напреден премин и извршува n_action_steps = 50 од нив, така што колку често ја плаќате таа цена е поставено од тие контроли, а не од тоа колку често сервомоторите добиваат команда. Тоа е она што группирање акции го овозможува, и зошто модел од 245 ms може да управува со рака од 30 Hz. Она што останува е латентност на заклучување на крајот од групата.

Тој трет ред е она што повеќето извештаи го прескокнуваат. Асинхроното заклучување е околу 30 проценти побрзо и приближно го удвојува протокот во фиксен прозорец, а трудот ги нарекува стапките на успех споредливи, што во просек и се. Под тоа, сортирањето падна од 70 на 50 проценти додека земи и постави доби 5. lerobot 0.6.1 го носи другиот лост во истиот бинарен фајл: --inference.type=rtc го префрла извршувањето на групирање во реално време, што сопствениот блок за употреба на скриптата го препорачува за бавните VLA, Pi0, Pi0.5 и SmolVLA.

Два патишта до истата контролна точка

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Кога SmolVLA е погрешен избор

Тестот дали SmolVLA беше вистинскиот прв обид не е дали функционираше, туку дали неуспехот ви кажа нешто. Достигнете 60 или 70 проценти и поголем модел е разумна следна инвестиција: податоците носат сигнал. Достигнете 10 проценти и модел од 3 B најверојатно исто така ќе достигне 10 проценти, што штотуку го научивте за три долари наместо дванаесет.

Вреди да се прочита пред да потрошите повеќе: Pi0.5 против SmolVLA за поголем капацитет на истата идеја, и GR00T N1.7 против SmolVLA за рутата на NVIDIA, и двете од 80 GB ниво по цена од 4 до 12 USD по извршување. Од друга страна, ACT е поевтина основна линија: 80 M параметри, 20 ms по чекор на акција, без јазично условување. Сите пет се наоѓаат на страницата за политики; арената има 85 модели и 332 резултати од бенчмарк.

Контролна листа пред да скалирате нешто

1. Дали lr ја достигна својата долна граница од 2.5e-6? Под 30000 чекори lerobot го рескалира распаѓањето и го наведува тоа при стартување; над тоа, поставете го --policy.scheduler_decay_steps сами.
2. Повеќе од една контролна точка, и епизоди издвоени со --dataset.eval_split за да има значење загубата при евалуација.
3. Дали политиката воопшто се движи? Паѓачката загуба со неподвижна рака има специфични причини: загубата паѓа, политиката не прави ништо.
4. Дали преживува промена на сцената? Ако не: политиката работи само во едно поставување.
5. Дали го запишавте сидот? lerobot стандардно користи 1000, така што две недопрени извршувања остануваат споредливи.
6. Само тогаш: повеќе епизоди, повеќе варијации или поголем модел. По тој редослед.

За тоа зошто постојат овие модели и што прават со јазичниот влез, е позадината; води низ склопувањето преку до првото извршување. За завршената контролна точка, ; ако раката никогаш не се појави, .