SmolVLA'ni 24 GB GPUda qanday o'rgatish (lerobot 0.6.1)

Haqiqiy qo'lda vizual til harakat modelini xohlaydigan ko'pchilik apparat chegarasida to'xtaydi. GR00T N1.7 va Pi0.5 har biri taxminan uch milliard parametrga ega va A100 80 GB yoki H100 ni talab qiladi. Agar sizda RTX 4090 bilan o'yin kompyuteri bo'lsa, bu yo'lning oxiri. SmolVLA istisno hisoblanadi: 450 M parametr, LeRobot ichida, bitta iste'molchi kartasida nozik sozlash va CPUdan xizmat ko'rsatish uchun qurilgan.

Avval qo'lda yo'l: lerobotni o'rnating, lerobot/smolvla_base nazorat nuqtasini torting, haqiqiy buyruqni ishga tushiring, u sodir bo'layotganda ishni o'qing. Keyin platforma yo'li va u qayerda yordam bermasligi.

SmolVLA nima, siz tekshirishingiz mumkin bo'lgan raqamlarda

SmolVLA - bu oqim moslashuvi siyosati kichik ko'rish-til modeliga o'rnatilgan. Asosiy qism SmolVLM2-500M-Video-Instruct; maqolada uning til modelining faqat dastlabki 16 qatlami saqlanadi, har bir kamera kadrini tasvirni plitkalash o'rniga piksel aralashtirish bilan 64 vizual tokenga cheklaydi va har ikkinchi blokda o'zaro diqqatni o'z-o'zidan diqqat qatlami bilan almashtiradi. Xulosa chiqarish narxi dizayn cheklovi bo'lgan, keyinchalik o'ylab topilgan narsa emas.

Benchmarklar odamlarning 450 M model bilan shug'ullanishiga sababdir. LIBEROda u 7 B OpenVLA uchun 76.5 ga va 3.3 B robototexnika uchun oldindan o'qitilgan Pi0 uchun 86.0 ga qarshi o'rtacha 87.3 foizni tashkil etadi; Meta-Worldda 47.9 ga qarshi 57.3. Haqiqiy SO-100 apparatida ko'p vazifali o'qitish tanlash va joylashtirishda 75 foiz, yig'ishda 90, saralashda 70 foiz natija beradi, o'rtacha 78.3 ni tashkil etadi, bu yerda ACT vazifa bo'yicha o'qitilgan o'rtacha 48.3 ni tashkil etdi. Xuddi shu qatorlar har bir nashr etilgan VLA yonida joylashgan SmolVLA arena yozuvi va ACT va SmolVLA taqqoslash.

Nima uchun 24 GB karta birinchi ishga tushirish uchun to'g'ri tanlovdir

LeRobot hisoblash hajmini aniqlash bo'yicha qo'llanmani taqdim etadi, bu repo'dagi eng foydali sahifadir. U siyosatlarni magistral o'lchami bo'yicha guruhlaydi va har bir guruh uchun bitta VRAM konvertini beradi, bu AdamW bilan batch size 8 da o'lchanadi, bu lerobotning standart sozlamasi. Faqat optimizator holati oddiy oldinga va orqaga o'tishdan 30 dan 100 foizgacha qo'shimcha yuk beradi, shuning uchun bular faqat og'irliklar ko'rsatkichlari emas.

Batch 8 da o'n dan o'n olti gigabayt bu asosiy dalil: 24 GB karta bunga qo'shimcha ravishda dataloaderni ham sig'dira oladi. AY-Robots SmolVLA'ni RTX 4090 yoki istalgan 24 GB kartaga joylashtiradi, minimal 30 epizod, LeRobot v3.0 ma'lumotlari bilan, har bir harakat bosqichi uchun 245 ms. Ijaraga olinganda, bu soatiga 0.30 dan 0.60 USD gacha bo'lgan narxda 2 dan 5 soatni tashkil etadi, ya'ni har bir nozik sozlash ishga tushirish uchun taxminan 1 dan 3 USD, GR00T va Pi0.5 talab qiladigan 80 GB darajadagi 4 dan 12 USD ga qarshi (narxlar). Muvaffaqiyatsiz SmolVLA ishga tushirish bir kofe narxi; muvaffaqiyatsiz GR00T ishga tushirish esa tushlik narxi.

0-qadam: ishni bayroqlar emas, ma'lumotlar to'plami hal qiladi

Agar yozuv yomon bo'lsa, quyidagilarning hech biri ahamiyatga ega emas. LeRobot SmolVLA sahifasi ochiq aytadi: mos yozuvlar ma'lumotlar to'plami 5 ta kub pozitsiyasida 50 ta epizoddan iborat edi, har bir pozitsiya uchun 10 tadan, va 25 ta epizodda bajarilgan xuddi shu vazifa yomon natija berdi. Har bir variatsiya bo'yicha takrorlash umumlashtiradi, xom epizodlar soni emas. Hech qachon yozmaganmisiz? Boshlang birinchi ma'lumotlar to'plamingizni yozing, bilan ish stoli mijozi, bu teleoperatsiya sessiyasidan, yoki ma'lumotlar to'plami katalogi dan birini oling.

• AY-Robots'da kamida 30 epizod, LeRobot mos yozuvlar retsepti uchun taxminan 50.
• Tarqatishda kutgan har bir variatsiya, bir necha marta takrorlangan.
• Bir vazifa satri, yozish va tarqatish vaqtida bir xil yozilgan. Model shu matnga asoslangan.
• Ruxsat etilgan kameralar. Yozish va tarqatish o'rtasida ko'chirilgan kamera toza yo'qotish egri chizig'i harakatsiz qo'l berishining eng keng tarqalgan sababidir.
• Hech qachon o'qitmagan, sinovdan o'tkazish uchun halol narsangiz bo'lishi uchun ajratilgan variatsiya.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Bu haqda ko'proq ma'lumot yuqori sifatli VLA o'quv ma'lumotlarini qanday to'plash kerak. Qisqacha aytganda: bir vazifaning ataylab o'zgarishlari bilan 30 dan 50 gacha toza epizodlar uchta vazifaning 200 ta tartibsiz epizodlarini mag'lub etadi, bu farqni hech qanday giperparametr yopa olmaydi.

lerobot 0.6.1 o'rnatish

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Asosiy lerobot o'rnatish yengil bo'lib, og'ir bog'liqliklarni qo'shimcha paketlar ortida yashiradi: smolvla transformerlar, num2words va accelerate'ni qo'shadi, training ma'lumotlar to'plami steki va wandb'ni, core_scripts apparat va vizualizatsiya bog'liqliklarini. Linuxda o'rnatish yo'li sizning CUDA wheel'ingizni ham belgilaydi: PyPI sukut bo'yicha 580.65 drayver minimal talabiga ega cu130 wheel'ini taqdim etadi, shuning uchun eski drayverda avval cu128 indeksidan torch'ni, keyin esa lerobot'ni o'rnating.

Mashg'ulotni ishga tushirish, buyruqma-buyruq

1. 1
   Hubga qarshi autentifikatsiya qilish

   Asosiy nazorat nuqtasi Hubdan keladi va sizning ma'lumotlar to'plamingiz ham shunday bo'lishi mumkin.

   bash

   hf auth login

2. 2
   Variantlarni bir marta o'qib chiqing

   Quvur liniyasi va siyosat konfiguratsiyasining har bir maydoni bayroqdir. Manbaga kirishdan oldin uni ko'rib chiqing.

   bash

   lerobot-train --help

3. 3
   Nozik sozlashni boshlash

   Hujjatlar misoli bitta A100 da 64 ta partiyani ishga tushiradi; hisoblash qo'llanmasining o'z A100 40 GB langari 16 ta partiya, 8 esa 24 GB ekvivalenti. Bu yerda ataylab rejalashtiruvchi bayrog'i yo'q, quyida ko'ring.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Faqat yo'qotishni emas, balki jurnal qatorini o'qing

   Har bir --log_freq qadamda lerobot yo'qotish, grdn, lr, updt_s, data_s, smp/s va CUDA da mem_gb ni chop etadi. mem_gb partiyaning sig'ishini, lr jadvalning pasayishini, va data_s ning updt_s ga yaqinlashishi dataloader ning tiqilinch ekanligini, GPU emasligini bildiradi.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Solishtirish mumkin bo'lgan nazorat nuqtalarini to'plang

   save_freq sukut bo'yicha 20000 ga teng, shuning uchun 20000 qadamli ish bir nazorat nuqtasini qoldiradi va uni solishtirish uchun hech narsa qolmaydi. 2000 ni o'rnating. Hubga yuklash uchun --policy.repo_id kerak.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Agar mashina ishdan chiqsa, davom ettiring

   --config_path ni nazorat nuqtasi yonidagi train_config.json ga yo'naltiring. lerobot mavjud output_dir ga ishga tushirishdan bosh tortadi, agar siz davom ettirmasangiz, shuning uchun siz tasodifan ishni qayta yozib yubora olmaysiz.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Natijani haqiqatan ham o'zgartiradigan bayroqlar

Agar hech narsaga tegmasangiz, siz meros qilib oladigan standart sozlamalar

Bir siyosat konfiguratsiyasi lerobotda o'zining optimizator va jadval oldindan sozlamalarini olib yuradi, va agar siz use_policy_training_preset=false ni o'rnatmasangiz, bu oldindan sozlamalar ustunlik qiladi. Odamlar SmolVLA o'qitish haqida beradigan savollarning yarmi ular mavjudligini bilmagan standart sozlama bilan javob beriladi.

Odamlarni hayratga soladigan ikki qator bu freeze_vision_encoder va train_expert_only, ikkalasi ham rost. Qutidan tashqarida siz taxminan 100 M parametrni o'rgatasiz, 450 M emas, shuning uchun u 24 GB ga sig'adi. LeRobot'ning to'rt GPU H100 klasteridagi o'zining mos yozuvlar ishi ikkalasini ham 'false' ga o'zgartiradi; bitta 24 GB kartada bu ishlaydigan ishni ga aylantiradi.

Ish qancha vaqt oladi va qancha qadam yetarli

LeRobot taxminan 50 epizodli ma'lumotlar to'plami bo'yicha besh epoch uchun, 30 fps tezlikda taxminan 45000 kadr uchun real vaqt ankrajlarini nashr etadi. Kattalik tartibidagi raqamlar, hujjatlarda aytilishicha, lekin ular bir soat va bir kun kutish o'rtasidagi farqdir.

Nozik sozlashdan o'tgan siyosatni qo'lga qayta qo'llash

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Harakat qadami uchun 245 ms ni noto'g'ri tushunish oson: siyosat oldinga o'tishda chunk_size = 50 harakatni chiqaradi va ulardan n_action_steps = 50 tasini bajaradi, shuning uchun bu xarajatni qancha tez-tez to'lashingiz servo buyruqni qancha tez-tez olishiga emas, balki shu tugmalar bilan belgilanadi. Bu harakatni bo'laklarga ajratish nima beradi va nima uchun 245 ms model 30 Hz qo'lni boshqara oladi. Qolgan narsa bo'lak oxiridagi xulosa chiqarish kechikishidir.

Uchinchi qator ko'pchilik maqolalar e'tibordan chetda qoldiradigan narsadir. Asinxron xulosa chiqarish taxminan 30 foizga tezroq va belgilangan vaqt oralig'ida o'tkazuvchanlikni taxminan ikki baravar oshiradi, va maqolada muvaffaqiyat darajalari taqqoslanadigan deb ataladi, bu o'rtacha hisobda shunday. Buning ostida, saralash 70 dan 50 foizga tushgan, olib qo'yish esa 5 ga oshgan. lerobot 0.6.1 bir xil ikkilik faylda boshqa dastakni olib yuradi: --inference.type=rtc skriptning o'z foydalanish bloki sekin VLA'lar, Pi0, Pi0.5 va SmolVLA uchun tavsiya qiladigan real vaqt rejimida bo'laklarga ajratishga o'tishni ta'minlaydi.

Bir xil nazorat nuqtasiga ikki yo'l

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

SmolVLA noto'g'ri tanlov bo'lganda

SmolVLA toʻgʻri birinchi ishga tushirish boʻlganligini aniqlash testi uning ishlaganligida emas, balki muvaffaqiyatsizlik sizga nimadir aytganligidadir. 60 yoki 70 foizga erishilsa, kattaroq model keyingi oʻrinli xarajat boʻladi: maʼlumot signal olib keladi. 10 foizga erishilsa, 3 B model ham koʻpincha 10 foizga erishadi, buni siz oʻn ikki dollar oʻrniga uch dollarga oʻrgandingiz.

Koʻproq pul sarflashdan oldin oʻqishga arziydi: Pi0.5 SmolVLAga qarshi bir xil gʻoya boʻyicha koʻproq imkoniyat uchun, va GR00T N1.7 SmolVLAga qarshi NVIDIA yoʻli uchun, ikkalasi ham 80 GB darajasida, har bir ishga tushirish 4 dan 12 USD gacha. Boshqa yoʻl, ACT arzonroq asosdir: 80 M parametr, har bir harakat bosqichi uchun 20 ms, til shartlari yoʻq. Barcha beshtasi joylashgan siyosatlar sahifasi; arenada 85 ta model va 332 ta benchmark natijalari mavjud.

Biror narsani masshtablashdan oldingi nazorat roʻyxati

1. lr oʻzining 2.5e-6 minimal qiymatiga yetdimi? 30000 qadamdan pastda lerobot pasayishni qayta masshtablaydi va ishga tushirishda bu haqda xabar beradi; undan yuqorida, --policy.scheduler_decay_steps ni oʻzingiz oʻrnating.
2. Birdan ortiq nazorat nuqtasi va --dataset.eval_split bilan ajratilgan epizodlar, shuning uchun baholash yoʻqotishi maʼlum bir maʼnoga ega boʻladi.
3. Siyosat umuman harakat qiladimi? Harakatsiz qoʻl bilan tushayotgan yoʻqotishning oʻziga xos sabablari bor: yoʻqotish tushadi, siyosat hech narsa qilmaydi.
4. U sahna oʻzgarishidan omon qoladimi? Agar yoʻq boʻlsa: siyosat faqat bitta sozlamada ishlaydi.
5. Urugʻni yozib oldingizmi? lerobot sukut boʻyicha 1000 ga teng, shuning uchun ikkita tegilmagan ish qiyosiy boʻlib qoladi.
6. Faqat shundan keyin: koʻproq epizodlar, koʻproq oʻzgarishlar yoki kattaroq model. Shu tartibda.

Nima uchun bu modellar mavjudligi va ular til kiritish bilan nima qilishlari haqida, fon hisoblanadi; yigʻishni orqali birinchi ishiga olib boradi. Tayyor nazorat nuqtasi uchun, ; agar qoʻl hech qachon koʻrinmasa, .