Kako trenirati SmolVLA na 24 GB grafični kartici (lerobot 0.6.1)

Večina ljudi, ki želi vizualno-jezikovni akcijski model na pravi roki, se ustavi pri strojni opremi. GR00T N1.7 in Pi0.5 imata vsak približno tri milijarde parametrov in zahtevata A100 80 GB ali H100. Če imate igralni računalnik z RTX 4090, je to konec poti. SmolVLA je izjema: 450 M parametrov, znotraj LeRobot, zgrajen za fino uglasitev na eni potrošniški kartici in strežbo iz CPE-ja.

Najprej ročna pot: namestite lerobot, povlecite lerobot/smolvla_base kontrolno točko, zaženite pravi ukaz, preberite zagon, medtem ko se dogaja. Nato pot platforme in kje ne pomaga.

Kaj je SmolVLA, v številkah, ki jih lahko lahko preverite

SmolVLA je ujemanje toka politika, pritrjena na majhen vizualni jezikovni model. Hrbtenica je SmolVLM2-500M-Video-Instruct; članek ohranja le prvih 16 plasti njegovega jezikovnega modela, omejuje vsak posnetek kamere na 64 vizualnih žetonov s premešanjem pikslov namesto ploščic slike in prepleta navzkrižno pozornost s plastjo samo-pozornosti vsak drugi blok. Stroški sklepanja so bili omejitev pri načrtovanju, ne naknadna misel.

Merila so razlog, zakaj se ljudje ukvarjajo z modelom 450 M. Na LIBERO dosega povprečno 87.3 odstotka v primerjavi s 76.5 za OpenVLA pri 7 B in 86.0 za Pi0, predhodno usposobljenega za robotiko, pri 3.3 B; na Meta-World, 57.3 proti 47.9. Na dejanski strojni opremi SO-100, večopravilno usposabljanje dosega 75 odstotkov pri pobiranju in odlaganju, 90 pri zlaganju, 70 pri razvrščanju, s povprečjem 78.3, kjer je ACT usposobljen na nalogo, dosegel povprečno 48.3. Iste vrstice so poleg vsakega objavljenega VLA v vnosu v areno SmolVLA in primerjavi ACT proti SmolVLA.

Zakaj je 24 GB kartica prava izbira za prvi zagon

LeRobot vključuje vodnik za določanje velikosti računalniških virov, kar je najkoristnejša stran v repozitoriju za ta namen. Združuje politike po velikosti hrbtenice in določa eno VRAM ovojnico na skupino, merjeno pri velikosti paketa 8 z AdamW, privzeto nastavitvijo lerobot. Samo stanje optimizatorja doda 30 do 100 odstotkov nad golim prehodom naprej in nazaj, zato to niso številke, ki bi se nanašale samo na uteži.

Deset do šestnajst gigabajtov pri velikosti paketa 8 je argument: 24 GB kartica ustreza temu plus nalagalniku podatkov. AY-Robots postavi SmolVLA na RTX 4090 ali katero koli 24 GB kartico, najmanj 30 epizod, LeRobot v3.0 podatkov, 245 ms na korak dejanja. Najeto, to je 2 do 5 ur po 0.30 do 0.60 USD na uro, približno 1 do 3 USD na fino uglasitev zagon, v primerjavi s 4 do 12 USD na 80 GB ravni, ki jo potrebujeta GR00T in Pi0.5 (cene). Neuspešen zagon SmolVLA je kava; neuspešen zagon GR00T je kosilo.

Korak 0: zbirka podatkov odloča o zagonu, ne zastavice

Nič spodaj ni pomembno, če je posnetek slab. Stran LeRobot SmolVLA je neposredna: referenčna zbirka podatkov je vsebovala 50 epizod na 5 položajih kocke, 10 na položaj, in ista naloga z 25 epizodami se je izvedla slabo. Ponavljanje na variacijo posplošuje, število surovih epizod pa ne. Nikoli niste posneli nobene? Začnite pri posnemite svojo prvo zbirko podatkov z namiznim odjemalcem, ki zapiše format LeRobot iz teleoperacije seje, ali si jo izposodite iz imenika zbirk podatkov.

• Vsaj 30 epizod na AY-Robots, približno 50 za referenčni recept LeRobot.
• Vsaka variacija, ki jo pričakujete ob uvedbi, ponovljena večkrat.
• En niz naloge, zapisan identično ob snemanju in ob uvedbi. Model je pogojen s tem besedilom.
• Fiksne kamere. Kamera, premaknjena med snemanjem in uvedbo, je najpogostejši razlog, da čista krivulja izgube povzroči negibno roko.
• Zadržana variacija, na kateri niste nikoli trenirali, tako da imate nekaj poštenega za testiranje.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Več o tem v kako zbrati visokokakovostne podatke za usposabljanje VLA za robotsko manipulacijo. Na kratko: 30 do 50 čistih epizod ene naloge z namerno variacijo premaga 200 površnih epizod treh, z razliko, ki je noben hiperparameter ne more zapreti.

Namestitev lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Osnovna lerobot namestitev je minimalistična in težke odvisnosti skriva za dodatki: smolvla dodaja transformatorje, num2words in accelerate, training sklad podatkov in wandb, core_scripts odvisnosti strojne opreme in vizualizacije. Na Linuxu pot namestitve določa tudi vaš CUDA wheel: privzeta vrednost PyPI je cu130 wheel z minimalno različico gonilnika 580.65, zato na starejšem gonilniku najprej namestite torch iz indeksa cu128, nato pa lerobot.

Izvajanje usposabljanja, ukaz za ukazom

1. 1
   Avtentikacija proti Hubu

   Osnovna kontrolna točka prihaja iz Huba, in verjetno tudi vaš nabor podatkov.

   bash

   hf auth login

2. 2
   Preberite možnosti enkrat

   Vsako polje konfiguracije cevovoda in politike je zastavica. Preletite jo, preden se poglobite v izvorno kodo.

   bash

   lerobot-train --help

3. 3
   Zaženite fino uglasitev

   Primer v dokumentaciji poganja serijo 64 na enem A100; lastna referenca vodnika za izračun za A100 40 GB je serija 16, 8 pa je ekvivalent za 24 GB. Zastavice za razporejevalnik tukaj ni namenoma, glejte spodaj.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Preberite vrstico dnevnika, ne samo izgube

   Vsakih --log_freq korakov lerobot izpiše loss, grdn, lr, updt_s, data_s, smp/s in, na CUDA, mem_gb. mem_gb pove, ali se serija prilega, lr, ali se razpored zmanjšuje, in data_s, ki se približuje updt_s, pomeni, da je nalagalnik podatkov ozko grlo, ne GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Zberite kontrolne točke, ki jih lahko primerjate

   save_freq privzeto znaša 20000, zato izvajanje 20000 korakov pusti eno kontrolno točko in nič za primerjavo. Nastavite na 2000. Potiskanje v Hub zahteva --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Nadaljujte, če stroj odpove

   Usmerite --config_path na train_config.json poleg kontrolne točke. lerobot zavrne zagon v obstoječo mapo output_dir, razen če nadaljujete, tako da ne morete pomotoma prepisati izvajanja.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Zastavice, ki dejansko spremenijo rezultat

Privzete nastavitve, ki jih podedujete, če se ničesar ne dotaknete

A konfiguracija v lerobotu nosi lastno prednastavitev optimizatorja in razporejevalnika, in razen če ne nastavite use_policy_training_preset=false te prednastavitve prevladajo. Polovico vprašanj, ki jih ljudje postavljajo o usposabljanju SmolVLA, odgovori privzeta nastavitev, za katero niso vedeli, da obstaja.

Dve vrstici, ki presenetita ljudi, sta freeze_vision_encoder in train_expert_only, obe resnični. Takoj po namestitvi trenirate približno 100 M parametrov, ne 450 M, zato se prilega na 24 GB. Referenčni zagon LeRobota na gruči štirih grafičnih procesorjev H100 obe nastavitvi obrne na napačno; na eni 24 GB kartici to spremeni delujoč zagon v .

Kako dolgo traja zagon in koliko korakov je dovolj

LeRobot objavlja časovne sidra za pet epoh na naboru podatkov s približno 50 epizodami, približno 45000 sličic pri 30 sličicah na sekundo. Številke so reda velikosti, pravijo dokumenti, vendar predstavljajo razliko med pričakovanjem ure in dneva.

Zagon fino nastavljene politike nazaj na roki

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms na korak dejanja je enostavno napačno razumeti: politika odda chunk_size = 50 dejanj na prehod naprej in jih izvede n_action_steps = 50, tako da je pogostost plačevanja tega stroška določena s temi nastavitvami, ne s tem, kako pogosto servomotorji prejmejo ukaz. To je tisto, kar prinaša združevanje dejanj, in zakaj model s 245 ms lahko poganja 30 Hz roko. Kar ostane, je zakasnitev sklepanja na koncu bloka.

Ta tretja vrstica je tisto, kar večina poročil preskoči. Asinhrono sklepanje je približno 30 odstotkov hitrejše in približno podvoji prepustnost v fiksnem oknu, članek pa imenuje stopnje uspešnosti primerljive, kar povprečno tudi so. Pod tem je razvrščanje padlo s 70 na 50 odstotkov, medtem ko je pobiranje in odlaganje pridobilo 5. lerobot 0.6.1 vsebuje drugo vzvod v isti binarni datoteki: --inference.type=rtc preklopi izvajanje na združevanje v realnem času, kar lastni blok uporabe skripte priporoča za počasne VLA-je, Pi0, Pi0.5 in SmolVLA.

Dve poti do iste kontrolne točke

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Ko je SmolVLA napačna izbira

Preizkus, ali je bil SmolVLA pravi prvi zagon, ni v tem, ali je deloval, temveč v tem, ali vam je neuspeh kaj povedal. Dosezite 60 ali 70 odstotkov in večji model je smiselna naslednja naložba: podatki nosijo signal. Dosezite 10 odstotkov in model 3 B bo najverjetneje prav tako dosegel 10 odstotkov, kar ste pravkar izvedeli za tri dolarje namesto dvanajstih.

Vredno branja pred nadaljnjo porabo: Pi0.5 proti SmolVLA za večjo zmogljivost na isti ideji, in GR00T N1.7 proti SmolVLA za pot NVIDIA, oba 80 GB nivoja po 4 do 12 USD na zagon. Druga možnost, ACT je cenejša izhodiščna točka: 80 M parametrov, 20 ms na korak dejanja, brez jezikovnega pogojevanja. Vseh pet se nahaja na strani s politikami; areni ima 85 modelov in 332 rezultatov meritev.

Kontrolni seznam, preden karkoli razširite

1. Ali je lr dosegel svojo spodnjo mejo 2.5e-6? Pod 30000 koraki lerobot ponovno prilagodi upadanje in to sporoči ob zagonu; nad tem si --policy.scheduler_decay_steps nastavite sami.
2. Več kot ena kontrolna točka in epizode, izločene z --dataset.eval_split, tako da izguba eval nekaj pomeni.
3. Ali se politika sploh premika? Padajoča izguba z negibno roko ima specifične vzroke: izguba pada, politika ne dela nič.
4. Ali preživi spremembo scene? Če ne: politika deluje samo v eni nastavitvi.
5. Ste si zapisali seme? lerobot privzeto uporablja 1000, tako da dve nedotaknjeni izvedbi ostaneta primerljivi.
6. Šele nato: več epizod, več variacij ali večji model. V tem vrstnem redu.

Zakaj ti modeli obstajajo in kaj počnejo z jezikovnim vnosom, , je ozadje; vodi montažo skozi do prve izvedbe. Za dokončano kontrolno točko, ; če se roka nikoli ne pojavi, .