Kako trenirati SmolVLA na 24 GB GPU-u (lerobot 0.6.1)

Većina ljudi koja želi model vizije, jezika i akcije na pravoj ruci staje kod hardverske linije. GR00T N1.7 i Pi0.5 imaju oko tri milijarde parametara svaki i zahtevaju A100 80 GB ili H100. Ako posedujete gejmerski PC sa RTX 4090, to je kraj puta. SmolVLA je izuzetak: 450 M parametara, unutar LeRobot-a, napravljen da se fino podešava na jednoj potrošačkoj kartici i služi sa CPU-a.

Prvo ručna ruta: instalirajte lerobot, preuzmite lerobot/smolvla_base kontrolnu tačku, pokrenite pravu komandu, pratite pokretanje dok se dešava. Zatim ruta platforme, i gde ona ne pomaže.

Šta je SmolVLA, u brojevima koje možete proveriti

SmolVLA je usklađivanje toka politika pričvršćena na mali vizuelni jezički model. Okosnica je SmolVLM2-500M-Video-Instruct; rad zadržava samo prvih 16 slojeva svog jezičkog modela, ograničava svaki kadar kamere na 64 vizuelna tokena sa premeštanjem piksela umesto popločavanja slike, i prepliće unakrsnu pažnju sa slojem samopažnje svakog drugog bloka. Trošak inferencije bio je ograničenje dizajna, a ne naknadna misao.

Benchmark rezultati su razlog zašto se ljudi bave modelom od 450 M. Na LIBERO-u prosečno postiže 87.3 procenta u poređenju sa 76.5 za OpenVLA od 7 B i 86.0 za Pi0 pretreniran za robotiku od 3.3 B; na Meta-World-u, 57.3 u poređenju sa 47.9. Na stvarnom SO-100 hardveru, višenamensko treniranje daje 75 procenata za podizanje i postavljanje, 90 za slaganje, 70 za sortiranje, sa prosekom od 78.3, gde ACT treniran po zadatku prosečno je postigao 48.3. Isti redovi se nalaze pored svakog objavljenog VLA u SmolVLA arena unos i poređenje ACT-a sa SmolVLA.

Zašto je kartica od 24 GB pravi izbor za prvo pokretanje

LeRobot isporučuje vodič za dimenzionisanje računarskih resursa, što je najkorisnija stranica u repozitorijumu za ovu svrhu. On grupiše politike po veličini okosnice i daje jedan VRAM opseg po grupi, meren sa veličinom paketa 8 i AdamW, podrazumevanim za lerobot. Samo stanje optimizatora dodaje 30 do 100 procenata u odnosu na čisti forward i backward prolaz, tako da ovo nisu cifre koje se odnose samo na težine.

Deset do šesnaest gigabajta sa veličinom paketa 8 je argument: kartica od 24 GB to pokriva, plus dataloader. AY-Robots postavlja SmolVLA na RTX 4090 ili bilo koju karticu od 24 GB, minimum 30 epizoda, LeRobot v3.0 podataka, 245 ms po koraku akcije. Iznajmljeno, to je 2 do 5 sati po ceni od 0.30 do 0.60 USD po satu, oko 1 do 3 USD po fine-tuning pokretanju, naspram 4 do 12 USD na nivou od 80 GB koji GR00T i Pi0.5 zahtevaju (cene). Neuspelo pokretanje SmolVLA je kafa; neuspelo pokretanje GR00T-a, ručak.

Korak 0: skup podataka odlučuje o izvršavanju, a ne zastavice

Ništa ispod nije važno ako je snimak loš. LeRobot SmolVLA stranica je direktna: referentni skup podataka je imao 50 epizoda raspoređenih na 5 pozicija kocke, 10 po poziciji, a isti zadatak sa 25 epizoda je loše izveden. Ponavljanje po varijaciji generalizuje, sirov broj epizoda ne. Nikada niste snimili nijedan? Počnite sa snimite svoj prvi skup podataka, sa desktop klijentom, koji piše LeRobot format iz teleoperacione sesije, ili pozajmite jedan iz direktorijuma skupova podataka.

• Najmanje 30 epizoda na AY-Robots, oko 50 za LeRobot referentni recept.
• Svaka varijacija koju očekujete pri implementaciji, ponovljena nekoliko puta.
• Jedan string zadatka, identično napisan u vreme snimanja i implementacije. Model je uslovljen tim tekstom.
• Fiksne kamere. Kamera pomerena između snimanja i implementacije je najčešći razlog zašto čista kriva gubitka daje nepokretnu ruku.
• Zadržana varijacija na kojoj nikada niste trenirali, tako da imate nešto iskreno za testiranje.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Više o ovome u kako prikupiti visokokvalitetne VLA podatke za obuku. Ukratko: 30 do 50 čistih epizoda jednog zadatka sa namernom varijacijom nadmašuje 200 neurednih epizoda tri zadatka, sa razlikom koju nijedan hiperparametar ne može da zatvori.

Instalacija lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Osnovna lerobot instalacija je minimalistička i teške zavisnosti su iza dodataka (extras): smolvla dodaje transformere, num2words i accelerate, training stak za skupove podataka i wandb, core_scripts zavisnosti za hardver i vizualizaciju. Na Linuxu, putanja instalacije takođe određuje vaš CUDA wheel: podrazumevana PyPI vrednost je cu130 wheel sa minimalnom verzijom drajvera 580.65, tako da na starijem drajveru prvo instalirajte torch sa cu128 indeksa, a zatim lerobot.

Pokretanje obuke, komanda po komanda

1. 1
   Autentifikacija na Hub-u

   Osnovna kontrolna tačka dolazi sa Hub-a, a verovatno i vaš skup podataka.

   bash

   hf auth login

2. 2
   Pročitajte opcije jednom

   Svako polje konfiguracije pajplajna i politike je zastavica. Prelistajte je pre nego što se udubite u izvorni kod.

   bash

   lerobot-train --help

3. 3
   Pokrenite fino podešavanje

   Primer iz dokumentacije pokreće batch 64 na jednom A100; sopstveni A100 40 GB anchor iz vodiča za računanje je batch 16, a 8 je ekvivalent za 24 GB. Nema zastavice za scheduler ovde namerno, pogledajte ispod.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Pročitajte liniju loga, ne samo gubitak

   Na svakih --log_freq koraka lerobot ispisuje loss, grdn, lr, updt_s, data_s, smp/s i, na CUDA-i, mem_gb. mem_gb govori da li batch staje, lr da li se raspored smanjuje, a data_s koji se približava updt_s znači da je dataloader usko grlo, a ne GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Sakupite kontrolne tačke koje možete uporediti

   save_freq podrazumevano iznosi 20000, tako da pokretanje od 20000 koraka ostavlja jednu kontrolnu tačku i ništa za poređenje. Postavite na 2000. Guranje na Hub zahteva --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Nastavite ako mašina prestane sa radom

   Usmjerite --config_path na train_config.json pored kontrolne tačke. lerobot odbija da se pokrene u postojećem output_dir-u osim ako ne nastavljate, tako da ne možete slučajno prepisati pokretanje.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Zastavice koje zapravo menjaju ishod

Podrazumevane vrednosti koje nasleđujete ako ništa ne dirate

A konfiguracija u lerobot-u nosi sopstveni optimizator i unapred podešeni raspored, i osim ako ne postavite use_policy_training_preset=false ti unapred podešeni parametri pobeđuju. Polovina pitanja koja ljudi postavljaju o SmolVLA treningu odgovorena je podrazumevanom vrednošću za koju nisu znali da postoji.

Dve linije koje iznenađuju ljude su freeze_vision_encoder i train_expert_only, obe tačne. Podrazumevano trenirate otprilike 100 M parametara, a ne 450 M, zbog čega staje na 24 GB. Sopstveno referentno pokretanje LeRobot-a na H100 klasteru sa četiri GPU-a prebacuje obe na false; na jednoj kartici od 24 GB to pretvara ispravno pokretanje u .

Koliko dugo traje pokretanje i koliko koraka je dovoljno

LeRobot objavljuje vremenske (wall-clock) reference za pet epoha preko skupa podataka od otprilike 50 epizoda, oko 45000 frejmova pri 30 fps. Brojke reda veličine, kažu dokumenti, ali one čine razliku između očekivanja sata i dana.

Pokretanje fino podešene politike nazad na ruci

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms po koraku akcije je lako pogrešno protumačiti: politika emituje chunk_size = 50 akcija po prolazu unapred i izvršava n_action_steps = 50 od njih, tako da je učestalost plaćanja tog troška određena tim parametrima, a ne učestalošću kojom servoi dobijaju komandu. To je ono što razdvajanje akcija omogućava, i zašto model od 245 ms može da pokreće ruku od 30 Hz. Ono što preostaje je kašnjenje inferencije na kraju bloka.

Taj treći red je ono što većina tekstova preskače. Asinhrona inferencija je oko 30 procenata brža i otprilike udvostručuje propusnost u fiksnom vremenskom prozoru, a rad navodi da su stope uspešnosti uporedive, što u proseku i jesu. Ispod toga, sortiranje je palo sa 70 na 50 procenata, dok je uzmi i postavi dobilo 5. lerobot 0.6.1 nosi drugu polugu u istom binarnom fajlu: --inference.type=rtc prebacuje izvođenje na razdvajanje u realnom vremenu, što sopstveni blok upotrebe skripte preporučuje za spore VLA-ove, Pi0, Pi0.5 i SmolVLA.

Dva puta do iste kontrolne tačke

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kada je SmolVLA pogrešan izbor

Test da li je SmolVLA bio pravi prvi pokušaj nije u tome da li je uspeo, već u tome da li vam je neuspeh nešto rekao. Dostignite 60 ili 70 procenata i veći model je razuman sledeći korak: podaci nose signal. Dostignite 10 procenata i model od 3 B će najverovatnije takođe dostići 10 procenata, što ste upravo naučili za tri dolara umesto dvanaest.

Vredi pročitati pre nego što potrošite više: Pi0.5 protiv SmolVLA za veći kapacitet na istoj ideji, i GR00T N1.7 protiv SmolVLA za NVIDIA put, oba 80 GB nivoa po ceni od 4 do 12 USD po pokretanju. Drugi način, ACT je jeftinija osnova: 80 M parametara, 20 ms po koraku akcije, bez jezičkog uslovljavanja. Svih pet se nalazi na stranici sa politikama; areni ima 85 modela i 332 rezultata benčmarka.

Kontrolna lista pre nego što bilo šta skalirate

1. Da li je lr dostigao svoj minimum od 2.5e-6? Ispod 30000 koraka lerobot preskalira opadanje i to navodi pri pokretanju; iznad toga, sami podesite --policy.scheduler_decay_steps.
2. Više od jedne kontrolne tačke i epizode izdvojene sa --dataset.eval_split tako da gubitak evaluacije nešto znači.
3. Da li se politika uopšte pomera? Opadajući gubitak sa nepokretnom rukom ima specifične uzroke: gubitak opada, politika ne radi ništa.
4. Da li preživljava promenu scene? Ako ne: politika radi samo u jednom podešavanju.
5. Da li ste zapisali seed? lerobot podrazumevano koristi 1000, tako da dva netaknuta pokretanja ostaju uporediva.
6. Tek tada: više epizoda, više varijacija ili veći model. Tim redosledom.

Zašto ovi modeli postoje i šta rade sa jezičkim unosom, je pozadina; vodi montažu kroz do prvog pokretanja . Za završenu kontrolnu tačku, ; ako se ruka nikada ne pojavi, .