Cum să antrenezi SmolVLA pe un GPU de 24 GB (lerobot 0.6.1)

Majoritatea oamenilor care doresc un model de acțiune limbaj-viziune pe un braț real se opresc la linia hardware. GR00T N1.7 și Pi0.5 au aproximativ trei miliarde de parametri fiecare și necesită un A100 de 80 GB sau un H100. Dacă dețineți un PC de gaming cu un RTX 4090, acesta este sfârșitul drumului. SmolVLA este excepția: 450 M parametri, în cadrul LeRobot, construit pentru a fi ajustat fin pe o singură placă de consum și pentru a servi de pe un CPU.

Mai întâi, ruta manuală: instalați lerobot, extrageți checkpoint-ul lerobot/smolvla_base, rulați comanda reală, citiți rularea pe măsură ce se întâmplă. Apoi, ruta platformei și unde aceasta nu ajută.

Ce este SmolVLA, în cifre pe care le puteți verifica

SmolVLA este o potrivire de flux politică integrată într-un model lingvistic vizual mic. Arhitectura de bază este SmolVLM2-500M-Video-Instruct; lucrarea păstrează doar primele 16 straturi ale modelului său lingvistic, limitează fiecare cadru al camerei la 64 de token-uri vizuale printr-o amestecare de pixeli (pixel shuffle) în loc de segmentare a imaginii (image tiling), și intercalează atenția încrucișată cu un strat de auto-atenție la fiecare al doilea bloc. Costul inferenței a fost o constrângere de proiectare, nu un aspect secundar.

Benchmark-urile sunt motivul pentru care oamenii se preocupă de un model de 450 M. Pe LIBERO, obține o medie de 87.3 procente față de 76.5 pentru OpenVLA la 7 B și 86.0 pentru un Pi0 pre-antrenat pentru robotică la 3.3 B; pe Meta-World, 57.3 față de 47.9. Pe hardware real SO-100, antrenamentul multi-task oferă 75 procente la ridicare și plasare, 90 la stivuire, 70 la sortare, cu o medie de 78.3, unde ACT antrenat per sarcină a obținut o medie de 48.3. Aceleași rânduri se găsesc alături de fiecare VLA publicat în intrarea SmolVLA în arenă și în comparația ACT cu SmolVLA.

De ce o placă de 24 GB este alegerea potrivită pentru prima rulare

LeRobot oferă un ghid de dimensionare a resurselor de calcul, cea mai utilă pagină din depozit pentru acest scop. Acesta grupează politicile după dimensiunea backbone-ului și oferă o anvelopă VRAM per grup, măsurată la o dimensiune a lotului de 8 cu AdamW, implicitul lerobot. Starea optimizatorului singură adaugă 30 până la 100 la sută peste o simplă trecere înainte și înapoi, deci acestea nu sunt cifre doar pentru ponderi.

Zece până la șaisprezece gigabytes la lot de 8 este argumentul: o placă de 24 GB se potrivește cu asta plus dataloader-ul. AY-Robots plasează SmolVLA pe RTX 4090 sau orice placă de 24 GB, minim 30 episoade, LeRobot v3.0 date, 245 ms per pas de acțiune. Închiriat, asta înseamnă 2 până la 5 ore la 0.30 până la 0.60 USD pe oră, aproximativ 1 până la 3 USD per ajustare fină rulare, față de 4 până la 12 USD pe nivelul de 80 GB de care GR00T și Pi0.5 au nevoie (prețuri). O rulare eșuată SmolVLA este o cafea; o rulare eșuată GR00T, prânzul.

Pasul 0: setul de date decide rularea, nu flag-urile

Nimic din cele de mai jos nu contează dacă înregistrarea este proastă. Pagina LeRobot SmolVLA este directă: setul de date de referință a constat din 50 de episoade pe 5 poziții de cub, 10 per poziție, iar aceeași sarcină la 25 de episoade a performat slab. Repetiția per variație generalizează, numărul brut de episoade nu. Nu ați înregistrat niciodată unul? Începeți de la înregistrați primul dvs. set de date, cu clientul desktop, care scrie formatul LeRobot dintr-o sesiune de teleoperație , sau împrumutați unul din directorul de seturi de date.

• Cel puțin 30 de episoade pe AY-Robots, aproximativ 50 pentru rețeta de referință LeRobot.
• Fiecare variație pe care o așteptați la implementare, repetată de mai multe ori.
• Un singur șir de sarcini, scris identic la înregistrare și la implementare. Modelul este condiționat de acel text.
• Camere fixe. O cameră mutată între înregistrare și implementare este cel mai comun motiv pentru care o curbă de pierdere curată rezultă într-un braț imobil.
• O variație reținută pe care nu ați antrenat-o niciodată, astfel încât să aveți ceva onest de testat.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Mai multe despre asta în cum să colectați date de antrenament VLA de înaltă calitate. Pe scurt: 30 până la 50 de episoade curate ale unei singure sarcini cu variație deliberată depășesc 200 de episoade neglijente din trei, cu o marjă pe care niciun hiperparametru nu o poate închide.

Instalați lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Instalarea de bază lerobot este minimalistă și blochează dependențele grele în spatele extra-urilor: smolvla adaugă transformers, num2words și accelerate, training stiva de seturi de date și wandb, core_scripts dependențele hardware și de vizualizare. Pe Linux, calea de instalare decide și pachetul CUDA: implicitul PyPI este un pachet cu130 cu un driver minim de 580.65, deci pe un driver mai vechi instalați torch din indexul cu128 mai întâi, apoi lerobot.

Rularea antrenamentului, comandă cu comandă

1. 1
   Autentificare în Hub

   Checkpoint-ul de bază provine din Hub, iar setul de date probabil la fel.

   bash

   hf auth login

2. 2
   Citiți opțiunile o dată

   Fiecare câmp din configurația pipeline-ului și a politicii este un flag. Parcurgeți-l rapid înainte de a aprofunda codul sursă.

   bash

   lerobot-train --help

3. 3
   Porniți fine-tuning-ul

   Exemplul din documentație rulează batch 64 pe un singur A100; ancora ghidului de calcul pentru A100 40 GB este batch 16, iar 8 este echivalentul pentru 24 GB. Nu există un flag de scheduler aici intenționat, vezi mai jos.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Citiți linia de log, nu doar pierderea

   La fiecare --log_freq pași, lerobot afișează loss, grdn, lr, updt_s, data_s, smp/s și, pe CUDA, mem_gb. mem_gb indică dacă batch-ul încape, lr dacă programul de învățare scade, iar data_s care se apropie de updt_s înseamnă că dataloader-ul este blocajul, nu GPU-ul.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Colectați checkpoint-uri pe care le puteți compara

   save_freq are valoarea implicită 20000, deci o rulare de 20000 de pași lasă un singur checkpoint și nimic cu care să-l compari. Setați 2000. Publicarea în Hub necesită --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Reluați dacă mașina se oprește

   Indicați --config_path către train_config.json de lângă checkpoint. lerobot refuză să pornească într-un output_dir existent decât dacă reluați, deci nu puteți suprascrie o rulare accidental.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Flag-urile care modifică de fapt rezultatul

Valorile implicite pe care le moșteniți dacă nu modificați nimic

O configurație în lerobot conține propriul său optimizator și presetare de programator, și dacă nu setați use_policy_training_preset=false acele presetări prevalează. Jumătate din întrebările pe care oamenii le pun despre antrenarea SmolVLA sunt răspunsuri de o valoare implicită pe care nu știau că există.

Cele două linii care surprind oamenii sunt freeze_vision_encoder și train_expert_only, ambele adevărate. Din start, antrenezi aproximativ 100 M parametri, nu 450 M, motiv pentru care se potrivește pe 24 GB. Rularea de referință a LeRobot pe un cluster H100 cu patru GPU-uri le setează pe ambele la fals; pe o placă de 24 GB, asta transformă o rulare funcțională într-un .

Cât durează rularea și câte etape sunt suficiente

LeRobot publică ancore de timp real pentru cinci epoci peste un set de date de aproximativ 50 de episoade, aproximativ 45000 de cadre la 30 fps. Cifre de ordin de mărime, spun documentele, dar ele fac diferența între a te aștepta la o oră și o zi.

Rularea politicii ajustate pe brațul robotului

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Cei 245 ms per pas de acțiune sunt ușor de interpretat greșit: politica emite chunk_size = 50 acțiuni per trecere înainte și execută n_action_steps = 50 dintre ele, deci cât de des plătiți acest cost este stabilit de acești parametri, nu de cât de des primesc servomecanismele o comandă. Aceasta este ceea ce fragmentarea acțiunilor oferă, și de ce un model de 245 ms poate acționa un braț de 30 Hz. Ceea ce rămâne este latența inferenței la sfârșitul fragmentului.

Al treilea rând este ceea ce majoritatea articolelor omit. Inferența asincronă este cu aproximativ 30 la sută mai rapidă și dublează aproximativ debitul într-o fereastră fixă, iar lucrarea consideră ratele de succes comparabile, ceea ce, în medie, sunt. Sub aceasta, sortarea a scăzut de la 70 la 50 la sută, în timp ce pick and place a câștigat 5. lerobot 0.6.1 poartă cealaltă pârghie în același binar: --inference.type=rtc comută desfășurarea la fragmentarea în timp real, pe care blocul de utilizare al scriptului o recomandă pentru VLA-urile lente, Pi0, Pi0.5 și SmolVLA.

Două rute către același punct de control

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Când SmolVLA este alegerea greșită

Testul pentru a determina dacă SmolVLA a fost prima rulare corectă nu este dacă a funcționat, ci dacă eșecul ți-a spus ceva. Atingeți 60 sau 70 la sută și un model mai mare este o cheltuială rezonabilă următoare: datele poartă un semnal. Atingeți 10 la sută și un model de 3 B cel mai probabil atinge și el 10 la sută, ceea ce tocmai ați aflat pentru trei dolari în loc de doisprezece.

Merită citit înainte de a cheltui mai mult: Pi0.5 împotriva SmolVLA pentru mai multă capacitate pe aceeași idee, și GR00T N1.7 împotriva SmolVLA pentru ruta NVIDIA, ambele la nivelul de 80 GB la 4 până la 12 USD per rulare. Cealaltă variantă, ACT este linia de bază mai ieftină: 80 M parametri, 20 ms per pas de acțiune, fără condiționare lingvistică. Toate cele cinci se găsesc pe pagina de politici; arena are 85 de modele și 332 de rezultate de benchmark.

Lista de verificare înainte de a scala orice

1. A atins lr pragul de 2.5e-6? Sub 30000 de pași, lerobot rescală decăderea și anunță acest lucru la pornire; peste acest prag, setați --policy.scheduler_decay_steps manual.
2. Mai mult de un checkpoint și episoade reținute cu --dataset.eval_split, astfel încât pierderea de evaluare să însemne ceva.
3. Politica se mișcă deloc? O pierdere în scădere cu un braț imobil are cauze specifice: pierderea scade, politica nu face nimic.
4. Supraviețuiește unei schimbări de scenă? Dacă nu: politica funcționează doar într-o singură configurație.
5. Ați notat seed-ul? lerobot folosește implicit 1000, astfel încât două rulări neatinse să rămână comparabile.
6. Abia apoi: mai multe episoade, mai multă variație sau un model mai mare. În această ordine.

Pentru a înțelege de ce există aceste modele și ce fac ele cu intrarea lingvistică, este contextul; parcurge asamblarea de la până la prima rulare de . Pentru checkpoint-ul finalizat, ; dacă brațul nu apare niciodată, .