Kako trenirati SmolVLA na 24 GB GPU-u (lerobot 0.6.1)

Većina ljudi koji žele model vizije, jezika i akcije na pravoj ruci zaustave se na hardverskoj liniji. GR00T N1.7 i Pi0.5 imaju oko tri milijarde parametara svaki i zahtijevaju A100 80 GB ili H100. Ako posjedujete gaming PC sa RTX 4090, to je kraj puta. SmolVLA je izuzetak: 450 M parametara, unutar LeRobota, napravljen da se fino podešava na jednoj potrošačkoj kartici i služi sa CPU-a.

Prvo ručna ruta: instalirajte lerobot, povucite lerobot/smolvla_base kontrolnu tačku, pokrenite stvarnu komandu, čitajte pokretanje dok se dešava. Zatim ruta platforme i gdje ona ne pomaže.

Šta je SmolVLA, u brojkama koje možete provjeriti

SmolVLA je usklađivanje toka politika pričvršćena na mali vizuelni jezički model. Okosnica je SmolVLM2-500M-Video-Instruct; rad zadržava samo prvih 16 slojeva njegovog jezičkog modela, ograničava svaki kadar kamere na 64 vizuelna tokena sa premeštanjem piksela umesto popločavanja slike, i prepliće unakrsnu pažnju sa slojem samopažnje u svakom drugom bloku. Trošak inferencije bio je ograničenje dizajna, a ne naknadna misao.

Mjerila su razlog zašto se ljudi bave modelom od 450 M. Na LIBERO-u prosječno postiže 87.3 posto naspram 76.5 za OpenVLA od 7 B i 86.0 za Pi0 pretreniran za robotiku od 3.3 B; na Meta-Worldu, 57.3 naspram 47.9. Na stvarnom SO-100 hardveru, višenamjensko treniranje daje 75 posto na 'pick and place', 90 na slaganju, 70 na sortiranju, s prosjekom od 78.3, gdje ACT treniran po zadatku prosječno je postigao 48.3. Isti redovi stoje pored svakog objavljenog VLA-a u SmolVLA unosu u arenu i poređenju ACT-a protiv SmolVLA-a.

Zašto je kartica od 24 GB pravi izbor za prvi put

LeRobot isporučuje vodič za dimenzionisanje računarskih resursa, što je najkorisnija stranica u repozitorijumu za ovo. Grupiše politike po veličini okosnice i daje jednu VRAM kovertu po grupi, merenu pri veličini paketa 8 sa AdamW, podrazumevanim za lerobot. Samo stanje optimizatora dodaje 30 do 100 procenata u odnosu na goli forward i backward prolaz, tako da ovo nisu cifre samo za težine.

Deset do šesnaest gigabajta pri paketu 8 je argument: kartica od 24 GB to podržava plus dataloader. AY-Robots postavlja SmolVLA na RTX 4090 ili bilo koju karticu od 24 GB, minimum 30 epizode, LeRobot v3.0 podataka, 245 ms po koraku akcije. Iznajmljeno, to je 2 do 5 sati po ceni od 0.30 do 0.60 USD po satu, oko 1 do 3 USD po fino podešavanje pokretanju, naspram 4 do 12 USD na nivou od 80 GB koji GR00T i Pi0.5 zahtevaju (cene). Neuspelo pokretanje SmolVLA je kafa; neuspelo pokretanje GR00T je ručak.

Korak 0: skup podataka odlučuje o izvođenju, a ne zastavice

Ništa ispod nije važno ako je snimak loš. Stranica LeRobot SmolVLA je direktna: referentni skup podataka sastojao se od 50 epizoda raspoređenih na 5 pozicija kocke, 10 po poziciji, a isti zadatak sa 25 epizoda je loše izveden. Ponavljanje po varijaciji generalizuje, sirovi broj epizoda ne. Nikada niste snimili nijednu? Počnite na snimite svoj prvi skup podataka sa desktop klijentom, koji piše LeRobot format iz teleoperacije sesije, ili posudite jedan iz direktorija skupova podataka.

• Najmanje 30 epizoda na AY-Robots, oko 50 za referentni recept LeRobot.
• Svaka varijacija koju očekujete pri implementaciji, ponovljena nekoliko puta.
• Jedan niz zadataka, napisan identično u vrijeme snimanja i implementacije. Model je uvjetovan tim tekstom.
• Fiksne kamere. Kamera pomjerena između snimanja i implementacije je najčešći razlog zašto čista kriva gubitka rezultira nepokretnom rukom.
• Zadržana varijacija na kojoj nikada niste trenirali, tako da imate nešto iskreno za testiranje.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Više o ovome u kako prikupiti visokokvalitetne VLA podatke za obuku za robotsku manipulaciju. Kratka verzija: 30 do 50 čistih epizoda jednog zadatka s namjernom varijacijom nadmašuje 200 neurednih epizoda od tri, s razlikom koju nijedan hiperparametar ne može zatvoriti.

Instaliraj lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Osnovna lerobot instalacija je tanka i teške zavisnosti drži iza dodataka: smolvla dodaje transformere, num2words i accelerate, training stog podataka i wandb, core_scripts hardverske i vizualizacijske zavisnosti. Na Linuxu, putanja instalacije također određuje vaš CUDA wheel: PyPI podrazumijevana vrijednost je cu130 wheel sa minimalnom verzijom drajvera od 580.65, tako da na starijem drajveru prvo instalirajte torch sa cu128 indeksa, a zatim lerobot.

Pokretanje obuke, komanda po komanda

1. 1
   Autentifikacija na Hub

   Osnovna kontrolna tačka dolazi sa Huba, a verovatno i vaš skup podataka.

   bash

   hf auth login

2. 2
   Pročitajte opcije jednom

   Svako polje konfiguracije pajplajna i politike je zastavica. Prelistajte je pre nego što zaronite u izvorni kod.

   bash

   lerobot-train --help

3. 3
   Pokrenite fino podešavanje

   Primer iz dokumentacije pokreće batch 64 na jednom A100; sopstvena A100 40 GB referenca iz vodiča za računanje je batch 16, a 8 je ekvivalent za 24 GB. Nema zastavice za scheduler ovde namerno, pogledajte ispod.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Pročitajte liniju loga, ne samo gubitak

   Svakih --log_freq koraka lerobot ispisuje loss, grdn, lr, updt_s, data_s, smp/s i, na CUDA-i, mem_gb. mem_gb govori da li batch staje, lr da li se raspored smanjuje, a data_s koji se približava updt_s znači da je dataloader usko grlo, a ne GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Sakupite kontrolne tačke koje možete uporediti

   save_freq podrazumevano iznosi 20000, tako da pokretanje od 20000 koraka ostavlja jednu kontrolnu tačku i ništa za poređenje. Postavite na 2000. Guranje na Hub zahteva --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Nastavite ako mašina prestane sa radom

   Usmjerite --config_path na train_config.json pored kontrolne tačke. lerobot odbija da se pokrene u postojećem output_dir-u osim ako ne nastavljate, tako da ne možete slučajno prepisati pokretanje.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Zastavice koje zapravo menjaju ishod

Podrazumijevane vrijednosti koje nasljeđujete ako ništa ne dirate

Konfiguracija politike u LeRobotu nosi vlastiti optimizator i unaprijed postavljeni raspored, i osim ako ne postavite use_policy_training_preset=false te unaprijed postavljene vrijednosti će prevladati. Pola pitanja koja ljudi postavljaju o obuci SmolVLA-a odgovorena su podrazumijevanom vrijednošću za koju nisu znali da postoji.

Dvije linije koje iznenađuju ljude su freeze_vision_encoder i train_expert_only, obje istinite. Izvan kutije trenirate otprilike 100 M parametara, a ne 450 M, zbog čega stane na 24 GB. LeRobot-ovo vlastito referentno pokretanje na H100 klasteru s četiri GPU-a prebacuje obje na false; na jednoj 24 GB kartici to pretvara radno pokretanje u .

Koliko dugo traje pokretanje i koliko je koraka dovoljno

LeRobot objavljuje stvarne vremenske sidra za pet epoha preko skupa podataka od otprilike 50 epizoda, oko 45000 sličica pri 30 fps. Brojke reda veličine, kažu dokumenti, ali one su razlika između očekivanja sata i dana.

Pokretanje fino podešene politike nazad na ruci

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms po koraku akcije je lako pogrešno protumačiti: politika emituje chunk_size = 50 akcija po prolazu unapred i izvršava n_action_steps = 50 od njih, tako da je učestalost plaćanja tog troška određena tim parametrima, a ne učestalošću kojom servoi dobijaju komandu. To je ono što grupisanje akcija donosi, i zašto model od 245 ms može da pokreće ruku od 30 Hz. Ono što preostaje je latencija inferencije na kraju grupe.

Taj treći red je ono što većina izveštaja preskače. Asinhrona inferencija je oko 30 posto brža i otprilike udvostručuje propusnost u fiksnom prozoru, a rad naziva stope uspešnosti uporedivim, što u proseku i jesu. Ispod toga, sortiranje je palo sa 70 na 50 posto dok je uzmi i postavi dobilo 5. lerobot 0.6.1 nosi drugu polugu u istom binarnom fajlu: --inference.type=rtc prebacuje izvođenje na grupisanje u realnom vremenu, što sopstveni blok upotrebe skripte preporučuje za spore VLA-ove, Pi0, Pi0.5 i SmolVLA.

Dva puta do iste kontrolne tačke

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kada je SmolVLA pogrešan izbor

Test da li je SmolVLA bio pravi prvi pokušaj nije u tome da li je radio, već da li vam je neuspjeh nešto rekao. Dostignite 60 ili 70 posto i veći model je razuman sljedeći trošak: podaci nose signal. Dostignite 10 posto i model od 3 B će najvjerovatnije također dostići 10 posto, što ste upravo naučili za tri dolara umjesto dvanaest.

Vrijedi pročitati prije nego što potrošite više: Pi0.5 protiv SmolVLA za veći kapacitet na istoj ideji, i GR00T N1.7 protiv SmolVLA za NVIDIA put, oba 80 GB nivoa po cijeni od 4 do 12 USD po pokretanju. Drugi način, ACT je jeftinija osnova: 80 M parametara, 20 ms po koraku akcije, bez jezičkog uslovljavanja. Svih pet se nalazi na stranici sa politikama; areni ima 85 modela i 332 rezultata benchmarka.

Kontrolna lista prije nego što bilo šta skalirate

1. Da li je lr dostigao svoj minimum od 2.5e-6? Ispod 30000 koraka lerobot ponovo skalira opadanje i to navodi pri pokretanju; iznad toga, sami postavite --policy.scheduler_decay_steps.
2. Više od jedne kontrolne tačke i epizode izdvojene sa --dataset.eval_split tako da gubitak evaluacije nešto znači.
3. Da li se politika uopšte pomera? Padajući gubitak sa nepokretnom rukom ima specifične uzroke: gubitak pada, politika ne radi ništa.
4. Da li preživljava promenu scene? Ako ne: politika radi samo u jednom podešavanju.
5. Jeste li zapisali seed? lerobot podrazumevano koristi 1000, tako da dva netaknuta pokretanja ostaju uporediva.
6. Tek tada: više epizoda, više varijacija ili veći model. Tim redosledom.

Zašto ovi modeli postoje i šta rade sa jezičkim unosom, je pozadina; vodi montažu kroz do prvog pokretanja. Za završenu kontrolnu tačku, ; ako se ruka nikada ne pojavi, .