Kako trenirati SmolVLA na 24 GB GPU-u (lerobot 0.6.1)

Većina ljudi koji žele model vizualnog jezika i akcije na stvarnoj ruci zaustavljaju se na hardverskoj liniji. GR00T N1.7 i Pi0.5 imaju oko tri milijarde parametara svaki i zahtijevaju A100 80 GB ili H100. Ako posjedujete gaming PC s RTX 4090, to je kraj puta. SmolVLA je iznimka: 450 M parametara, unutar LeRobota, izgrađen da se fino podešava na jednoj potrošačkoj kartici i poslužuje s CPU-a.

Prvo ručni put: instalirajte lerobot, povucite lerobot/smolvla_base kontrolnu točku, pokrenite stvarnu naredbu, čitajte izvođenje dok se događa. Zatim put platforme i gdje to ne pomaže.

Što je SmolVLA, u brojkama koje možete provjeriti

SmolVLA je usklađivanje toka politika pričvršćena na mali vizualni jezični model. Okosnica je SmolVLM2-500M-Video-Instruct; rad zadržava samo prvih 16 slojeva njegovog jezičnog modela, ograničava svaki kadar kamere na 64 vizualna tokena s miješanjem piksela umjesto popločavanja slike, te izmjenjuje unakrsnu pažnju sa slojem samopažnje svakog drugog bloka. Trošak inferencije bio je ograničenje dizajna, a ne naknadna misao.

Mjerila su razlog zašto se ljudi zamaraju s modelom od 450 M. Na LIBERO-u prosječno postiže 87.3 posto naspram 76.5 za OpenVLA od 7 B i 86.0 za Pi0 pretreniran za robotiku od 3.3 B; na Meta-Worldu, 57.3 naspram 47.9. Na stvarnom SO-100 hardveru, višenamjensko treniranje daje 75 posto na 'pick and place', 90 na slaganju, 70 na sortiranju, s prosjekom od 78.3, dok ACT treniran po zadatku prosječno postiže 48.3. Isti redovi nalaze se pored svakog objavljenog VLA-a u SmolVLA unosu u arenu i usporedbi ACT-a sa SmolVLA-om.

Zašto je kartica od 24 GB pravi izbor za prvi pokretanje

LeRobot isporučuje vodič za dimenzioniranje računalnih resursa, najkorisniju stranicu u repozitoriju za ovu svrhu. Grupe politika su prema veličini okosnice i daju jednu VRAM omotnicu po grupi, mjereno s veličinom paketa 8 i AdamW-om, što je zadana postavka LeRobota. Samo stanje optimizatora dodaje 30 do 100 posto iznad samog prolaza naprijed i natrag, tako da ovo nisu samo brojke težina.

Argument je deset do šesnaest gigabajta pri paketu 8: kartica od 24 GB to podržava, plus učitavač podataka. AY-Robots postavlja SmolVLA na RTX 4090 ili bilo koju karticu od 24 GB, s minimalno 30 epizoda, LeRobot v3.0 podataka, 245 ms po koraku akcije. Iznajmljeno, to je 2 do 5 sati po cijeni od 0.30 do 0.60 USD po satu, oko 1 do 3 USD po fine-tuning pokretanju, naspram 4 do 12 USD na razini od 80 GB koju trebaju GR00T i Pi0.5 (cijene). Neuspješno pokretanje SmolVLA-e je kava; neuspješno pokretanje GR00T-a, ručak.

Korak 0: skup podataka odlučuje o izvođenju, a ne zastavice

Ništa ispod nije važno ako je snimka loša. Stranica LeRobot SmolVLA je izravna: referentni skup podataka sastojao se od 50 epizoda raspoređenih na 5 pozicija kocke, 10 po poziciji, a isti zadatak s 25 epizoda izveden je loše. Ponavljanje po varijaciji generalizira, sirovi broj epizoda ne. Nikada niste snimili jednu? Počnite na snimite svoj prvi skup podataka, s desktop klijentom, koji piše LeRobot format iz teleoperacije sesije, ili posudite jedan iz direktorija skupova podataka.

• Najmanje 30 epizoda na AY-Robots, oko 50 za referentni recept LeRobot.
• Svaka varijacija koju očekujete pri implementaciji, ponovljena nekoliko puta.
• Jedan niz zadataka, identično napisan u vrijeme snimanja i implementacije. Model je uvjetovan tim tekstom.
• Fiksne kamere. Kamera pomaknuta između snimanja i implementacije najčešći je razlog zašto čista krivulja gubitka rezultira nepomičnom rukom.
• Zadržana varijacija na kojoj nikada niste trenirali, tako da imate nešto iskreno za testiranje.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Više o ovome u kako prikupiti visokokvalitetne podatke za obuku VLA za manipulaciju robotom. Ukratko: 30 do 50 čistih epizoda jednog zadatka s namjernom varijacijom nadmašuje 200 neurednih epizoda tri zadatka, s razlikom koju nijedan hiperparametar ne može zatvoriti.

Instaliraj lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Osnovna lerobot instalacija je minimalistička i teške ovisnosti skriva iza dodataka: smolvla dodaje transformere, num2words i accelerate, training skup podataka i wandb, core_scripts hardverske i vizualizacijske ovisnosti. Na Linuxu putanja instalacije također određuje vaš CUDA wheel: zadana PyPI vrijednost je cu130 wheel s minimalnom verzijom drivera 580.65, pa na starijem driveru prvo instalirajte torch s cu128 indeksa, a zatim lerobot.

Pokretanje treninga, naredba po naredbu

1. 1
   Autentifikacija na Hub

   Osnovna kontrolna točka dolazi s Huba, a vjerojatno i vaš skup podataka.

   bash

   hf auth login

2. 2
   Pročitajte opcije jednom

   Svako polje konfiguracije cjevovoda i politike je zastavica. Prelistajte je prije nego što zaronite u izvorni kod.

   bash

   lerobot-train --help

3. 3
   Pokrenite fino podešavanje

   Primjer iz dokumentacije pokreće batch 64 na jednom A100; vlastito sidro A100 40 GB u vodiču za izračun je batch 16, a 8 je ekvivalent za 24 GB. Ovdje namjerno nema zastavice za scheduler, pogledajte dolje.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Pročitajte redak dnevnika, ne samo gubitak

   Svakih --log_freq koraka lerobot ispisuje loss, grdn, lr, updt_s, data_s, smp/s i, na CUDA-i, mem_gb. mem_gb govori je li batch stao, lr govori propada li raspored, a data_s koji se približava updt_s znači da je dataloader usko grlo, a ne GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Prikupite kontrolne točke koje možete usporediti

   save_freq zadano je 20000, tako da pokretanje od 20000 koraka ostavlja jednu kontrolnu točku i ništa za usporedbu. Postavite 2000. Guranje na Hub zahtijeva --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Nastavite ako se stroj ugasi

   Usmjerite --config_path na train_config.json pored kontrolne točke. lerobot odbija pokrenuti se u postojeći output_dir osim ako ne nastavljate, tako da ne možete slučajno prebrisati pokretanje.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Zastavice koje zapravo mijenjaju ishod

Zadane postavke koje nasljeđujete ako ništa ne dirate

Konfiguracija politike u lerobotu nosi vlastiti optimizator i unaprijed postavljeni raspoređivač, i osim ako ne postavite use_policy_training_preset=false te unaprijed postavljene postavke pobjeđuju. Polovica pitanja koja ljudi postavljaju o SmolVLA treningu odgovorena je zadanom postavkom za koju nisu znali da postoji.

Dvije linije koje iznenađuju ljude su freeze_vision_encoder i train_expert_only, obje istinite. Izvan kutije trenirate otprilike 100 M parametara, a ne 450 M, zbog čega stane na 24 GB. LeRobotovo vlastito referentno pokretanje na H100 klasteru s četiri GPU-a prebacuje obje na false; na jednoj 24 GB kartici to pretvara radno pokretanje u .

Koliko dugo traje pokretanje i koliko je koraka dovoljno

LeRobot objavljuje referentne točke stvarnog vremena za pet epoha preko skupa podataka od otprilike 50 epizoda, oko 45000 sličica pri 30 fps. Brojke reda veličine, kažu dokumenti, ali one čine razliku između očekivanja sata i dana.

Pokretanje fino podešene politike natrag na ruci

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms po koraku akcije lako je pogrešno protumačiti: politika emitira chunk_size = 50 akcija po prolazu naprijed i izvršava n_action_steps = 50 od njih, tako da je učestalost plaćanja tog troška određena tim postavkama, a ne učestalošću primanja naredbi od strane serva. To je ono što grupiranje akcija donosi, i zašto model od 245 ms može pokretati ruku od 30 Hz. Ono što preostaje je latencija inferencije na kraju bloka.

Taj treći redak je ono što većina izvještaja preskače. Asinkrona inferencija je oko 30 posto brža i otprilike udvostručuje propusnost u fiksnom prozoru, a rad naziva stope uspješnosti usporedivima, što u prosjeku i jesu. Ispod toga, sortiranje je palo sa 70 na 50 posto dok je uzimanje i postavljanje dobilo 5. lerobot 0.6.1 nosi drugu polugu u istom binarnom kodu: --inference.type=rtc prebacuje izvođenje na grupiranje u stvarnom vremenu, što vlastiti blok upotrebe skripte preporučuje za spore VLA-ove, Pi0, Pi0.5 i SmolVLA.

Dva puta do iste kontrolne točke

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kada je SmolVLA pogrešan izbor

Test je li SmolVLA bio pravi prvi pokušaj nije u tome je li uspio, već u tome je li vam neuspjeh nešto rekao. Dosegnite 60 ili 70 posto i veći model je razuman sljedeći trošak: podaci nose signal. Dosegnite 10 posto i model od 3 B će najvjerojatnije također dosegnuti 10 posto, što ste upravo naučili za tri dolara umjesto dvanaest.

Vrijedi pročitati prije nego što potrošite više: Pi0.5 protiv SmolVLA za veći kapacitet na istoj ideji, i GR00T N1.7 protiv SmolVLA za NVIDIA put, oba 80 GB razina po 4 do 12 USD po pokretanju. Drugi način, ACT je jeftinija početna točka: 80 M parametara, 20 ms po koraku akcije, bez jezičnog uvjetovanja. Svih pet se nalazi na stranici s politikama; areni ima 85 modela i 332 rezultata benchmarka.

Kontrolna lista prije nego što išta skalirate

1. Je li lr dosegao svoju donju granicu od 2.5e-6? Ispod 30000 koraka lerobot ponovno skalira opadanje i to navodi pri pokretanju; iznad toga, sami postavite --policy.scheduler_decay_steps.
2. Više od jedne kontrolne točke i epizode izdvojene s --dataset.eval_split tako da gubitak evaluacije nešto znači.
3. Pomiče li se politika uopće? Padajući gubitak s nepomičnom rukom ima specifične uzroke: gubitak pada, politika ne radi ništa.
4. Preživljava li promjenu scene? Ako ne: politika radi samo u jednom postavu.
5. Jeste li zapisali seed? lerobot po zadanim postavkama koristi 1000, tako da dva netaknuta pokretanja ostaju usporediva.
6. Tek tada: više epizoda, više varijacija ili veći model. Tim redoslijedom.

Zašto ovi modeli postoje i što rade s jezičnim unosom, je pozadina; provodi montažu kroz do prvog pokretanja. Za završenu kontrolnu točku, ; ako se ruka nikada ne pojavi, .