Ako trénovať SmolVLA na 24 GB GPU (lerobot 0.6.1)

Väčšina ľudí, ktorí chcú vizuálny jazykový akčný model na skutočnom ramene, narazia na hardvérové obmedzenia. GR00T N1.7 a Pi0.5 majú okolo troch miliárd parametrov a vyžadujú A100 80 GB alebo H100. Ak vlastníte herný počítač s RTX 4090, tam sa cesta končí. SmolVLA je výnimkou: 450 M parametrov, v rámci LeRobot, navrhnutý na jemné doladenie na jednej spotrebiteľskej karte a obsluhu z CPU.

Najprv manuálna cesta: nainštalujte lerobot, stiahnite lerobot/smolvla_base checkpoint, spustite skutočný príkaz, sledujte beh, kým sa vykonáva. Potom cesta cez platformu a kde nepomáha.

Čo je SmolVLA, v číslach, ktoré si môžete overiť

SmolVLA je priraďovanie toku politika pripojená k malému vizuálnemu jazykovému modelu. Základom je SmolVLM2-500M-Video-Instruct; článok si ponecháva len prvých 16 vrstiev jeho jazykového modelu, obmedzuje každý snímok kamery na 64 vizuálnych tokenov s preusporiadaním pixelov namiesto dlaždicovania obrazu a prekladá krížovú pozornosť s vrstvou vlastnej pozornosti v každom druhom bloku. Náklady na inferenciu boli konštrukčným obmedzením, nie dodatočnou myšlienkou.

Benchmarky sú dôvodom, prečo sa ľudia zaoberajú modelom s 450 M parametrami. Na LIBERO dosahuje priemerne 87,3 percenta oproti 76,5 pre OpenVLA pri 7 B a 86,0 pre roboticky pretrénovaný Pi0 pri 3,3 B; na Meta-World 57,3 oproti 47,9. Na reálnom hardvéri SO-100, viacúlohové trénovanie dosahuje 75 percent pri vyberaní a umiestňovaní, 90 pri stohovaní, 70 pri triedení, s priemerom 78,3, kde ACT trénovaný pre každú úlohu dosiahol priemerne 48,3. Rovnaké riadky sú uvedené pri každom publikovanom VLA v zázname arény SmolVLA a v porovnaní ACT so SmolVLA.

Prečo je 24 GB karta správna pre prvý beh

LeRobot dodáva sprievodcu dimenzovaním výpočtov, čo je najužitočnejšia stránka v repozitári pre tento účel. Zoskupuje politiky podľa veľkosti chrbtice a pre každú skupinu uvádza jeden VRAM rozsah, meraný pri veľkosti dávky 8 s AdamW, čo je predvolené nastavenie lerobot. Samotný stav optimalizátora pridáva 30 až 100 percent oproti holému doprednému a spätnému prechodu, takže nejde o čísla len pre váhy.

Desať až šestnásť gigabajtov pri dávke 8 je argument: 24 GB karta to zvládne plus dataloader. AY-Robots umiestňuje SmolVLA na RTX 4090 alebo akúkoľvek 24 GB kartu, minimálne 30 epizód, LeRobot v3.0 dát, 245 ms na akčný krok. Prenajaté, to sú 2 až 5 hodín pri 0.30 až 0.60 USD za hodinu, približne 1 až 3 USD za jemné doladenie beh, oproti 4 až 12 USD na 80 GB úrovni, ktorú potrebujú GR00T a Pi0.5 (ceny). Neúspešný beh SmolVLA je káva; neúspešný beh GR00T je obed.

Krok 0: dátová sada rozhoduje o behu, nie príznaky

Nič nižšie nie je dôležité, ak je nahrávka zlá. Stránka LeRobot SmolVLA je priama: referenčná dátová sada obsahovala 50 epizód naprieč 5 pozíciami kocky, 10 na pozíciu, a rovnaká úloha s 25 epizódami dopadla zle. Opakovanie na variáciu zovšeobecňuje, surový počet epizód nie. Nikdy ste žiadnu nenahrali? Začnite na nahrajte svoju prvú dátovú sadu, s desktopovým klientom, ktorý zapisuje formát LeRobot zo teleoperačnej relácie, alebo si ju požičajte z adresára dátových sád.

• Minimálne 30 epizód na AY-Robots, približne 50 pre referenčný recept LeRobot.
• Každá variácia, ktorú očakávate pri nasadení, zopakovaná niekoľkokrát.
• Jeden reťazec úlohy, napísaný identicky v čase nahrávania a nasadenia. Model je podmienený týmto textom.
• Pevné kamery. Kamera presunutá medzi nahrávaním a nasadením je najčastejším dôvodom, prečo čistá krivka straty vedie k nehybnej ruke.
• Variácia, na ktorej ste nikdy netrénovali, aby ste mali niečo spoľahlivé na testovanie.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Viac o tom nájdete v ako zbierať vysokokvalitné tréningové dáta VLA pre manipuláciu s robotmi. Stručná verzia: 30 až 50 čistých epizód jednej úlohy s úmyselnou variáciou prekoná 200 nedbalých epizód troch, s rozdielom, ktorý žiadny hyperparameter neuzavrie.

Nainštalovať lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Základná lerobot inštalácia je tenká a skrýva náročné závislosti za doplnkami: smolvla pridáva transformery, num2words a accelerate, training zásobník dátových sád a wandb, core_scripts závislosti na hardvéri a vizualizácii. Na Linuxe inštalačná cesta tiež rozhoduje o vašom CUDA wheel: predvolená hodnota PyPI je cu130 wheel s minimálnou verziou ovládača 580.65, takže na staršom ovládači najprv nainštalujte torch z indexu cu128 a potom lerobot.

Tréningový beh, príkaz po príkaze

1. 1
   Autentifikácia voči Hubu

   Základný checkpoint pochádza z Hubu a váš dataset pravdepodobne tiež.

   bash

   hf auth login

2. 2
   Prečítajte si možnosti raz

   Každé pole konfigurácie pipeline a politiky je flag. Prebehnite si ho predtým, než sa ponoríte do zdrojového kódu.

   bash

   lerobot-train --help

3. 3
   Spustite jemné doladenie

   Príklad v dokumentácii spúšťa dávku 64 na jednom A100; vlastná kotva A100 40 GB v sprievodcovi výpočtami je dávka 16 a 8 je ekvivalent pre 24 GB. Žiadny flag pre scheduler tu nie je zámerne, pozri nižšie.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Prečítajte si riadok logu, nielen stratu

   Každých --log_freq krokov lerobot vypíše loss, grdn, lr, updt_s, data_s, smp/s a na CUDA aj mem_gb. mem_gb hovorí, či sa dávka zmestí, lr či sa plán rozpadá a data_s približujúce sa k updt_s znamená, že dataloader je úzkym hrdlom, nie GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Zbierajte checkpointy, ktoré môžete porovnať

   save_freq má predvolenú hodnotu 20000, takže beh s 20000 krokmi zanechá jeden checkpoint a nič, s čím by sa dal porovnať. Nastavte 2000. Pre pushovanie do Hubu je potrebný --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Pokračujte, ak stroj zlyhá

   Nasmerujte --config_path na train_config.json vedľa checkpointu. lerobot odmietne spustiť do existujúceho output_dir, pokiaľ nepokračujete, takže nemôžete omylom prepísať beh.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Flagy, ktoré skutočne menia výsledok

Predvolené nastavenia, ktoré zdedíte, ak sa ničoho nedotknete

Konfigurácia politiky v lerobot obsahuje vlastný predvolený optimalizátor a plánovač, a pokiaľ nenastavíte use_policy_training_preset=false tieto predvolené nastavenia prevládajú. Polovica otázok, ktoré ľudia kladú o tréningu SmolVLA, je zodpovedaná predvoleným nastavením, o ktorom nevedeli, že existuje.

Dva riadky, ktoré ľudí prekvapujú, sú freeze_vision_encoder a train_expert_only, oba pravdivé. Hneď po vybalení trénujete približne 100 M parametrov, nie 450 M, preto sa to zmestí na 24 GB. Referenčný beh LeRobotu na klastri so štyrmi GPU H100 prepne oba na false; na jednej 24 GB karte to zmení funkčný beh na .

Ako dlho trvá beh a koľko krokov je dosť

LeRobot publikuje časové kotvy pre päť epoch nad datasetom s približne 50 epizódami, čo je asi 45000 snímok pri 30 fps. Rády veľkosti, hovoria dokumenty, ale sú to rozdiely medzi očakávaním hodiny a dňa.

Spustenie jemne doladenej politiky späť na ramene

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms na akčný krok sa dá ľahko prečítať nesprávne: politika vydáva chunk_size = 50 akcií na jeden dopredný prechod a vykonáva n_action_steps = 50 z nich, takže to, ako často platíte tieto náklady, je určené týmito nastaveniami, nie tým, ako často dostávajú servá príkaz. To je to, čo rozdelenie akcií na kusy prináša, a prečo model s 245 ms dokáže riadiť 30 Hz rameno. Čo zostáva, je latencia inferencie na konci kusu.

Tretí riadok je to, čo väčšina článkov vynecháva. Asynchrónna inferencia je približne o 30 percent rýchlejšia a zhruba zdvojnásobuje priepustnosť v pevnom časovom okne, a článok označuje miery úspešnosti za porovnateľné, čo v priemere aj sú. Pod tým, triedenie kleslo zo 70 na 50 percent, zatiaľ čo uchopenie a umiestnenie získalo 5. lerobot 0.6.1 obsahuje druhú páku v rovnakom binárnom súbore: --inference.type=rtc prepína vykonávanie na chunking v reálnom čase, čo vlastný blok použitia skriptu odporúča pre pomalé VLA, Pi0, Pi0.5 a SmolVLA.

Dve cesty k rovnakému kontrolnému bodu

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Keď je SmolVLA nesprávna voľba

Test, či bol SmolVLA správny prvý beh, nie je v tom, či fungoval, ale v tom, či vám zlyhanie niečo povedalo. Dosiahnite 60 alebo 70 percent a väčší model je rozumná ďalšia investícia: dáta nesú signál. Dosiahnite 10 percent a 3 B model s najväčšou pravdepodobnosťou tiež dosiahne 10 percent, čo ste sa práve naučili za tri doláre namiesto dvanástich.

Oplatí sa prečítať pred ďalšími výdavkami: Pi0.5 against SmolVLA pre väčšiu kapacitu na rovnakej myšlienke, a GR00T N1.7 against SmolVLA pre cestu NVIDIA, obe v 80 GB úrovni za 4 to 12 USD za beh. Iným spôsobom, ACT je lacnejšia základná línia: 80 M parameters, 20 ms per action step, no language conditioning. Všetkých päť nájdete na stránke politík; aréne má 85 models a 332 benchmark results.

Kontrolný zoznam pred škálovaním čohokoľvek

1. Dosiahol lr svoju spodnú hranicu 2.5e-6? Pod 30000 krokov lerobot preškáluje útlm a oznámi to pri štarte; nad touto hranicou si nastavte --policy.scheduler_decay_steps sami.
2. Viac ako jeden kontrolný bod a epizódy vyčlenené pomocou --dataset.eval_split, aby eval loss niečo znamenala.
3. Pohybuje sa vôbec politika? Klesajúca strata s nehybným ramenom má špecifické príčiny: strata klesá, politika nič nerobí.
4. Prežije zmenu scény? Ak nie: politika funguje len v jednom nastavení.
5. Zapísali ste si seed? lerobot predvolene používa 1000, takže dva nedotknuté behy zostanú porovnateľné.
6. Až potom: viac epizód, viac variácií alebo väčší model. V tomto poradí.

Prečo tieto modely existujú a čo robia s jazykovým vstupom, je pozadie; prevádza montáž cez k prvému behu. Pre dokončený kontrolný bod, ; ak sa rameno nikdy neobjaví, .