Jak trénovat SmolVLA na 24 GB GPU (lerobot 0.6.1)

Většina lidí, kteří chtějí vizuálně-jazykový akční model na skutečném rameni, se zastaví u hardwarových požadavků. GR00T N1.7 a Pi0.5 mají kolem tří miliard parametrů a vyžadují A100 80 GB nebo H100. Pokud vlastníte herní PC s RTX 4090, je to konečná. SmolVLA je výjimkou: 450 milionů parametrů, uvnitř LeRobotu, navržený pro jemné doladění na jedné spotřebitelské kartě a obsluhu z CPU.

Nejprve manuální cesta: nainstalujte lerobot, stáhněte checkpoint lerobot/smolvla_base , spusťte skutečný příkaz, sledujte průběh. Poté cesta přes platformu a kde nepomůže.

Co je SmolVLA, v číslech, která si můžete ověřit

SmolVLA je párování toku politika připojená k malému vizuálnímu jazykovému modelu. Páteří je SmolVLM2-500M-Video-Instruct; článek zachovává pouze prvních 16 vrstev jeho jazykového modelu, omezuje každý snímek kamery na 64 vizuálních tokenů s pixel shuffle namísto dlaždicování obrazu a prokládá křížovou pozornost s vrstvou vlastní pozornosti v každém druhém bloku. Náklady na inferenci byly konstrukčním omezením, nikoli dodatečnou myšlenkou.

Benchmarky jsou důvodem, proč se lidé zabývají modelem o velikosti 450 M. Na LIBERO dosahuje v průměru 87.3 procenta oproti 76.5 pro OpenVLA o velikosti 7 B a 86.0 pro roboticky předtrénovaný Pi0 o velikosti 3.3 B; na Meta-World 57.3 oproti 47.9. Na skutečném hardwaru SO-100 poskytuje vícesložkové trénování 75 procent na úkolech pick and place, 90 na skládání, 70 na třídění, s průměrem 78.3, kde ACT trénovaný na úkol dosáhl v průměru 48.3. Stejné řádky se nacházejí vedle každého publikovaného VLA v záznamu arény SmolVLA a v porovnání ACT se SmolVLA.

Proč je 24GB karta správnou volbou pro první spuštění

LeRobot dodává průvodce dimenzováním výpočetního výkonu, což je pro tento účel nejužitečnější stránka v repozitáři. Seskupuje politiky podle velikosti páteřní sítě a pro každou skupinu uvádí jeden VRAM limit, měřený při velikosti dávky 8 s AdamW, což je výchozí nastavení LeRobotu. Samotný stav optimalizátoru přidává 30 až 100 procent oproti holému průchodu vpřed a vzad, takže se nejedná o údaje týkající se pouze vah.

Deset až šestnáct gigabajtů při dávce 8 je argument: 24GB karta se vejde i s datovým loaderem. AY-Robots umisťuje SmolVLA na RTX 4090 nebo jakoukoli 24GB kartu, minimálně 30 epizod, LeRobot v3.0 dat, 245 ms na akční krok. Pronajaté, to je 2 až 5 hodin za 0.30 až 0.60 USD za hodinu, přibližně 1 až 3 USD za jemné doladění spuštění, oproti 4 až 12 USD na 80GB úrovni, kterou potřebují GR00T a Pi0.5 (ceny). Neúspěšné spuštění SmolVLA je káva; neúspěšné spuštění GR00T je oběd.

Krok 0: datová sada rozhoduje o běhu, nikoli příznaky

Nic níže uvedeného není důležité, pokud je nahrávka špatná. Stránka LeRobot SmolVLA je přímočará: referenční datová sada obsahovala 50 epizod napříč 5 pozicemi kostky, 10 na pozici, a stejný úkol s 25 epizodami dopadl špatně. Opakování na variaci zobecňuje, syrový počet epizod nikoli. Nikdy jste žádnou nenahráli? Začněte na nahrajte svou první datovou sadu, s desktopovým klientem, který zapisuje formát LeRobot z teleoperace relace, nebo si ji vypůjčte z adresáře datových sad.

• Nejméně 30 epizod na AY-Robots, asi 50 pro referenční recept LeRobot.
• Každá variace, kterou očekáváte při nasazení, opakovaná několikrát.
• Jeden řetězec úkolu, napsaný identicky v době záznamu a nasazení. Model je podmíněn tímto textem.
• Pevné kamery. Kamera posunutá mezi záznamem a nasazením je nejčastějším důvodem, proč čistá křivka ztráty vede k nehybné paži.
• Variace, na které jste nikdy netrénovali, abyste měli něco objektivního k testování.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Více o tom v jak sbírat vysoce kvalitní tréninková data VLA. Stručně řečeno: 30 až 50 čistých epizod jednoho úkolu s úmyslnou variací překoná 200 nedbalých epizod tří, a to s náskokem, který žádný hyperparametr nezavře.

Nainstalujte lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Základní lerobot instalace je minimalistická a skrývá náročné závislosti za doplňky (extras): smolvla přidává transformers, num2words a accelerate, training zásobník datových sad a wandb, core_scripts závislosti na hardware a vizualizaci. Na Linuxu instalační cesta také určuje váš CUDA wheel: výchozí nastavení PyPI je cu130 wheel s minimální verzí ovladače 580.65, takže na starším ovladači nejprve nainstalujte torch z indexu cu128 a poté lerobot.

Tréninkový běh, příkaz po příkazu

1. 1
   Autentizace proti Hubu

   Základní kontrolní bod pochází z Hubu a váš dataset pravděpodobně také.

   bash

   hf auth login

2. 2
   Přečtěte si možnosti jednou

   Každé pole konfigurace pipeline a politiky je flag. Projděte si ho, než se ponoříte do zdrojového kódu.

   bash

   lerobot-train --help

3. 3
   Spusťte jemné doladění

   Příklad v dokumentaci spouští dávku 64 na jedné A100; vlastní A100 40 GB kotva v průvodci výpočty je dávka 16 a 8 je ekvivalent pro 24 GB. Žádný flag pro scheduler zde není záměrně, viz níže.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Přečtěte si řádek logu, nejen ztrátu

   Každých --log_freq kroků lerobot vypíše loss, grdn, lr, updt_s, data_s, smp/s a na CUDA také mem_gb. mem_gb udává, zda se dávka vejde, lr zda se plán rozpadá, a data_s blížící se updt_s znamená, že dataloader je úzké hrdlo, nikoli GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Sbírejte kontrolní body, které můžete porovnat

   save_freq má výchozí hodnotu 20000, takže běh s 20000 kroky zanechá jeden kontrolní bod a nic, s čím by se dal porovnat. Nastavte 2000. Pro nahrání na Hub je potřeba --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Pokračujte, pokud stroj selže

   Nasměrujte --config_path na train_config.json vedle kontrolního bodu. lerobot odmítne spustit do existujícího output_dir, pokud nepokračujete, takže nemůžete omylem přepsat běh.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Flagy, které skutečně mění výsledek

Výchozí nastavení, která zdědíte, pokud nic nezměníte

Konfigurace politiky v lerobotu obsahuje vlastní předvolbu optimalizátoru a plánovače, a pokud nenastavíte use_policy_training_preset=false tyto předvolby zvítězí. Polovina otázek, které lidé kladou ohledně trénování SmolVLA, je zodpovězena výchozím nastavením, o kterém nevěděli, že existuje.

Dva řádky, které lidi překvapují, jsou freeze_vision_encoder a train_expert_only, oba pravdivé. Ihned po spuštění trénujete zhruba 100 M parametrů, nikoli 450 M, což je důvod, proč se vejde na 24 GB. Vlastní referenční běh LeRobotu na clusteru se čtyřmi GPU H100 oba přepne na false; na jedné 24 GB kartě se tak funkční běh změní v .

Jak dlouho běh trvá a kolik kroků je dost

LeRobot publikuje časové kotvy pro pět epoch přes datovou sadu zhruba 50 epizod, asi 45000 snímků při 30 fps. Řádové hodnoty, uvádí dokumentace, ale představují rozdíl mezi očekáváním hodiny a dne.

Spuštění jemně doladěné politiky zpět na rameni

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms na krok akce lze snadno špatně interpretovat: politika vydává chunk_size = 50 akcí na jeden průchod vpřed a provádí n_action_steps = 50 z nich, takže frekvence, s jakou platíte tyto náklady, je dána těmito parametry, nikoli frekvencí, s jakou serva dostávají příkaz. To je to, co dělení akcí na bloky přináší, a proč model s 245 ms dokáže řídit rameno s frekvencí 30 Hz. Zbývá latence inference na konci bloku.

Třetí řádek je to, co většina článků vynechává. Asynchronní inference je asi o 30 procent rychlejší a zhruba zdvojnásobuje propustnost v pevném časovém okně, a článek označuje míry úspěšnosti za srovnatelné, což v průměru jsou. Pod tím se třídění propadlo ze 70 na 50 procent, zatímco uchopení a umístění získalo 5. lerobot 0.6.1 nese další páku ve stejném binárním souboru: --inference.type=rtc přepíná spuštění na chunking v reálném čase, což vlastní blok použití skriptu doporučuje pro pomalé VLA, Pi0, Pi0.5 a SmolVLA.

Dvě cesty ke stejnému kontrolnímu bodu

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kdy je SmolVLA špatná volba

Test, zda byl SmolVLA správným prvním spuštěním, není v tom, zda fungoval, ale zda vám selhání něco řeklo. Dosáhnete-li 60 nebo 70 procent, je větší model rozumnou další investicí: data nesou signál. Dosáhnete-li 10 procent, model s 3 B parametry s největší pravděpodobností také dosáhne 10 procent, což jste se právě naučili za tři dolary namísto dvanácti.

Před dalšími výdaji stojí za přečtení: Pi0.5 proti SmolVLA pro větší kapacitu na stejném principu, a GR00T N1.7 proti SmolVLA pro cestu NVIDIA, obě v úrovni 80 GB za 4 až 12 USD za spuštění. Jinak, ACT je levnější základ: 80 M parametrů, 20 ms na akční krok, bez jazykové podmíněnosti. Všech pět je k dispozici na stránce s politikami; aréně má 85 modelů a 332 výsledků benchmarků.

Kontrolní seznam předtím, než cokoli škálujete

1. Dosáhla lr svého minima 2.5e-6? Pod 30000 kroků lerobot přeskaluje útlum a oznámí to při spuštění; nad tuto hodnotu nastavte --policy.scheduler_decay_steps sami.
2. Více než jeden kontrolní bod a epizody vyčleněné pomocí --dataset.eval_split, aby ztráta vyhodnocení něco znamenala.
3. Pohybuje se politika vůbec? Klesající ztráta s nehybnou paží má specifické příčiny: ztráta klesá, politika nic nedělá.
4. Přežije změnu scény? Pokud ne: politika funguje pouze v jednom nastavení.
5. Zapsali jste si seed? lerobot standardně používá 1000, takže dva nedotčené běhy zůstanou srovnatelné.
6. Teprve potom: více epizod, více variací nebo větší model. V tomto pořadí.

Proč tyto modely existují a co dělají s jazykovým vstupem, je pozadí; provádí montáž přes k prvnímu běhu. Pro dokončený kontrolní bod, ; pokud se rameno nikdy neobjeví, .