Hogyan képezzük a SmolVLA-t egy 24 GB-os GPU-n (lerobot 0.6.1)

A legtöbb ember, aki látás-nyelv-akció modellt szeretne egy valódi karon, a hardveres korlátoknál megáll. GR00T N1.7 és Pi0.5 körülbelül hárommilliárd paramétert tartalmaznak, és A100 80 GB-os vagy H100-as kártyát igényelnek. Ha egy RTX 4090-es gamer PC-d van, akkor ez az út vége. SmolVLA a kivétel: 450 millió paraméter, a LeRobot keretében, úgy építve, hogy egyetlen fogyasztói kártyán finomhangolható és CPU-ról kiszolgálható legyen.

Először a manuális útvonal: telepítsd a lerobotot, húzd le a lerobot/smolvla_base ellenőrzőpontot, futtasd a valódi parancsot, olvasd a futtatást, amíg tart. Aztán a platform útvonal, és ahol az nem segít.

Mi az a SmolVLA, ellenőrizhető számokban

A SmolVLA egy áramlásillesztés alapú irányelv, amely egy kis látás-nyelvi modellre épül. A gerincmodell a SmolVLM2-500M-Video-Instruct; a tanulmány csak a nyelvi modelljének első 16 rétegét tartja meg, minden kamera képkockát 64 vizuális tokenre korlátoz pixelkeveréssel képkocka csempézés helyett, és minden második blokkban kereszt-figyelmet önfigyelmi réteggel váltogat. A következtetési költség tervezési korlát volt, nem utólagos gondolat.

A benchmarkok miatt foglalkoznak az emberek egy 450 M-es modellel. A LIBERO-n átlagosan 87.3 százalékot ér el, szemben az OpenVLA 7 B-s 76.5-ével és egy robotikára előtanított Pi0 3.3 B-s 86.0-jával; a Meta-World-ön 57.3-at 47.9 ellenében. Valódi SO-100 hardveren a többfeladatos tanítás 75 százalékot ad a felvétel és elhelyezés, 90-et a rakásolás, 70-et a válogatás terén, átlagosan 78.3-at, ahol ACT feladatonként tanítva átlagosan 48.3-at ért el. Ugyanezek a sorok minden publikált VLA mellett megtalálhatók a SmolVLA aréna bejegyzésben és az ACT és SmolVLA összehasonlításban.

Miért a 24 GB-os kártya a megfelelő első futtatáshoz

A LeRobot mellékel egy számítási méretezési útmutatót, ami a repó leghasznosabb oldala ehhez. A házirendeket a gerinchálózat mérete szerint csoportosítja, és minden csoporthoz egy VRAM-borítékot ad, amelyet 8-as kötegmérettel, AdamW-vel, a lerobot alapértelmezett beállításával mértek. Az optimalizáló állapota önmagában 30-100 százalékot ad hozzá egy puszta előre- és hátrafelé haladó lépéshez képest, így ezek nem csak súlyokra vonatkozó adatok.

Tíz-tizenhat gigabájt 8-as kötegmérettel – ez az érv: egy 24 GB-os kártya ehhez, plusz az adatbetöltőhöz is elegendő. Az AY-Robots a SmolVLA-t az RTX 4090-re vagy bármely 24 GB-os kártyára helyezi, minimum 30 epizód, LeRobot v3.0 adat, 245 ms akció lépésenként. Bérelve ez 2-5 óra, óránként 0.30-0.60 USD-ért, körülbelül 1-3 USD egy finomhangolási futtatás, szemben a 4-12 USD-vel a 80 GB-os szinten, amit a GR00T és a Pi0.5 igényel (árazás). Egy sikertelen SmolVLA futtatás egy kávé; egy sikertelen GR00T futtatás egy ebéd.

0. lépés: az adatkészlet dönti el a futást, nem a flag-ek

Semmi sem számít az alábbiakból, ha a felvétel rossz. A LeRobot SmolVLA oldala nyersen fogalmaz: a referencia adatkészlet 50 epizód volt 5 kockapozícióban, 10 pozíciónként, és ugyanaz a feladat 25 epizóddal rosszul teljesített. A variációnkénti ismétlés általánosít, a nyers epizódszám nem. Soha nem rögzített még ilyet? Kezdje a első adatkészlet rögzítésével a asztali klienssel, amely LeRobot formátumot ír ki egy teleoperációs munkamenetből, vagy kölcsönözzön egyet az adatkészlet-könyvtárból.

• Legalább 30 epizód AY-Robots-on, körülbelül 50 a LeRobot referencia recepthez.
• Minden variáció, amit a bevezetéskor elvár, többször megismételve.
• Egy feladatkarakterlánc, amelyet azonos módon írtak le a rögzítés és a bevezetés idején. A modell erre a szövegre van kondicionálva.
• Rögzített kamerák. A rögzítés és a bevezetés között elmozdított kamera a leggyakoribb oka annak, hogy egy tiszta veszteséggörbe mozdulatlan kart eredményez.
• Egy félretett variáció, amire soha nem képzett, így van valami őszinte, amivel tesztelhet.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

További információ erről itt: hogyan gyűjtsünk kiváló minőségű VLA képzési adatokat robotmanipulációhoz. A rövid változat: 30-50 tiszta epizód egy feladatról, szándékos variációval, felülmúlja a három feladat 200 hanyag epizódját, olyan különbséggel, amit egyetlen hiperparaméter sem tud áthidalni.

A lerobot 0.6.1 telepítése

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Az alap lerobot telepítés vékony, és az extra csomagok mögé rejti a nagy függőségeket: smolvla hozzáadja a transzformereket, a num2words-t és az accelerate-et, training az adathalmaz-vermet és a wandb-t, core_scripts a hardver- és vizualizációs függőségeket. Linuxon a telepítési útvonal dönti el a CUDA wheel-t is: a PyPI alapértelmezettje egy cu130 wheel, 580.65-ös illesztőprogram-minimummal, így régebbi illesztőprogram esetén először a torch-ot telepítse a cu128 indexről, majd a lerobot-ot.

A betanítási futtatás, parancsról parancsra

1. 1
   Hitelesítés a Hubbal szemben

   Az alap ellenőrzőpont a Hubból származik, és valószínűleg az adatkészleted is.

   bash

   hf auth login

2. 2
   Olvasd át az opciókat egyszer

   A pipeline és a policy konfiguráció minden mezője egy flag. Olvasd át gyorsan, mielőtt beleásnád magad a forráskódba.

   bash

   lerobot-train --help

3. 3
   Indítsd el a finomhangolást

   A dokumentáció példája 64-es batch mérettel fut egyetlen A100-on; a számítási útmutató saját A100 40 GB-os horgonya 16-os batch méret, és a 8 a 24 GB-os megfelelője. Itt szándékosan nincs scheduler flag, lásd alább.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Olvasd a log sort, ne csak a veszteséget

   Minden --log_freq lépésenként a lerobot kiírja a loss, grdn, lr, updt_s, data_s, smp/s értékeket, és CUDA esetén a mem_gb-t. A mem_gb megmondja, hogy a batch elfér-e, az lr, hogy a schedule csökken-e, és a data_s közeledése az updt_s-hez azt jelenti, hogy az adatbetöltő a szűk keresztmetszet, nem a GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Gyűjts össze összehasonlítható ellenőrzőpontokat

   A save_freq alapértelmezett értéke 20000, így egy 20000 lépéses futtatás egyetlen ellenőrzőpontot hagy, és semmit, amivel összehasonlíthatnánk. Állítsd 2000-re. A Hubra való feltöltéshez szükség van a --policy.repo_id-ra.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Folytatás, ha a gép leáll

   Mutass a --config_path-tal a train_config.json fájlra az ellenőrzőpont mellett. A lerobot nem hajlandó elindulni egy már létező output_dir-be, hacsak nem folytatod a futtatást, így véletlenül sem írhatsz felül egy futtatást.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Azok a flag-ek, amelyek ténylegesen megváltoztatják az eredményt

Az alapértelmezések, amiket örököl, ha semmihez sem nyúl

A konfiguráció a lerobotban saját optimalizáló és ütemező előbeállítást tartalmaz, és hacsak nem állítja be a use_policy_training_preset=false értéket, ezek az előbeállítások érvényesülnek. A SmolVLA tréninggel kapcsolatos kérdések felére egy olyan alapértelmezés ad választ, amiről nem is tudtak.

A két sor, ami meglepi az embereket, a freeze_vision_encoder és train_expert_only, mindkettő igaz. Alapértelmezetten körülbelül 100 M paramétert tanít, nem 450 M-et, ezért fér el 24 GB-on. A LeRobot saját referencia futtatása egy négy-GPU-s H100 klaszteren mindkettőt hamisra állítja; egy 24 GB-os kártyán ez egy működő futtatásból memórián kívüli összeomlást.

Mennyi ideig tart a futtatás, és hány lépés elegendő

A LeRobot öt epoch-ra vonatkozó valós idejű horgonyokat tesz közzé egy körülbelül 50 epizódos adathalmaz felett, ami körülbelül 45000 képkockát jelent 30 fps sebességgel. Nagyságrendi adatok, mondják a dokumentumok, de ezek jelentik a különbséget egy óra és egy nap elvárása között.

A finomhangolt szabályzat futtatása a karon

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

A 245 ms-os műveleti lépésenkénti idő könnyen félreérthető: a házirend chunk_size = 50 műveletet bocsát ki előremenő lépésenként, és végrehajt n_action_steps = 50 közülük, így az, hogy milyen gyakran fizeti ezt a költséget, ezek a beállítások határozzák meg, nem pedig az, hogy milyen gyakran kapnak parancsot a szervók. Ez az, amit az vásárol, és amiért egy 245 ms-os modell képes meghajtani egy 30 Hz-es kart. Ami marad, az az a darab végén.

A harmadik sor az, amit a legtöbb írás kihagy. Az aszinkron következtetés körülbelül 30 százalékkal gyorsabb, és nagyjából megduplázza az átviteli sebességet egy rögzített időablakban, és a tanulmány összehasonlíthatónak nevezi a sikerességi arányokat, ami átlagosan igaz is. Ez alatt a rendezés 70-ről 50 százalékra esett, míg a felvétel és elhelyezés 5-öt javult. A lerobot 0.6.1 a másik kart ugyanabban a binárisban hordozza: --inference.type=rtc átkapcsolja a kigördítést valós idejű darabolásra, amit a szkript saját használati blokkja ajánl a lassú VLA-khoz, Pi0-hoz, Pi0.5-höz és SmolVLA-hoz.

Két út ugyanahhoz a mentési ponthoz

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Amikor a SmolVLA a rossz választás

Az, hogy a SmolVLA volt-e a megfelelő első futtatás, nem azon múlik, hogy működött-e, hanem azon, hogy a hiba mondott-e valamit. Érjen el 60 vagy 70 százalékot, és egy nagyobb modell ésszerű következő befektetés: az adatok jelet hordoznak. Érjen el 10 százalékot, és egy 3 B modell valószínűleg szintén 10 százalékot ér el, amit most tanult meg három dollárért tizenkettő helyett.

Érdemes elolvasni, mielőtt többet költene: Pi0.5 a SmolVLA ellen a nagyobb kapacitásért ugyanazon az ötleten alapulva, és GR00T N1.7 a SmolVLA ellen az NVIDIA útvonalhoz, mindkettő 80 GB-os szinten, 4-12 USD futtatásonként. A másik irány, ACT az olcsóbb alapvonal: 80 M paraméter, 20 ms akció lépésenként, nyelvi kondicionálás nélkül. Mind az öt megtalálható a házirendek oldalán; arénában 85 modellt és 332 benchmark eredményt tartalmaz.

Ellenőrzőlista, mielőtt bármit is skálázna

1. Elérte az lr a 2.5e-6-os alsó határát? 30000 lépés alatt a lerobot átméretezi a csökkenést, és ezt jelzi indításkor; e fölött állítsa be a --policy.scheduler_decay_steps paramétert saját maga.
2. Több ellenőrzőpont, és epizódok elkülönítve a --dataset.eval_split paraméterrel, hogy az értékelési veszteségnek legyen értelme.
3. Mozog egyáltalán a policy? A csökkenő veszteség mozdulatlan karral specifikus okokra vezethető vissza: a veszteség csökken, a policy nem csinál semmit.
4. Túléli a környezetváltozást? Ha nem: a policy csak egy beállításban működik.
5. Leírta a seed-et? A lerobot alapértelmezés szerint 1000-et használ, így két érintetlen futtatás összehasonlítható marad.
6. Csak ezután: több epizód, több variáció, vagy nagyobb modell. Ebben a sorrendben.

Arról, hogy miért léteznek ezek a modellek és mit csinálnak a nyelvi bemenettel, adják a hátteret; végigvezet az összeszerelésen a keresztül az első futtatásig. A kész ellenőrzőponthoz ; ha a kar soha nem jelenik meg, .