Kuidas treenida SmolVLA-d 24 GB GPU-l (lerobot 0.6.1)

Enamik inimesi, kes soovivad nägemiskeele tegevusmudelit reaalsel robotkäel, peatuvad riistvara piiril. GR00T N1.7 ja Pi0.5 on kumbki umbes kolm miljardit parameetrit ja vajavad A100 80 GB või H100. Kui teil on mänguarvuti RTX 4090-ga, on see tee lõpp. SmolVLA on erand: 450 miljonit parameetrit, LeRoboti sees, ehitatud peenhäälestamiseks ühel tarbijakaardil ja teenindamiseks CPU-lt.

Käsitsi tee esmalt: installige lerobot, tõmmake lerobot/smolvla_base kontrollpunkt, käivitage tegelik käsk, lugege käitust selle toimumise ajal. Seejärel platvormi tee ja kus see ei aita.

Mis on SmolVLA, numbrites, mida saate kontrollida

SmolVLA on voolu sobitamise poliitika, mis on kinnitatud väikesele visuaalsele keelemudelile. Selle selgroog on SmolVLM2-500M-Video-Instruct; artiklis säilitatakse ainult selle keelemudeli esimesed 16 kihti, piiratakse iga kaamera kaadrit 64 visuaalse märgiga pikslite segamise abil piltide plaatideks ja põimitakse risttähelepanu isetähelepanu kihiga igas teises plokis. Järelduste tegemise maksumus oli disainipiirang, mitte tagantjärele mõeldud asi.

Võrdlusnäitajad on põhjuseks, miks inimesed 450 M mudeliga vaeva näevad. LIBERO-s on selle keskmine 87,3 protsenti võrreldes OpenVLA 7 B mudeli 76,5-ga ja robootika-eeltreeninguga Pi0 3,3 B mudeli 86,0-ga; Meta-Worldis 57,3 võrreldes 47,9-ga. Reaalsel SO-100 riistvaral annab mitme ülesande treening 75 protsenti valimisel ja paigutamisel, 90 virnastamisel, 70 sorteerimisel, keskmiselt 78,3, kus ACT ülesande kohta treenitud mudeli keskmine oli 48,3. Samad read on iga avaldatud VLA kõrval SmolVLA areeni kirjes ja ACT vs SmolVLA võrdluses.

Miks 24 GB kaart on õige valik esimeseks käivituseks

LeRobot tarnib arvutusvõimsuse suuruse juhendi, mis on selleks hoidla kõige kasulikum lehekülg. See rühmitab poliitikad selgroo suuruse järgi ja annab igale rühmale ühe VRAM-i ümbriku, mõõdetuna pakisuurusega 8 koos AdamW-ga, mis on leroboti vaikeseade. Optimeerija olek üksi lisab 30 kuni 100 protsenti üle palja edasi- ja tagasipöörde, seega ei ole need ainult kaalude arvud.

Kümme kuni kuusteist gigabaiti pakisuurusega 8 on argument: 24 GB kaart mahutab selle pluss andmelaadija. AY-Robots paigutab SmolVLA RTX 4090-le või mis tahes 24 GB kaardile, minimaalselt 30 episoodi, LeRobot v3.0 andmeid, 245 ms tegevussammu kohta. Rendituna on see 2 kuni 5 tundi hinnaga 0.30 kuni 0.60 USD tunnis, umbes 1 kuni 3 USD peenhäälestuse käivituse kohta, võrreldes 4 kuni 12 USD-ga 80 GB tasemel, mida GR00T ja Pi0.5 vajavad (hinnakiri). Ebaõnnestunud SmolVLA käivitus on kohv; ebaõnnestunud GR00T käivitus, lõunasöök.

Samm 0: andmestik otsustab käituse, mitte lipud

Miski allpool olevast ei oma tähtsust, kui salvestus on halb. LeRoboti SmolVLA leht on otsekohene: võrdlusandmestik koosnes 50 episoodist üle 5 kuubiku asendi, 10 asendi kohta, ja sama ülesanne 25 episoodiga toimis halvasti. Kordus variatsiooni kohta üldistab, toor-episoodide arv mitte. Pole kunagi salvestanud? Alustage siit: salvestage oma esimene andmestik, koos töölauakliendiga, mis kirjutab LeRoboti formaadi välja teleoperatsiooni seansist, või laenake üks andmestiku kataloogist.

• Vähemalt 30 episoodi AY-Robotsil, umbes 50 LeRoboti referentsretsepti jaoks.
• Iga variatsioon, mida ootate juurutamisel, korratud mitu korda.
• Üks ülesande string, kirjutatud identselt salvestamise ja juurutamise ajal. Mudel on sellele tekstile tingitud.
• Fikseeritud kaamerad. Salvestamise ja juurutamise vahel liigutatud kaamera on kõige tavalisem põhjus, miks puhas kaokõver annab liikumatu käe.
• Välja jäetud variatsioon, mida te pole kunagi treeninud, et teil oleks midagi ausat, mille vastu testida.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Rohkem sellest leiate siit: kuidas koguda kvaliteetseid VLA treeningandmeid robotmanipulatsiooniks. Lühidalt: 30 kuni 50 puhast episoodi ühest ülesandest tahtliku variatsiooniga on parem kui 200 lohakat episoodi kolmest, marginaaliga, mida ükski hüperparameeter ei sulge.

Installi lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Baas lerobot installatsioon on õhuke ja peidab rasked sõltuvused lisapakettide taha: smolvla lisab transformerid, num2words ja accelerate, training andmestiku virna ja wandb, core_scripts riistvara ja visualiseerimise sõltuvused. Linuxis määrab installitee ka teie CUDA wheeli: PyPI vaikeseadeks on cu130 wheel draiveri miinimumversiooniga 580.65, seega vanema draiveri korral installige esmalt torch cu128 indeksist, seejärel lerobot.

Treeningu käivitamine, käsk käsu haaval

1. 1
   Autentimine Hubi vastu

   Baaskontrollpunkt pärineb Hubist ja tõenäoliselt ka teie andmestik.

   bash

   hf auth login

2. 2
   Lugege valikud korra läbi

   Iga torujuhtme ja poliitika konfiguratsiooni väli on lipp. Sirvige seda enne lähtekoodi süvenemist.

   bash

   lerobot-train --help

3. 3
   Alustage peenhäälestust

   Dokumentatsiooni näide käivitab partii 64 ühel A100-l; arvutusjuhendi enda A100 40 GB ankur on partii 16 ja 8 on 24 GB ekvivalent. Siin pole meelega ajastaja lippu, vaata allpool.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Lugege logirida, mitte ainult kaotust

   Iga --log_freq sammu järel prindib lerobot kaotuse, grdn, lr, updt_s, data_s, smp/s ja CUDA puhul mem_gb. mem_gb näitab, kas partii mahub, lr, kas ajakava väheneb, ja data_s lähenemine updt_s-le tähendab, et andmelaadija on kitsaskohaks, mitte GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Koguge kontrollpunkte, mida saate võrrelda

   save_freq vaikimisi on 20000, nii et 20000 sammu pikkune käivitus jätab ühe kontrollpunkti ja midagi, millega seda võrrelda. Määrake 2000. Hubi lükkamiseks on vaja --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Jätkake, kui masin sureb

   Suunake --config_path kontrollpunkti kõrval asuvale train_config.json-ile. lerobot keeldub käivitamast olemasolevasse output_dir-i, välja arvatud juhul, kui jätkate, nii et te ei saa käivitust kogemata üle kirjutada.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Lipud, mis tegelikult tulemust muudavad

Vaikeseaded, mille te pärite, kui te midagi ei puutu

Üks poliitika konfiguratsioon lerobot'is sisaldab oma optimeerija ja ajakava eelseadistust, ja kui te ei määra use_policy_training_preset=false siis need eelseadistused võidavad. Pooled küsimused, mida inimesed SmolVLA treeningu kohta küsivad, on vastatud vaikeseadega, mille olemasolust nad ei teadnud.

Kaks rida, mis inimesi üllatavad, on freeze_vision_encoder ja train_expert_only, mõlemad tõesed. Vaikimisi treenite ligikaudu 100 miljonit parameetrit, mitte 450 miljonit, mistõttu see mahub 24 GB-le. LeRoboti enda referentskäitus nelja-GPU H100 klastris muudab mõlemad väärtuseks false; ühel 24 GB kaardil muudab see töötava käituse .

Kui kaua käitus aega võtab ja kui palju samme on piisav

LeRobot avaldab tegeliku aja ankruid viie epohhi jaoks ligikaudu 50 episoodi andmestiku kohta, umbes 45000 kaadrit 30 kaadrit sekundis. Suurusjärgu numbrid, ütlevad dokumendid, kuid need on erinevus tunni ja päeva ootamise vahel.

Peenhäälestatud poliitika käivitamine tagasi robotkäel

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms tegevussammu kohta on kergesti valesti mõistetav: poliitika väljastab chunk_size = 50 tegevust edasisuunatud läbimise kohta ja täidab n_action_steps = 50 neist, seega see, kui tihti seda kulu maksate, on määratud nende nuppudega, mitte sellega, kui tihti servod käsu saavad. Seda tegevuste tükeldamine ostab ja miks 245 ms mudel suudab juhtida 30 Hz kätt. Järele jääb järeldamise latentsus tüki lõpus.

See kolmas rida on see, mida enamik kirjutisi vahele jätab. Asünkroonne järeldamine on umbes 30 protsenti kiirem ja kahekordistab ligikaudu läbilaskevõimet fikseeritud ajaaknas, ning artikkel nimetab edukusmäärasid võrreldavateks, mis keskmiselt nii ongi. Selle all langes sorteerimine 70-lt 50 protsendile, samal ajal kui korja ja aseta võitis 5. lerobot 0.6.1 kannab teist hooba samas binaaris: --inference.type=rtc lülitab väljarullimise reaalajas tükeldamisele, mida skripti enda kasutusplokk soovitab aeglastele VLA-dele, Pi0-le, Pi0.5-le ja SmolVLA-le.

Kaks teed sama kontrollpunktini

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kui SmolVLA on vale valik

Test selle kohta, kas SmolVLA oli õige esimene käivitus, ei seisne selles, kas see töötas, vaid selles, kas ebaõnnestumine andis teile midagi teada. Saavutage 60 või 70 protsenti ja suurem mudel on mõistlik järgmine investeering: andmed sisaldavad signaali. Saavutage 10 protsenti ja 3 B mudel saavutab tõenäoliselt samuti 10 protsenti, mille te just õppisite kolme dollari eest kaheteistkümne asemel.

Väärt lugemist enne suuremate kulutuste tegemist: Pi0.5 versus SmolVLA sama idee suurema võimsuse jaoks, ja GR00T N1.7 versus SmolVLA NVIDIA tee jaoks, mõlemad 80 GB tasemel 4 kuni 12 USD jooksu kohta. Teine võimalus, ACT on odavam baasjoon: 80 M parameetrit, 20 ms tegevussammu kohta, keelelist tingimist pole. Kõik viis asuvad poliitikate lehel; areenil on 85 mudelit ja 332 võrdlustulemust.

Kontrollnimekiri enne millegi skaleerimist

1. Kas lr jõudis oma 2.5e-6 piirini? Alla 30000 sammu lerobot skaleerib lagunemist ümber ja teatab sellest käivitamisel; sellest kõrgemal määrake --policy.scheduler_decay_steps ise.
2. Rohkem kui üks kontrollpunkt ja episoodid, mis on välja jäetud --dataset.eval_split abil, nii et hindamise kadu tähendab midagi.
3. Kas poliitika liigub üldse? Langeval kaol liikumatu käega on spetsiifilised põhjused: kadu langeb, poliitika ei tee midagi.
4. Kas see elab üle stseeni muutuse? Kui mitte: poliitika töötab ainult ühes seadistuses.
5. Kas panite seemne kirja? lerobot vaikimisi on 1000, nii et kaks puutumata käitust jäävad võrreldavaks.
6. Alles siis: rohkem episoode, rohkem variatsioone või suurem mudel. Selles järjekorras.

Selle kohta, miks need mudelid eksisteerivad ja mida nad keele sisendiga teevad, on taustaks ; viib kokkupaneku läbi esimese käituseni. Lõpetatud kontrollpunkti jaoks ; kui käsi kunagi ei ilmu, siis .