Hvernig á að þjálfa SmolVLA á 24 GB GPU (lerobot 0.6.1)

Flestir sem vilja sjón-tungumál-aðgerðarlíkan á raunverulegum armi stoppa við vélbúnaðarlínuna. GR00T N1.7 og Pi0.5 eru um þrír milljarðar færibreyta hvor og vilja A100 80 GB eða H100. Ef þú átt leikjatölvu með RTX 4090, þá er það endir ferðarinnar. SmolVLA er undantekningin: 450 M færibreytur, innan LeRobot, byggt til að fínstilla á einu neytendakorti og þjóna frá örgjörva.

Handvirka leiðin fyrst: settu upp lerobot, sæktu lerobot/smolvla_base gátpunktinn, keyrðu raunverulegu skipunina, lestu keyrsluna á meðan hún gerist. Síðan pallaleiðin, og hvar hún hjálpar ekki.

Hvað SmolVLA er, í tölum sem þú getur athugað

SmolVLA er flæðisjöfnun stefna sem er fest við lítið sjónmálslíkan. Burðarásinn er SmolVLM2-500M-Video-Instruct; í greininni eru aðeins fyrstu 16 lög málslíkansins notuð, hver myndrammi er takmarkaður við 64 sjónræna tákn með pixlaflutningi í stað myndflísalagnar, og krossathygli er fléttuð saman við sjálfsathygjarlag í hverri annarri blokk. Kostnaður við ályktun var hönnunarþvingun, ekki eftiráhugsun.

Viðmiðin eru ástæðan fyrir því að fólk nennir að nota 450 M líkan. Á LIBERO er meðaltalið 87.3 prósent á móti 76.5 fyrir OpenVLA við 7 B og 86.0 fyrir vélfærafræði-forþjálfað Pi0 við 3.3 B; á Meta-World, 57.3 á móti 47.9. Á raunverulegum SO-100 vélbúnaði gefur fjölverkefnaþjálfun 75 prósent í að tína og setja, 90 í stöflun, 70 í flokkun, með meðaltal 78.3, þar sem ACT þjálfað á verkefni að meðaltali 48.3. Sömu raðir eru við hliðina á hverri birtri VLA í SmolVLA vettvangsfærslunni og ACT samanburði við SmolVLA.

Af hverju 24 GB kort er rétta fyrsta keyrslan

LeRobot sendir með leiðbeiningar um stærðarútreikninga, sem er gagnlegasta síðan í geymslunni fyrir þetta. Hún flokkar stefnur eftir stærð burðarásar og gefur eitt VRAM umslag fyrir hvern hóp, mælt við lotustærð 8 með AdamW, sjálfgefna stillingu LeRobot. Ástand fínstillingarinnar eitt og sér bætir 30 til 100 prósentum við beran fram- og afturábak feril, svo þetta eru ekki tölur sem eingöngu snúa að þyngdum.

Tíu til sextán gígabæti við lotu 8 er röksemdin: 24 GB kort passar því auk gagnahleðslunnar. AY-Robots setur SmolVLA á RTX 4090 eða hvaða 24 GB kort sem er, að lágmarki 30 þætti, LeRobot v3.0 gögn, 245 ms á aðgerðarskref. Leigt, það er 2 til 5 klukkustundir á 0.30 til 0.60 USD á klukkustund, um 1 til 3 USD fyrir fínstillingar keyrslu, á móti 4 til 12 USD á 80 GB flokki sem GR00T og Pi0.5 þurfa (verðlagningu). Misheppnuð SmolVLA keyrsla er kaffi; misheppnuð GR00T keyrsla, hádegismatur.

Skref 0: gagnasafnið ræður keyrslunni, ekki fánarnir

Ekkert hér fyrir neðan skiptir máli ef upptakan er slæm. LeRobot SmolVLA síðan er hreinskilin: viðmiðunargagnasafnið var 50 þættir yfir 5 teningastöður, 10 á stöðu, og sama verkefnið með 25 þáttum gekk illa. Endurtekning á hverri afbrigði alhæfir, hrá þáttafjöldi gerir það ekki. Aldrei tekið upp einn? Byrjaðu á taka upp fyrsta gagnasafnið þitt með skjáborðsforritinu, sem skrifar LeRobot snið úr fjarstýringu lotu, eða fáðu lánað eitt úr gagnasafnaskránni.

• Að minnsta kosti 30 þættir á AY-Robots, um 50 fyrir LeRobot viðmiðunaruppskriftina.
• Sérhver afbrigði sem þú býst við við útfærslu, endurtekin nokkrum sinnum.
• Einn verkefnisstrengur, stafsettur eins við upptöku og útfærslu. Líkanið er skilyrt á þeim texta.
• Fastar myndavélar. Myndavél sem færðist á milli upptöku og útfærslu er algengasta ástæðan fyrir því að hrein tapferill gefur hreyfingarlausan arm.
• Afbrigði sem þú hefur aldrei þjálfað á, svo þú hafir eitthvað heiðarlegt til að prófa gegn.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Meira um þetta í hvernig á að safna hágæða VLA þjálfunargögnum. Stutta útgáfan: 30 til 50 hreinir þættir af einu verkefni með vísvitandi afbrigðum slá 200 óvandaða þætti af þremur, með mun sem enginn ofurbreyta lokar.

Setja upp lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Grunn lerobot uppsetningin er létt og heldur þungum ósjálfstæðum bak við aukapakka: smolvla bætir við transformers, num2words og accelerate, training gagnasafnsstaflanum og wandb, core_scripts vélbúnaðar- og sjónræningarfíknirnar. Á Linux ræður uppsetningarslóðin einnig CUDA hjólinu þínu: PyPI sjálfgefið er cu130 hjól með lágmarksrekil 580.65, svo á eldri rekli skaltu setja upp torch frá cu128 vísitölunni fyrst, síðan lerobot.

Þjálfunarferlið, skipun fyrir skipun

1. 1
   Auðkenna sig gegn Hub

   Grunnáfanginn kemur frá Hub, og gagnasafnið þitt líklega líka.

   bash

   hf auth login

2. 2
   Lestu valkostina einu sinni

   Hver reitur í pípunni og stefnustillingunni er fáni. Skimmaðu yfir hann áður en þú kafar í frumkóðann.

   bash

   lerobot-train --help

3. 3
   Byrja fínstillingu

   Dæmið í skjölunum keyrir lotu 64 á einni A100; eigin A100 40 GB akkeri í útreikningsleiðbeiningunum er lota 16, og 8 er jafngildi 24 GB. Enginn tímaáætlunarfáni hér viljandi, sjá hér að neðan.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Lestu log línuna, ekki bara tapið

   Á hverjum --log_freq skrefum prentar lerobot tap, grdn, lr, updt_s, data_s, smp/s og, á CUDA, mem_gb. mem_gb segir til um hvort lotan passi, lr hvort tímaáætlunin sé að minnka, og data_s sem nálgast updt_s þýðir að gagnahleðslumaðurinn er flöskuhálsinn, ekki GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Safnaðu áföngum sem þú getur borið saman

   save_freq er sjálfgefið 20000, svo 20000 skrefa keyrsla skilur eftir einn áfanga og ekkert til að bera hann saman við. Stilltu 2000. Til að ýta á Hub þarf --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Halda áfram ef vélin deyr

   Beindu --config_path á train_config.json við hliðina á áfanganum. lerobot neitar að byrja í núverandi output_dir nema þú sért að halda áfram, svo þú getur ekki óvart skrifað yfir keyrslu.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Fánarnir sem raunverulega breyta niðurstöðunni

Sjálfgefnar stillingar sem þú erfir ef þú snertir ekkert

A stefna stilling í lerobot hefur sinn eigin fínstillir og tímaáætlunarforstillingu, og nema þú stillir use_policy_training_preset=false þá vinna þessar forstillingar. Helmingur spurninganna sem fólk spyr um SmolVLA þjálfun er svarað af sjálfgefnum stillingum sem það vissi ekki að væru til.

Línurnar tvær sem koma fólki á óvart eru freeze_vision_encoder og train_expert_only, báðar sannar. Upphaflega þjálfarðu um 100 M færibreytur, ekki 450 M, þess vegna passar það á 24 GB. Eigin viðmiðunarakstur LeRobot á fjögurra GPU H100 klasa snýr báðum í false; á einu 24 GB korti breytir það virkri keyrslu í minnisleysi hrun.

Hversu langan tíma keyrslan tekur, og hversu mörg skref eru nóg

LeRobot birtir rauntíma viðmið fyrir fimm tímabil (epochs) yfir um það bil 50 þátta gagnasafn, um 45000 ramma á 30 fps. Stærðargráðutölur, segja skjölin, en þær eru munurinn á því að búast við klukkutíma og einum degi.

Að keyra fínstilltu stefnuna aftur á arminum

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Auðvelt er að misskilja 245 ms á hverju aðgerðarskrefi: stefnan gefur frá sér chunk_size = 50 aðgerðir á hverri framsendingu og framkvæmir n_action_steps = 50 af þeim, svo hversu oft þú greiðir þann kostnað ræðst af þessum stillingum, ekki af því hversu oft servóin fá skipun. Það er það sem aðgerðaskipting kaupir, og hvers vegna 245 ms líkan getur stýrt 30 Hz armi. Það sem eftir er er ályktunartöf í lok bitans.

Þessi þriðja röð er það sem flestar greinar sleppa. Ósamstillt ályktun er um 30 prósent hraðari og tvöfaldar gróflega afköst í föstum tímaramma, og greinin kallar árangurshlutfallið sambærilegt, sem það er að meðaltali. Undir því féll flokkun úr 70 í 50 prósent á meðan taka og setja jókst um 5. lerobot 0.6.1 inniheldur hinn lykilinn í sömu tvíundarskrá: --inference.type=rtc skiptir útfærslunni yfir í rauntíma skiptingu, sem notkunarhluti skriftunnar sjálfrar mælir með fyrir hægu VLA-líkönin, Pi0, Pi0.5 og SmolVLA.

Tvær leiðir að sama geymslustað

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Þegar SmolVLA er röng kostur

Prófið á því hvort SmolVLA hafi verið rétta fyrsta keyrslan er ekki hvort hún virkaði, heldur hvort bilunin sagði þér eitthvað. Náið 60 eða 70 prósentum og stærra líkan er sanngjörn næsta fjárfesting: gögnin bera merki. Náið 10 prósentum og 3 B líkan nær líklega líka 10 prósentum, sem þú lærðir bara fyrir þrjá dollara í stað tólf.

Þess virði að lesa áður en meira er eytt: Pi0.5 á móti SmolVLA fyrir meiri getu á sömu hugmynd, og GR00T N1.7 á móti SmolVLA fyrir NVIDIA leiðina, bæði 80 GB flokkur á 4 til 12 USD á keyrslu. Hin leiðin, ACT er ódýrari grunnlínan: 80 M færibreytur, 20 ms á aðgerðarskref, engin tungumálaskilyrðing. Allar fimm eru á stefnusíðunni; vettvanginum hefur 85 líkön og 332 viðmiðunarniðurstöður.

Gátlistinn áður en þú stækkar eitthvað

1. Náði lr 2.5e-6 lágmarki sínu? Fyrir neðan 30000 skref endurskalast rotnunin og lerobot segir frá því við ræsingu; fyrir ofan það, stilltu --policy.scheduler_decay_steps sjálfur.
2. Fleiri en einn gátpunktur, og þættir haldnir utan með --dataset.eval_split svo að tapmatið þýði eitthvað.
3. Hreyfist stefnan yfirleitt? Fallandi tap með hreyfingarlausum armi hefur sérstakar orsakir: tap fellur, stefnan gerir ekkert.
4. Lifir það af umhverfisbreytingu? Ef ekki: stefnan virkar aðeins í einni uppsetningu.
5. Skrifaðir þú niður fræið? lerobot notar sjálfgefið 1000, svo tvær óbreyttar keyrslur haldast sambærilegar.
6. Aðeins þá: fleiri þættir, meiri fjölbreytni, eða stærra líkan. Í þeirri röð.

Fyrir hvers vegna þessi líkön eru til og hvað þau gera við tungumálsinnsláttinn, er bakgrunnurinn; keyrir samsetningu í gegnum að fyrstu keyrslu. Fyrir fullgerðan gátpunkt, ; ef armurinn birtist aldrei, .