Kaip apmokyti SmolVLA su 24 GB GPU (lerobot 0.6.1)

Dauguma žmonių, norinčių regos-kalbos-veiksmų modelio ant tikros rankos sustoja ties techninės įrangos riba. GR00T N1.7 ir Pi0.5 yra maždaug po tris milijardus parametrų ir reikalauja A100 80 GB arba H100. Jei turite žaidimų kompiuterį su RTX 4090, tai yra kelio pabaiga. SmolVLA yra išimtis: 450 M parametrų, LeRobot viduje, sukurta smulkiam derinimui vienoje vartotojo kortelėje ir aptarnavimui iš CPU.

Pirmiausia rankinis būdas: įdiekite lerobot, atsisiųskite lerobot/smolvla_base kontrolinį tašką, paleiskite tikrąją komandą, skaitykite vykdymą, kol jis vyksta. Tada platformos kelias ir kur jis nepadeda.

Kas yra SmolVLA, skaičiais, kuriuos galite patikrinti

SmolVLA yra srauto derinimas politika, prijungta prie mažo vizualinio kalbos modelio. Pagrindas yra SmolVLM2-500M-Video-Instruct; straipsnyje paliekami tik pirmieji 16 jo kalbos modelio sluoksnių, kiekvienas kameros kadras apribojamas iki 64 vizualinių žetonų naudojant pikselių maišymą vietoj vaizdo plytelių ir kas antrame bloke kryžminis dėmesys persipina su savidėmesio sluoksniu. Išvadų kaina buvo projektavimo apribojimas, o ne papildoma mintis.

Lyginamieji testai yra priežastis, kodėl žmonės domisi 450 M modeliu. LIBERO teste jis vidutiniškai pasiekia 87.3 procento, palyginti su 76.5 OpenVLA (7 B) ir 86.0 robotikos iš anksto apmokyto Pi0 (3.3 B); Meta-World teste – 57.3, palyginti su 47.9. Ant realios SO-100 aparatinės įrangos, daugiatikslis apmokymas duoda 75 procentus paėmimo ir padėjimo, 90 – krovimo, 70 – rūšiavimo, vidutiniškai 78.3, kur ACT apmokytas kiekvienai užduočiai vidutiniškai pasiekė 48.3. Tos pačios eilutės yra šalia kiekvieno publikuoto VLA SmolVLA arenos įraše ir ACT palyginime su SmolVLA.

Kodėl 24 GB kortelė yra tinkamas pirmasis paleidimas

LeRobot pateikia skaičiavimo dydžio nustatymo vadovą, naudingiausią puslapį repozitorijoje šiam tikslui. Jame politikos grupuojamos pagal pagrindinės struktūros dydį ir kiekvienai grupei nurodomas vienas VRAM apvalkalas, išmatuotas esant 8 partijos dydžiui su AdamW, numatytuoju lerobot nustatymu. Vien optimizatoriaus būsena prideda nuo 30 iki 100 procentų, palyginti su paprastu tiesioginiu ir atgaliniu praleidimu, todėl tai nėra tik svorių skaičiai.

Dešimt iki šešiolikos gigabaitų esant 8 partijos dydžiui yra argumentas: 24 GB kortelė tinka tam ir duomenų įkėlimo moduliui. AY-Robots diegia SmolVLA ant RTX 4090 arba bet kurios 24 GB kortelės, mažiausiai 30 epizodų, LeRobot v3.0 duomenų, 245 ms vienam veiksmo žingsniui. Nuomojant, tai yra nuo 2 iki 5 valandų po 0.30 iki 0.60 USD už valandą, apie 1 iki 3 USD už derinimo paleidimą, palyginti su 4–12 USD už 80 GB lygio GR00T ir Pi0.5 reikalingą (kainodarą). Nepavykęs SmolVLA paleidimas yra kava; nepavykęs GR00T paleidimas – pietūs.

0 žingsnis: duomenų rinkinys lemia vykdymą, o ne vėliavėlės

Niekas toliau nėra svarbu, jei įrašas yra blogas. LeRobot SmolVLA puslapis yra tiesmukas: etaloninis duomenų rinkinys buvo 50 epizodų per 5 kubo pozicijas, po 10 kiekvienai pozicijai, o ta pati užduotis su 25 epizodais buvo atlikta prastai. Pakartojimas pagal variaciją apibendrina, o neapdorotas epizodų skaičius – ne. Niekada neįrašėte? Pradėkite nuo įrašykite savo pirmąjį duomenų rinkinį su darbalaukio klientu, kuris įrašo LeRobot formatą iš teleoperacijos sesijos, arba pasiskolinkite iš duomenų rinkinių katalogo.

• Mažiausiai 30 epizodų AY-Robots, apie 50 LeRobot etaloniniam receptui.
• Kiekvienas variantas, kurio tikitės diegimo metu, pakartotas kelis kartus.
• Viena užduoties eilutė, parašyta identiškai įrašymo ir diegimo metu. Modelis yra sąlygotas šiuo tekstu.
• Fiksuotos kameros. Kamera, perkelta tarp įrašymo ir diegimo, yra dažniausia priežastis, kodėl švari nuostolių kreivė rodo nejudančią ranką.
• Nepanaudotas variantas, kurio niekada netreniravote, kad turėtumėte ką sąžiningai išbandyti.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Daugiau apie tai rasite kaip surinkti aukštos kokybės VLA mokymo duomenis. Trumpai: 30–50 švarių vienos užduoties epizodų su apgalvota variacija pranoksta 200 aplaidžių trijų užduočių epizodų, su skirtumu, kurio joks hiperparametras neužpildo.

Įdiegti lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Bazinė lerobot diegimas yra minimalistinis ir paslepia sunkias priklausomybes už papildomų paketų: smolvla prideda transformers, num2words ir accelerate, training duomenų rinkinio paketą ir wandb, core_scripts aparatinės įrangos ir vizualizacijos priklausomybes. „Linux“ sistemoje diegimo kelias taip pat nulemia jūsų CUDA ratą: numatytasis PyPI yra cu130 ratas su minimalia tvarkyklės versija 580.65, todėl, jei naudojate senesnę tvarkyklę, pirmiausia įdiekite torch iš cu128 indekso, tada lerobot.

Mokymo vykdymas, komanda po komandos

1. 1
   Autentifikuotis prie Hub

   Bazinis kontrolinis taškas gaunamas iš Hub, ir jūsų duomenų rinkinys tikriausiai taip pat.

   bash

   hf auth login

2. 2
   Perskaitykite parinktis vieną kartą

   Kiekvienas dujotiekio ir politikos konfigūracijos laukas yra vėliavėlė. Peržvelkite jį prieš gilinantis į šaltinio kodą.

   bash

   lerobot-train --help

3. 3
   Pradėti tikslinimą

   Dokumentacijos pavyzdys paleidžia 64 partiją viename A100; skaičiavimo vadovo A100 40 GB etalonas yra 16 partija, o 8 yra 24 GB ekvivalentas. Čia tyčia nėra planuoklio vėliavėlės, žr. žemiau.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Skaitykite žurnalo eilutę, ne tik nuostolius

   Kas --log_freq žingsnių lerobot spausdina loss, grdn, lr, updt_s, data_s, smp/s ir, naudojant CUDA, mem_gb. mem_gb rodo, ar partija telpa, lr – ar tvarkaraštis mažėja, o data_s artėjant prie updt_s reiškia, kad duomenų įkėlimo programa yra kliūtis, o ne GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Surinkite kontrolinius taškus, kuriuos galite palyginti

   save_freq numatytoji reikšmė yra 20000, todėl 20000 žingsnių vykdymas palieka vieną kontrolinį tašką ir nieko, su kuo jį palyginti. Nustatykite 2000. Norint įkelti į Hub, reikia --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Tęsti, jei mašina sugenda

   Nurodykite --config_path į train_config.json šalia kontrolinio taško. lerobot atsisako pradėti į esamą output_dir, nebent tęsiate, todėl negalite netyčia perrašyti vykdymo.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Vėliavėlės, kurios iš tikrųjų keičia rezultatą

Numatytosios reikšmės, kurias paveldite, jei nieko neliečiate

A konfigūracija lerobot sistemoje turi savo optimizatoriaus ir tvarkaraščio nustatymus, ir nebent nustatysite use_policy_training_preset=false tie nustatymai laimi. Pusė klausimų, kuriuos žmonės užduoda apie SmolVLA mokymą, atsakoma numatytąja reikšme, apie kurią jie nežinojo.

Dvi eilutės, kurios stebina žmones, yra freeze_vision_encoder ir train_expert_only, abi teisingos. Iš karto treniruojate maždaug 100 M parametrų, o ne 450 M, todėl tai telpa į 24 GB. LeRobot nuorodos vykdymas keturių GPU H100 klasteryje abi nustato į „false“; vienoje 24 GB kortelėje tai veikiantį vykdymą paverčia atminties trūkumo klaida.

Kiek laiko trunka vykdymas ir kiek žingsnių pakanka

LeRobot skelbia realaus laiko atskaitos taškus penkioms epochoms maždaug 50 epizodų duomenų rinkinyje, apie 45000 kadrų per 30 fps. Eilės dydžio skaičiai, teigiama dokumentacijoje, tačiau jie yra skirtumas tarp tikėjimosi valandos ir dienos.

Pritaikytos politikos paleidimas atgal ant roboto rankos

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms vienam veiksmo žingsniui lengva klaidingai interpretuoti: politika išleidžia chunk_size = 50 veiksmų per vieną tiesioginį praleidimą ir įvykdo n_action_steps = 50 iš jų, todėl tai, kaip dažnai mokate tą kainą, nustatoma šiais parametrais, o ne tuo, kaip dažnai servovarikliai gauna komandą. Tai yra tai, ką veiksmų skaidymas į dalis suteikia, ir kodėl 245 ms modelis gali valdyti 30 Hz ranką. Kas lieka, tai išvadų vėlavimas dalies pabaigoje.

Šią trečią eilutę dauguma aprašymų praleidžia. Asinchroninis išvadų darymas yra maždaug 30 procentų greitesnis ir apytiksliai padvigubina pralaidumą per fiksuotą laiko langą, o straipsnyje sėkmės rodikliai vadinami panašiais, ir vidutiniškai jie tokie ir yra. Po juo, rūšiavimas sumažėjo nuo 70 iki 50 procentų, o paėmimas ir padėjimas padidėjo 5. lerobot 0.6.1 turi kitą svertą tame pačiame dvejetainyje: --inference.type=rtc perjungia vykdymą į realaus laiko skaidymą į dalis, kurį scenarijaus naudojimo blokas rekomenduoja lėtiems VLA, Pi0, Pi0.5 ir SmolVLA.

Du keliai į tą patį kontrolinį tašką

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kai SmolVLA yra netinkamas pasirinkimas

Ar SmolVLA buvo tinkamas pirmasis paleidimas, rodo ne tai, ar jis veikė, o tai, ar gedimas jums ką nors pasakė. Pasiekus 60 ar 70 procentų, didesnis modelis yra pagrįsta kita investicija: duomenys turi signalą. Pasiekus 10 procentų, 3 B modelis greičiausiai taip pat pasieks 10 procentų, ką ką tik sužinojote už tris dolerius vietoj dvylikos.

Verta perskaityti prieš išleidžiant daugiau: Pi0.5 prieš SmolVLA dėl didesnio pajėgumo, remiantis ta pačia idėja, ir GR00T N1.7 prieš SmolVLA NVIDIA keliui, abu 80 GB lygio, kainuojantys nuo 4 iki 12 USD už paleidimą. Kitu būdu, ACT yra pigesnė bazinė linija: 80 M parametrų, 20 ms per veiksmo žingsnį, be kalbos sąlygojimo. Visi penki yra politikų puslapyje; arena turi 85 modelius ir 332 etaloninius rezultatus.

Kontrolinis sąrašas prieš bet kokį mastelio didinimą

1. Ar lr pasiekė savo 2.5e-6 ribą? Žemiau 30000 žingsnių lerobot perskaičiuoja nuosmukį ir praneša apie tai paleidžiant; viršijus, nustatykite --policy.scheduler_decay_steps patys.
2. Daugiau nei vienas kontrolinis taškas ir epizodai, atidėti naudojant --dataset.eval_split, kad vertinimo nuostolis ką nors reikštų.
3. Ar politika apskritai juda? Krintantis nuostolis su nejudančia ranka turi specifinių priežasčių: nuostolis krenta, politika nieko nedaro.
4. Ar ji išgyvena scenos pasikeitimą? Jei ne: politika veikia tik vienoje sąrankoje.
5. Ar užsirašėte sėklą? lerobot numatytoji reikšmė yra 1000, todėl du nepaliesti paleidimai išlieka palyginami.
6. Tik tada: daugiau epizodų, daugiau variacijų arba didesnis modelis. Tokia tvarka.

Apie tai, kodėl šie modeliai egzistuoja ir ką jie daro su kalbos įvestimi, , yra pagrindas; apima surinkimą nuo iki pirmojo paleidimo. Norėdami gauti baigtą kontrolinį tašką, ; jei ranka niekada neatsiranda, .