Kā apmācīt SmolVLA uz 24 GB GPU (lerobot 0.6.1)

Lielākā daļa cilvēku, kas vēlas redzes valodas darbības modeli uz reālas rokas apstājas pie aparatūras robežas. GR00T N1.7 un Pi0.5 ir aptuveni trīs miljardi parametru katrs un prasa A100 80 GB vai H100. Ja jums pieder spēļu dators ar RTX 4090, tas ir ceļa gals. SmolVLA ir izņēmums: 450 M parametri, LeRobot ietvaros, veidots, lai precīzi noregulētu uz vienas patērētāju kartes un darbotos no CPU.

Vispirms manuālais ceļš: instalējiet lerobot, iegūstiet lerobot/smolvla_base kontrolpunktu, palaidiet reālo komandu, lasiet izpildi, kamēr tā notiek. Pēc tam platformas ceļš un tas, kur tas nepalīdz.

Kas ir SmolVLA, skaitļos, ko varat pārbaudīt

SmolVLA ir plūsmas saskaņošana politika, kas pievienota mazam redzes valodu modelim. Pamatā ir SmolVLM2-500M-Video-Instruct; rakstā tiek saglabāti tikai pirmie 16 tā valodu modeļa slāņi, katrs kameras kadrs tiek ierobežots līdz 64 vizuālajiem marķieriem ar pikseļu sajaukšanu, nevis attēlu mozaīku veidošanu, un krusteniskā uzmanība tiek savienota ar pašu uzmanības slāni katrā otrajā blokā. Secinājumu izmaksas bija dizaina ierobežojums, nevis pēcapdoma.

Veiktspējas rādītāji ir iemesls, kāpēc cilvēki pievēršas 450 M modelim. LIBERO tas vidēji sasniedz 87.3 procentus pret 76.5 OpenVLA ar 7 B un 86.0 robotikas iepriekš apmācītam Pi0 ar 3.3 B; Meta-World tas sasniedz 57.3 pret 47.9. Uz reālas SO-100 aparatūras, daudzuzdevumu apmācība dod 75 procentus uz paņemšanu un novietošanu, 90 uz kraušanu, 70 uz šķirošanu, vidēji 78.3, kur ACT apmācīts uzdevumam vidēji sasniedza 48.3. Tās pašas rindas atrodas blakus katram publicētajam VLA SmolVLA arēnas ierakstā un ACT pret SmolVLA salīdzinājumā.

Kāpēc 24 GB karte ir pareizā izvēle pirmajai palaišanai

LeRobot nodrošina aprēķinu lieluma noteikšanas ceļvedi, kas ir visnoderīgākā lapa repozitorijā šim nolūkam. Tas grupē politikas pēc mugurkaula izmēra un katrai grupai piešķir vienu VRAM apjomu, mērot ar partijas izmēru 8 un AdamW, kas ir lerobot noklusējuma iestatījums. Optimizatora stāvoklis vien pievieno 30 līdz 100 procentus virs vienkāršas tiešās un atpakaļgaitas pārejas, tāpēc šie nav tikai svaru rādītāji.

Desmit līdz sešpadsmit gigabaiti ar partijas izmēru 8 ir arguments: 24 GB karte tam der, kā arī datu ielādētājam. AY-Robots izmanto SmolVLA uz RTX 4090 vai jebkuras 24 GB kartes, minimāli 30 epizodes, LeRobot v3.0 dati, 245 ms uz darbības soli. Nomas gadījumā tas ir 2 līdz 5 stundas par 0.30 līdz 0.60 USD stundā, aptuveni 1 līdz 3 USD par precizēšanas palaišanu, salīdzinot ar 4 līdz 12 USD par 80 GB līmeņa GR00T un Pi0.5 nepieciešamību (cenas). Neveiksmīga SmolVLA palaišana ir kafija; neveiksmīga GR00T palaišana – pusdienas.

0. solis: datu kopa nosaka izpildi, nevis karodziņi

Nekas zemāk nav svarīgs, ja ieraksts ir slikts. LeRobot SmolVLA lapa ir tieša: atsauces datu kopa bija 50 epizodes piecās kuba pozīcijās, 10 katrā pozīcijā, un tas pats uzdevums ar 25 epizodēm tika veikts slikti. Atkārtojums katrai variācijai vispārina, nevis neapstrādāts epizožu skaits. Nekad neesat ierakstījis? Sāciet ar ierakstiet savu pirmo datu kopu ar darbvirsmas klientu, kas raksta LeRobot formātu no teleoperācijas sesijas, vai aizņemieties to no datu kopu direktorija.

• Vismaz 30 epizodes par AY-Robots, apmēram 50 LeRobot atsauces receptei.
• Katra variācija, ko sagaidāt izvietošanas laikā, atkārtota vairākas reizes.
• Viena uzdevuma virkne, identiski uzrakstīta ierakstīšanas un izvietošanas laikā. Modelis ir kondicionēts uz šo tekstu.
• Fiksētas kameras. Kamera, kas pārvietota starp ierakstīšanu un izvietošanu, ir visbiežākais iemesls, kāpēc tīra zaudējumu līkne dod nekustīgu roku.
• Aizturēta variācija, ko nekad neesat apmācījis, lai jums būtu kaut kas godīgs, pret ko testēt.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Vairāk par to kā savākt augstas kvalitātes VLA apmācības datus robotu manipulācijai. Īsā versija: 30 līdz 50 tīras vienas uzdevuma epizodes ar apzinātu variāciju pārspēj 200 paviršas trīs uzdevumu epizodes ar starpību, ko neviens hiperparametr neaizver.

Instalēt lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Pamata lerobot instalācija ir minimāla un smagas atkarības slēpj aiz papildpakotnēm (extras): smolvla pievieno transformatorus, num2words un accelerate, training datu kopu steku un wandb, core_scripts aparatūras un vizualizācijas atkarības. Operētājsistēmā Linux instalācijas ceļš nosaka arī jūsu CUDA wheel: PyPI noklusējuma ir cu130 wheel ar draivera minimālo versiju 580.65, tāpēc ar vecāku draiveri vispirms instalējiet torch no cu128 indeksa, pēc tam lerobot.

Apmācības palaišana, komanda pa komandai

1. 1
   Autentificēties pret Hub

   Bāzes kontrolpunkts nāk no Hub, un jūsu datu kopa, visticamāk, arī.

   bash

   hf auth login

2. 2
   Vienreiz izlasiet opcijas

   Katrs cauruļvada un politikas konfigurācijas lauks ir karodziņš. Pārskatiet to pirms iedziļināšanās avotā.

   bash

   lerobot-train --help

3. 3
   Sākt precizēšanu

   Dokumentācijas piemērs palaiž 64 partijas uz viena A100; skaitļošanas ceļveža paša A100 40 GB enkurs ir 16 partijas, un 8 ir 24 GB ekvivalents. Šeit apzināti nav plānotāja karodziņa, skatiet zemāk.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Lasiet žurnāla rindu, ne tikai zudumu

   Ik pēc --log_freq soļiem lerobot izdrukā loss, grdn, lr, updt_s, data_s, smp/s un, uz CUDA, mem_gb. mem_gb norāda, vai partija ietilpst, lr norāda, vai grafiks samazinās, un data_s tuvināšanās updt_s nozīmē, ka datu ielādētājs ir vājā vieta, nevis GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Vākt kontrolpunktus, ko varat salīdzināt

   save_freq noklusējuma vērtība ir 20000, tāpēc 20000 soļu palaišana atstāj vienu kontrolpunktu un neko, ar ko to salīdzināt. Iestatiet 2000. Lai publicētu uz Hub, nepieciešams --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Atsākt, ja iekārta apstājas

   Norādiet --config_path uz train_config.json blakus kontrolpunktam. lerobot atsakās sākt darbu esošā output_dir, ja vien jūs neatjaunojat, tāpēc jūs nevarat nejauši pārrakstīt palaišanu.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Karodziņi, kas patiešām maina rezultātu

Noklusējuma iestatījumi, ko mantojat, ja neko nemaināt

A politikas konfigurācija lerobot ietver savu optimizētāju un plānotāja iepriekšējo iestatījumu, un, ja vien nenorādāt use_policy_training_preset=false, šie iepriekšējie iestatījumi uzvar. Puse no jautājumiem, ko cilvēki uzdod par SmolVLA apmācību, tiek atbildēti ar noklusējuma iestatījumu, par kura esamību viņi nezināja.

Divas rindiņas, kas pārsteidz cilvēkus, ir freeze_vision_encoder un train_expert_only, abas patiesas. Pēc noklusējuma jūs apmācāt aptuveni 100 M parametrus, nevis 450 M, tāpēc tas ietilpst 24 GB. LeRobot paša atsauces izpilde četru GPU H100 klasterī abas iestata uz nepatiesu; uz vienas 24 GB kartes tas pārvērš strādājošu izpildi par atmiņas pārpildes avāriju.

Cik ilgi ilgst izpilde un cik daudz soļu ir pietiekami

LeRobot publicē reālā laika atskaites punktus piecām epohām aptuveni 50 epizožu datu kopā, apmēram 45000 kadru pie 30 fps. Aptuvenie skaitļi, kā norādīts dokumentācijā, bet tie ir atšķirība starp stundas un dienas gaidīšanu.

Pielāgotās politikas palaišana atpakaļ uz rokas

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms par darbības soli ir viegli pārprast: politika izstaro chunk_size = 50 darbības uz priekšu un izpilda n_action_steps = 50 no tām, tāpēc tas, cik bieži jūs maksājat šīs izmaksas, ir atkarīgs no šiem iestatījumiem, nevis no tā, cik bieži servomotori saņem komandu. To darbību sadalīšana gabalos nodrošina, un tāpēc 245 ms modelis var vadīt 30 Hz roku. Atlikušais ir secinājumu latentums gabala beigās.

Šo trešo rindu lielākā daļa aprakstu izlaiž. Asinhronā secināšana ir par aptuveni 30 procentiem ātrāka un aptuveni divkāršo caurlaidspēju fiksētā logā, un rakstā veiksmes rādītāji tiek saukti par salīdzināmiem, kas vidēji tā arī ir. Zem tā šķirošana samazinājās no 70 līdz 50 procentiem, savukārt paņemšana un novietošana ieguva 5. lerobot 0.6.1 satur otru sviru tajā pašā binārajā failā: --inference.type=rtc pārslēdz izpildi uz reāllaika sadalīšanu gabalos, ko skripta lietošanas bloks iesaka lēnajiem VLA, Pi0, Pi0.5 un SmolVLA.

Divi ceļi uz vienu kontrolpunktu

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kad SmolVLA ir nepareizā izvēle

Tests, vai SmolVLA bija pareizais pirmais mēģinājums, nav tas, vai tas darbojās, bet gan tas, vai kļūme jums kaut ko pastāstīja. Sasniegt 60 vai 70 procentus, un lielāks modelis ir saprātīgs nākamais ieguldījums: dati satur signālu. Sasniegt 10 procentus, un 3 B modelis, visticamāk, arī sasniegs 10 procentus, ko jūs tikko uzzinājāt par trim dolāriem, nevis divpadsmit.

Vērts izlasīt pirms papildu izdevumiem: Pi0.5 pret SmolVLA par lielāku jaudu ar to pašu ideju, un GR00T N1.7 pret SmolVLA NVIDIA maršrutam, abi 80 GB līmenī par 4 līdz 12 USD par vienu palaidienu. Otrs veids, ACT ir lētāka bāzes līnija: 80 M parametri, 20 ms par darbības soli, bez valodu kondicionēšanas. Visi pieci atrodas politiku lapā; arēnā ir 85 modeļi un 332 etalonu rezultāti.

Pārbaudes saraksts pirms mērogošanas

1. Vai lr sasniedza savu 2.5e-6 apakšējo robežu? Zem 30000 soļiem lerobot pārmēro samazinājumu un paziņo par to startējot; virs tā, iestatiet --policy.scheduler_decay_steps pats.
2. Vairāk nekā viens kontrolpunkts un epizodes, kas atdalītas ar --dataset.eval_split, lai novērtējuma zudums kaut ko nozīmētu.
3. Vai politika vispār kustas? Krītošam zudumam ar nekustīgu roku ir specifiski cēloņi: zudums krīt, politika neko nedara.
4. Vai tā iztur ainas maiņu? Ja nē: politika darbojas tikai vienā iestatījumā.
5. Vai pierakstījāt sēklu? lerobot noklusējuma vērtība ir 1000, tāpēc divi neskarti izpildījumi paliek salīdzināmi.
6. Tikai tad: vairāk epizožu, vairāk variāciju vai lielāks modelis. Šādā secībā.

Par to, kāpēc šie modeļi pastāv un ko tie dara ar valodas ievadi, ir pamatinformācija; vada montāžu caur līdz pirmajam izpildījumam. Lai palaistu pabeigtu kontrolpunktu, ; ja roka nekad neparādās, .