Si të Trajnosh SmolVLA në një GPU 24 GB (lerobot 0.6.1)

Shumica e njerëzve që duan një model veprimi gjuhe vizioni në një krah real ndalen te linja e harduerit. GR00T N1.7 dhe Pi0.5 janë rreth tre miliardë parametra secili dhe duan një A100 80 GB ose një H100. Nëse ajo që zotëroni është një PC lojërash me një RTX 4090, ky është fundi i rrugës. SmolVLA është përjashtimi: 450 M parametra, brenda LeRobot, i ndërtuar për t'u akorduar në një kartë konsumatore dhe për të shërbyer nga një CPU.

Rruga manuale së pari: instaloni lerobot, tërhiqni lerobot/smolvla_base pikë kontrolli, ekzekutoni komandën reale, lexoni ekzekutimin ndërsa ndodh. Pastaj rruga e platformës, dhe ku ajo nuk ndihmon.

Çfarë është SmolVLA, në numra që mund t'i kontrolloni

SmolVLA është një përputhje fluksi politikë e bashkangjitur në një model të vogël gjuhësor vizual. Shtylla kurrizore është SmolVLM2-500M-Video-Instruct; punimi mban vetëm 16 shtresat e para të modelit të tij gjuhësor, kufizon çdo kornizë kamere në 64 shenja vizuale me një shpërndarje pikselësh në vend të ndarjes së imazhit, dhe ndërthur vëmendjen kryq me një shtresë vetë-vëmendjeje çdo bllok të dytë. Kostoja e inferencës ishte një kufizim dizajni, jo një mendim i dytë.

Standardet janë arsyeja pse njerëzit merren me një model 450 M. Në LIBERO ai mesatarisht arrin 87.3 për qind kundrejt 76.5 për OpenVLA në 7 B dhe 86.0 për një Pi0 të paratrajnuar për robotikë në 3.3 B; në Meta-World, 57.3 kundrejt 47.9. Në harduerin real SO-100, trajnimi me shumë detyra jep 75 për qind në marrje dhe vendosje, 90 në grumbullim, 70 në renditje, me një mesatare prej 78.3, ku ACT i trajnuar për detyrë mesatarisht arriti 48.3. Të njëjtat rreshta qëndrojnë pranë çdo VLA të publikuar në hyrjen në arenën SmolVLA dhe krahasimin ACT kundrejt SmolVLA.

Pse një kartë 24 GB është zgjedhja e duhur për fillimin e parë

LeRobot ofron një udhëzues për madhësinë e llogaritjes, faqja më e dobishme në depo për këtë. Ai grupon politikat sipas madhësisë së shtyllës kurrizore dhe jep një zarf VRAM për grup, i matur me madhësinë e grupit 8 me AdamW, parazgjedhjen e lerobot. Vetëm gjendja e optimizuesit shton 30 deri në 100 për qind mbi një kalim të thjeshtë përpara dhe prapa, kështu që këto nuk janë shifra vetëm të peshave.

Dhjetë deri në gjashtëmbëdhjetë gigabajt në batch 8 është argumenti: një kartë 24 GB përshtatet me këtë plus ngarkuesin e të dhënave. AY-Robots vendos SmolVLA në RTX 4090 ose çdo kartë 24 GB, minimumi 30 episode, LeRobot v3.0 të dhëna, 245 ms për hap veprimi. Me qira, kjo është 2 deri në 5 orë me 0.30 deri në 0.60 USD në orë, rreth 1 deri në 3 USD për një akordim i imët ekzekutim, kundrejt 4 deri në 12 USD në nivelin 80 GB që GR00T dhe Pi0.5 kanë nevojë (çmimet). Një ekzekutim i dështuar i SmolVLA është një kafe; një ekzekutim i dështuar i GR00T, drekë.

Hapi 0: grupi i të dhënave vendos ekzekutimin, jo flamujt

Asgjë më poshtë nuk ka rëndësi nëse regjistrimi është i keq. Faqja LeRobot SmolVLA është e drejtpërdrejtë: grupi i të dhënave referencë ishte 50 episode në 5 pozicione kubi, 10 për pozicion, dhe e njëjta detyrë në 25 episode performoi keq. Përsëritja për variacion përgjithëson, numri i papërpunuar i episodeve jo. Nuk keni regjistruar asnjëherë? Filloni te regjistroni grupin tuaj të parë të të dhënave, me klientin desktop, i cili shkruan formatin LeRobot nga një sesion teleoperimi ose merrni një nga drejtoria e grupeve të të dhënave.

• Të paktën 30 episode në AY-Robots, rreth 50 për recetën referencë të LeRobot.
• Çdo variacion që prisni në shpërndarje, i përsëritur disa herë.
• Një varg detyre, i shkruar identikisht në kohën e regjistrimit dhe të shpërndarjes. Modeli kushtëzohet nga ai tekst.
• Kamera të fiksuara. Një kamerë e lëvizur midis regjistrimit dhe shpërndarjes është arsyeja më e zakonshme pse një kurbë humbjeje e pastër jep një krah të palëvizshëm.
• Një variacion i mbajtur jashtë, mbi të cilin nuk jeni trajnuar kurrë, në mënyrë që të keni diçka të ndershme për të testuar.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Më shumë rreth kësaj në si të mblidhni të dhëna trajnimi VLA me cilësi të lartë. Versioni i shkurtër: 30 deri në 50 episode të pastra të një detyre me variacion të qëllimshëm mundin 200 episode të çrregullta të tre detyrave, me një diferencë që asnjë hiperparametër nuk e mbyll.

Instaloni lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Instalimi bazë lerobot është i hollë dhe mban varësitë e rënda pas shtesave: smolvla shton transformatorët, num2words dhe accelerate, training grupin e të dhënave dhe wandb, core_scripts varësitë e harduerit dhe vizualizimit. Në Linux, shtegu i instalimit vendos gjithashtu rrotën tuaj CUDA: parazgjedhja PyPI është një rrotë cu130 me një nivel minimal drejtuesi prej 580.65, kështu që në një drejtues më të vjetër instaloni torch nga indeksi cu128 së pari, pastaj lerobot.

Ekzekutimi i trajnimit, komandë pas komande

1. 1
   Autentifikohu kundrejt Hub-it

   Pika bazë e kontrollit vjen nga Hub-i, dhe ndoshta edhe grupi juaj i të dhënave.

   bash

   hf auth login

2. 2
   Lexo opsionet një herë

   Çdo fushë e konfigurimit të pipeline-it dhe politikës është një flamur. Shfletoje para se të gërmosh në burim.

   bash

   lerobot-train --help

3. 3
   Fillo rregullimin e imët

   Shembulli i dokumentacionit ekzekuton batch 64 në një A100 të vetme; ankori i vetë udhëzuesit të llogaritjes A100 40 GB është batch 16, dhe 8 është ekuivalenti i 24 GB. Nuk ka flamur planifikuesi këtu me qëllim, shih më poshtë.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Lexo rreshtin e log-ut, jo vetëm humbjen

   Çdo --log_freq hapa lerobot printon loss, grdn, lr, updt_s, data_s, smp/s dhe, në CUDA, mem_gb. mem_gb tregon nëse batch-i përshtatet, lr nëse orari po zvogëlohet, dhe data_s që i afrohet updt_s do të thotë se dataloader-i është pengesa, jo GPU-ja.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Mblidh pikat e kontrollit që mund t'i krahasosh

   save_freq parazgjedhur është 20000, kështu që një ekzekutim me 20000 hapa lë një pikë kontrolli dhe asgjë për ta krahasuar. Vendos 2000. Për të shtyrë në Hub nevojitet --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Rifillo nëse makina ndalon

   Drejto --config_path te train_config.json pranë pikës së kontrollit. lerobot refuzon të fillojë në një output_dir ekzistues nëse nuk po rifillon, kështu që nuk mund të mbishkruash një ekzekutim aksidentalisht.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Flamujt që ndryshojnë realisht rezultatin

Parazgjedhjet që trashëgoni nëse nuk prekni asgjë

Një politikë konfigurim në lerobot mbart optimizuesin dhe parazgjedhjen e tij të planifikuesit, dhe nëse nuk vendosni use_policy_training_preset=false ato parazgjedhje fitojnë. Gjysma e pyetjeve që njerëzit bëjnë rreth trajnimit të SmolVLA-s u përgjigjen nga një parazgjedhje që ata nuk e dinin se ekzistonte.

Dy rreshtat që i befasojnë njerëzit janë freeze_vision_encoder dhe train_expert_only, të dyja të vërteta. Nga kutia, ju trajnoni afërsisht 100 M parametra, jo 450 M, prandaj përshtatet në 24 GB. Ekzekutimi referencë i LeRobot-it në një grup H100 me katër GPU i kthen të dyja në false; në një kartë 24 GB kjo e kthen një ekzekutim funksional në një bllokim për shkak të mungesës së memories.

Sa kohë zgjat ekzekutimi, dhe sa hapa janë të mjaftueshëm

LeRobot publikon ankorime të kohës reale për pesë epoka mbi një grup të dhënash prej rreth 50 episodesh, rreth 45000 korniza me 30 fps. Shifra të rendit të madhësisë, thonë dokumentet, por ato janë ndryshimi midis pritjes së një ore dhe një dite.

Ekzekutimi i politikës së rregulluar në krahun robotik

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms për hap veprimi është e lehtë të keqkuptohet: politika lëshon chunk_size = 50 veprime për kalim përpara dhe ekzekuton n_action_steps = 50 prej tyre, kështu që sa shpesh e paguani atë kosto përcaktohet nga ato rregullime, jo nga sa shpesh servot marrin një komandë. Kjo është ajo që copëtimi i veprimeve blen, dhe pse një model 245 ms mund të drejtojë një krah 30 Hz. Ajo që mbetet është vonesa e inferencës në fund të copës.

Rreshti i tretë është ajo që shumica e shkrimeve anashkalojnë. Inference asinkrone është rreth 30 për qind më e shpejtë dhe pothuajse dyfishon prurjen në një dritare fikse, dhe punimi i quan shkallët e suksesit të krahasueshme, gjë që mesatarisht janë. Nën të, renditja ra nga 70 në 50 për qind ndërsa marrja dhe vendosja fitoi 5. lerobot 0.6.1 mbart levën tjetër në të njëjtin binar: --inference.type=rtc kalon shpërndarjen në copëtim në kohë reale, të cilën blloku i përdorimit të vetë skriptit e rekomandon për VLA-të e ngadalta, Pi0, Pi0.5 dhe SmolVLA.

Dy rrugë drejt të njëjtit pikë kontrolli

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kur SmolVLA është zgjedhja e gabuar

Testi nëse SmolVLA ishte ekzekutimi i parë i duhur nuk është nëse funksionoi, por nëse dështimi ju tregoi diçka. Arritni 60 ose 70 për qind dhe një model më i madh është një shpenzim i arsyeshëm i radhës: të dhënat mbartin sinjal. Arritni 10 për qind dhe një model 3 B ka shumë të ngjarë të arrijë gjithashtu 10 për qind, të cilën sapo e mësuat për tre dollarë në vend të dymbëdhjetë.

Vlen të lexohet para se të shpenzoni më shumë: Pi0.5 kundër SmolVLA për më shumë kapacitet mbi të njëjtën ide, dhe GR00T N1.7 kundër SmolVLA për rrugën NVIDIA, të dyja në nivelin 80 GB me 4 deri në 12 USD për ekzekutim. Nga ana tjetër, ACT është baza më e lirë: 80 M parametra, 20 ms për hap veprimi, pa kushtëzim gjuhësor. Të pesëta ndodhen në faqen e politikave; arena ka 85 modele dhe 332 rezultate krahasuese.

Lista kontrolluese para se të shkallëzoni diçka

1. A e arriti lr kufirin e tij prej 2.5e-6? Nën 30000 hapa, lerobot rishkallëzon zbërthimin dhe e thotë këtë në fillim; mbi këtë, vendosni vetë --policy.scheduler_decay_steps.
2. Më shumë se një pikë kontrolli, dhe episode të mbajtura me --dataset.eval_split në mënyrë që humbja e vlerësimit të ketë kuptim.
3. A lëviz fare politika? Një humbje në rënie me një krah të palëvizshëm ka shkaqe specifike: humbja bie, politika nuk bën asgjë.
4. A i mbijeton një ndryshimi të skenës? Nëse jo: politika funksionon vetëm në një konfigurim.
5. A e shënuat farën (seed)? lerobot parazgjedh 1000, kështu që dy ekzekutime të paprekura mbeten të krahasueshme.
6. Vetëm atëherë: më shumë episode, më shumë variacion, ose një model më i madh. Në atë rend.

Përse ekzistojnë këto modele dhe çfarë bëjnë ato me inputin gjuhësor, është sfondi; ekzekuton montimin përmes deri te ekzekutimi i parë i . Për pikën e kontrollit të përfunduar, ; nëse krahu nuk shfaqet kurrë, .