Miten kouluttaa SmolVLA 24 GB:n GPU:lla (lerobot 0.6.1)

Useimmat ihmiset, jotka haluavat näkö-kieli-toimintamallin todelliseen robottikäteen, pysähtyvät laitteistovaatimuksiin. GR00T N1.7 ja Pi0.5 ovat kumpikin noin kolmen miljardin parametrin kokoisia ja vaativat A100 80 GB:n tai H100:n. Jos omistat pelitietokoneen RTX 4090:llä, se on tien pää. SmolVLA on poikkeus: 450 M parametria, LeRobotin sisällä, rakennettu hienosäätöön yhdellä kuluttajakortilla ja palveluun suorittimelta.

Manuaalinen reitti ensin: asenna lerobot, hae lerobot/smolvla_base tarkistuspiste, suorita todellinen komento, lue ajo sen tapahtuessa. Sitten alustareitti ja missä se ei auta.

Mitä SmolVLA on, tarkistettavissa olevina lukuina

SmolVLA on virtaussovituspolitiikka, joka on kytketty pieneen visuaaliseen kielimalliin. Runkona on SmolVLM2-500M-Video-Instruct; tutkimuspaperi käyttää vain sen kielimallin ensimmäiset 16 kerrosta, rajoittaa jokaisen kamerakehyksen 64 visuaaliseen tunnukseen pikselisekoituksella kuvien laatoituksen sijaan, ja lomittaa ristiin-huomion itsehuomiokerroksen kanssa joka toisessa lohkossa. Päättelyn kustannukset olivat suunnittelurajoite, eivät jälkikäteen mietitty asia.

Vertailuarvot ovat syy, miksi ihmiset vaivautuvat 450 miljoonan parametrin mallin kanssa. LIBEROssa sen keskiarvo on 87,3 prosenttia verrattuna OpenVLAn 76,5 prosenttiin (7 miljardia parametria) ja robotiikkaan esikoulutetun Pi0:n 86,0 prosenttiin (3,3 miljardia parametria); Meta-Worldissa 57,3 verrattuna 47,9:ään. Todellisella SO-100-laitteistolla monitehtäväkoulutus antaa 75 prosenttia poiminnassa ja sijoittelussa, 90 pinon rakentamisessa, 70 lajittelussa, keskiarvon ollessa 78,3, kun taas tehtäväkohtaisesti koulutetun ACT:n keskiarvo oli 48,3. Samankaltaiset rivit löytyvät jokaisen julkaistun VLA:n vierestä SmolVLA-areenan merkinnästä ja ACT vs. SmolVLA -vertailusta.

Miksi 24 GB kortti on oikea ensimmäiseen ajoon

LeRobot toimittaa laskentakoon määritysoppaan, joka on tähän tarkoitukseen hyödyllisin sivu repositoriossa. Se ryhmittelee käytännöt selkärangan koon mukaan ja antaa yhden VRAM-kuoren ryhmää kohti, mitattuna eräkoon 8 ja AdamW:n kanssa, joka on lerobotin oletus. Optimointitila yksinään lisää 30–100 prosenttia pelkän eteen- ja taaksepäin kulun yli, joten nämä eivät ole vain painoihin liittyviä lukuja.

Kymmenestä kuuteentoista gigatavua eräkoon 8 kanssa on argumentti: 24 GB kortti sopii siihen ja datalataajaan. AY-Robots asentaa SmolVLA:n RTX 4090:lle tai mille tahansa 24 GB kortille, vähintään 30 jaksoa, LeRobot v3.0 dataa, 245 ms per toimintavaihe. Vuokrattuna se on 2–5 tuntia hintaan 0.30–0.60 USD tunnissa, noin 1–3 USD per hienosäätö ajo, verrattuna 4–12 USD:hen 80 GB luokassa, jonka GR00T ja Pi0.5 tarvitsevat (hinnoittelu). Epäonnistunut SmolVLA-ajo on kahvi; epäonnistunut GR00T-ajo, lounas.

Vaihe 0: tietojoukko päättää ajon, ei liput

Mikään alla oleva ei ole merkityksellistä, jos tallenne on huono. LeRobot SmolVLA -sivu on suorasanainen: viitetietojoukko oli 50 episodin laajuinen viidessä kuution asennossa, 10 per asento, ja sama tehtävä 25 episodilla suoriutui huonosti. Toisto per variaatio yleistää, raaka episodimäärä ei. Etkö ole koskaan tallentanut sellaista? Aloita tallenna ensimmäinen tietojoukkosi käyttäen työpöytäasiakasohjelmaa, joka kirjoittaa LeRobot-muotoa teleoperaatio -istunnosta, tai lainaa sellainen tietojoukkohakemistosta.

• Vähintään 30 jaksoa AY-Robotsilla, noin 50 LeRobot-viitereseptille.
• Jokainen käyttöönotossa odottamasi variaatio, toistettuna useita kertoja.
• Yksi tehtävämerkkijono, kirjoitettuna identtisesti tallennus- ja käyttöönottohetkellä. Malli on ehdollistettu tällä tekstillä.
• Kiinteät kamerat. Tallennuksen ja käyttöönoton välillä siirretty kamera on yleisin syy siihen, että puhdas häviökäyrä tuottaa liikkumattoman käden.
• Pois jätetty variaatio, jota et ole koskaan kouluttanut, jotta sinulla on jotain rehellistä testattavaa vasten.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Lisää tästä kohdassa kuinka kerätä korkealaatuista VLA-koulutusdataa robottimanipulaatioon. Lyhyt versio: 30–50 puhdasta jaksoa yhdestä tehtävästä harkitulla variaatiolla voittaa 200 huolimatonta jaksoa kolmesta, marginaalilla jota mikään hyperparametri ei pysty kuromaan umpeen.

Asenna lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Perus lerobot asennus on kevyt ja piilottaa raskaat riippuvuudet lisäosien taakse: smolvla lisää transformerit, num2wordsin ja acceleraten, training datasettipinon ja wandb:n, core_scripts laitteisto- ja visualisointiriippuvuudet. Linuxissa asennuspolku määrää myös CUDA-pyöräsi: PyPI:n oletus on cu130-pyörä, jonka ajurin alaraja on 580.65, joten vanhemmalla ajurilla asenna torch cu128-indeksistä ensin, sitten lerobot.

Koulutusajo, komento komennolta

1. 1
   Todennus Hubiin

   Perustarkistuspiste tulee Hubista, ja todennäköisesti myös tietokantasi.

   bash

   hf auth login

2. 2
   Lue asetukset kerran

   Jokainen putkilinjan ja käytännön konfiguraation kenttä on lippu. Selaa se läpi ennen kuin kaivaudut lähdekoodiin.

   bash

   lerobot-train --help

3. 3
   Aloita hienosäätö

   Dokumentaation esimerkki ajaa erän 64 yhdellä A100:lla; laskentaohjeen oma A100 40 GB ankkuri on erä 16, ja 8 on 24 GB vastaava. Ei ajoituslippua tässä tarkoituksella, katso alta.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Lue lokirivi, älä vain häviötä

   Joka --log_freq askeleen välein lerobot tulostaa loss, grdn, lr, updt_s, data_s, smp/s ja, CUDA:lla, mem_gb. mem_gb kertoo, mahtuuko erä, lr kertoo, heikkeneekö aikataulu, ja data_s:n lähestyessä updt_s:ää tarkoittaa, että datalaturi on pullonkaula, ei GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Kerää vertailukelpoisia tarkistuspisteitä

   save_freq oletusarvo on 20000, joten 20000 askeleen ajo jättää yhden tarkistuspisteen eikä mitään, mihin sitä voisi verrata. Aseta 2000. Hubiin työntäminen vaatii --policy.repo_id:n.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Jatka, jos kone sammuu

   Osoita --config_path train_config.json-tiedostoon tarkistuspisteen vieressä. lerobot kieltäytyy käynnistymästä olemassa olevaan output_dir-hakemistoon, ellet jatka, joten et voi vahingossa ylikirjoittaa ajoa.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Liput, jotka todella muuttavat lopputulosta

Oletusarvot, jotka perit, jos et koske mihinkään

Lerobotin käytäntö-konfiguraatio sisältää oman optimoijan ja aikatauluttajan esiasetuksen, ja ellet aseta use_policy_training_preset=false, nämä esiasetukset voittavat. Puolet SmolVLA-koulutuksesta esitetyistä kysymyksistä vastaa oletusarvo, jonka olemassaolosta he eivät tienneet.

Kaksi riviä, jotka yllättävät ihmisiä, ovat freeze_vision_encoder ja train_expert_only, molemmat totta. Oletuksena koulutat noin 100 miljoonaa parametria, et 450 miljoonaa, minkä vuoksi se mahtuu 24 GB:iin. LeRobotin oma vertailuajo neljän GPU:n H100-klusterilla kääntää molemmat epätosiksi; yhdellä 24 GB:n kortilla se muuttaa toimivan ajon .

Kuinka kauan ajo kestää ja kuinka monta askelta riittää

LeRobot julkaisee todellisen ajan ankkureita viidelle epookille noin 50 jakson datasettiin, noin 45000 kuvaa 30 fps:llä. Suuruusluokan lukuja, dokumentaatio sanoo, mutta ne ovat ero tunnin ja päivän odottamisen välillä.

Hienosäädetyn politiikan ajaminen takaisin robottikädessä

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms toimintavaihetta kohden on helppo lukea väärin: toimintaperiaate lähettää chunk_size = 50 toimintoa eteenpäinajossa ja suorittaa niistä n_action_steps = 50, joten kustannuksen maksamisen tiheys määräytyy näiden säätimien, ei servojen komentojen saamisen tiheyden mukaan. Tämän toimintojen ryhmittely mahdollistaa, ja siksi 245 ms malli voi ohjata 30 Hz kättä. Jäljelle jää päätelmän viive ryhmän lopussa.

Tuo kolmas rivi on se, jonka useimmat kirjoitukset jättävät väliin. Asynkroninen päättely on noin 30 prosenttia nopeampaa ja kaksinkertaistaa läpimenon kiinteässä aikaikkunassa, ja paperi kutsuu onnistumisprosentteja vertailukelpoisiksi, mitä ne keskimäärin ovatkin. Sen alla lajittelu laski 70 prosentista 50 prosenttiin, kun taas poiminta ja sijoitus nousi 5 prosenttia. lerobot 0.6.1 sisältää toisen vivun samassa binääritiedostossa: --inference.type=rtc vaihtaa käyttöönoton reaaliaikaiseen ryhmittelyyn, jota skriptin oma käyttölohko suosittelee hitaille VLA-malleille, Pi0:lle, Pi0.5:lle ja SmolVLA:lle.

Kaksi reittiä samaan tarkistuspisteeseen

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Kun SmolVLA on väärä valinta

Testi sille, oliko SmolVLA oikea ensimmäinen ajo, ei ole se, toimiko se, vaan se, kertooko epäonnistuminen sinulle jotain. Saavuta 60 tai 70 prosenttia, ja suurempi malli on kohtuullinen seuraava investointi: data sisältää signaalin. Saavuta 10 prosenttia, ja 3 B -malli saavuttaa todennäköisesti myös 10 prosenttia, minkä opit juuri kolmella dollarilla kahdentoista sijaan.

Kannattaa lukea ennen kuin kulutat lisää: Pi0.5 vs. SmolVLA saadaksesi lisää kapasiteettia samalla idealla, ja GR00T N1.7 vs. SmolVLA NVIDIA-reittiä varten, molemmat 80 GB luokassa hintaan 4–12 USD per ajo. Toinen tapa, ACT on halvempi peruslinja: 80 M parametria, 20 ms per toimintavaihe, ei kielikonditionointia. Kaikki viisi löytyvät käytäntösivulta; areenalta löytyy 85 mallia ja 332 vertailutulosta.

Tarkistuslista ennen skaalausta

1. Saavuttiko lr 2.5e-6 alarajansa? Alle 30000 askeleen lerobot skaalaa vaimennuksen uudelleen ja ilmoittaa siitä käynnistyksen yhteydessä; sen yläpuolella aseta --policy.scheduler_decay_steps itse.
2. Useampi tarkistuspiste ja jaksoja pidetty erillään --dataset.eval_split-asetuksella, jotta arviointihäviöllä on merkitystä.
3. Liikkuuko toimintamalli lainkaan? Laskevalla häviöllä ja liikkumattomalla varrella on erityisiä syitä: häviö laskee, toimintamalli ei tee mitään.
4. Selviääkö se kohtauksen muutoksesta? Jos ei: toimintamalli toimii vain yhdessä asetelmassa.
5. Kirjasitko siemenluvun muistiin? lerobotin oletusarvo on 1000, joten kaksi koskematonta ajoa pysyvät vertailukelpoisina.
6. Vasta sitten: lisää jaksoja, enemmän vaihtelua tai suurempi malli. Tässä järjestyksessä.

Miksi nämä mallit ovat olemassa ja mitä ne tekevät kielisyötteellä, on taustaa; käy läpi kokoonpanon ensimmäiseen ajoon. Valmiin tarkistuspisteen osalta, ; jos varsi ei koskaan ilmesty, .