Kokią VLA politiką turėtumėte treniruoti 2026 m.?

Šiandien ant SO-100 klasės roboto rankos galima apmokyti penkias politikas. Jos skiriasi 24 kartus inferencijos vėlavimu, 37 kartus parametrų skaičiumi ir 12 kartų vykdymo kaina, taip pat tuo, ar galite pristatyti rezultatą. Penkios modelių kortelės to neišspręs: nė viena neatsako į jūsų klausimą, kurią paleisti pirmiausia?

Kiekvienas toliau pateiktas skaičius buvo paimtas iš straipsnių, saugyklų ir kortelių 2026 m. rugpjūčio mėn. Platformos skaičiai paimti iš AY-Robots politikų katalogo; kur jie nesutampa, rodomi abu.

Sprendimų lentelė

Penki kandidatai

Visi penki yra politikos: kameros kadrai, jungčių pozicijos ir, keturiems iš jų – kalbos instrukcija, susieta su būsimų jungčių tikslų bloku. Tai, kas juos skiria, yra tai, kiek buvo išmokta prieš jums atvykstant.

GR00T N1.7

Dabartinis NVIDIA regos-kalbos-veiksmų modelis, apie 3 mlrd. parametrų, maždaug 40 mln. apmokyta per derinimą. Repozitorijoje nurodomi skirtumai nuo N1.6: pagrindas nuo parduodamo Eagle modelio iki Cosmos-Reason2-2B ant Qwen3-VL, difuzijos sluoksniai nuo 32 iki 16, būsenos ir veiksmo matmenys nuo 29 iki 132, veiksmo horizontas nuo 16 iki 40.

Mažai rankai svarbi santykinė galinio efektoriaus veiksmų erdvė: N1.7 prognozuoja skirtumus nuo dabartinės pozos, o tai leidžia 20 tūkst. valandų EgoScale žmogaus vaizdo įrašų perkelti į roboto politiką. Specifikacija N1.7 puslapyje, procedūra N1.7 SO-100 vadove.

GR00T N1.5

Tas pats 3 B mastelis, Eagle 2 pagrindas, SigLip2 ir T5, srauto derinimo DiT galvutė. Jis skirtas išplėsti kurį jau turite. Dėl dviejų dalykų tai yra prastas numatytasis pasirinkimas: svoriai turi NVIDIA vienpusę nekomercinę licenciją, o dabartiniai LeRobot leidimai pašalino N1.5 palaikymą. Žr. .

Pi0.5

Physical Intelligence VLA, politikos tipas pi05. Straipsnyje aprašomas 2 B VLM, inicializuotas iš PaliGemma, plius 300 M veiksmų ekspertas, valdantis robotą 50 Hz dažniu; LeRobot pi05 konfigūracija numato 50 žingsnių gabalą, vieną sekundę tokiu greičiu. Pardavimo argumentas yra nematytos vietos: apie 400 valandų mobilios manipuliacijos realiose namuose ir mastelio tyrimas, apimantis 3, 12, 22, 53, 82 ir 104 vietas, kur 104 vietų modelis atitiko valdymą, apmokytą pačiuose bandomuosiuose namuose.

Vienas apribojimas, nurodytas lerobot/pi05_base kortelėje: prievadas perduoda tik srauto atitikimo action head. Užduočių prognozavimas, veiksmo tokenizavimas ir RL nebuvo išleisti aukščiau, ir openpi tą patį sako apie savo saugyklą. Pi0.5 puslapis ir Pi0.5 SO-100 vadovas turi likusią dalį.

SmolVLA

450 M parametrų, apie 100 M veiksmo eksperte, ant SmolVLM-2 su užšaldytu VLM ir naudojant tik jo pirmus 16 kalbos modelio sluoksnių. Išankstinis apmokymas buvo bendruomenės duomenys: 481 duomenų rinkinys, 10,6 M kadrų, iš tų pačių pigų manipuliatorių, kuriuos naudojate. Vienintelis VLA čia, kuris telpa į vieną 24 GB kortelę, ir vienintelis 30 epizodo grindys. Žr. SmolVLA puslapį.

ACT

Ne bazinis modelis. „Action Chunking Transformer“ iš ALOHA yra apie 80 M parametrų, apmokytas nuo nulio kiekvienai užduočiai, naudojant 50 demonstracijų 50 Hz dažniu. Straipsnyje aprašomos šešios realios dvirankės užduotys, kurių kiekviena truko maždaug dešimt minučių demonstracijų, pasiekiant 80–90 procentų sėkmę pavyzdžiuose, kuriuos jis pabrėžia. Jo idėja, veiksmų suskaidymas, yra kiekviename šiame puslapyje esančiame modelyje, o jo abliacija vis dar geriausiai matuoja efektą: atliekant dvi imituotas užduotis su išjungtu laiko ansambliu, sėkmė pakyla nuo 1 procento esant k=1 iki 44 procentų esant k=100. ACT puslapis turi likusią informaciją.

Ką iš tikrųjų sako etalonai

LIBERO yra vienas etalonas, apie kurį praneša trys iš šių penkių: kalba sąlygotos užduotys su imituotu Franka Panda robotu, suskirstytos į keturis toliau nurodytus rinkinius po dešimt užduočių. NVIDIA atliko 200 bandymų kiekvienam rinkiniui.

SimplerEnv rodo pasiskirstymą, ko LIBERO nedaro. NVIDIA lygina N1.7 su N1.6, kas yra artimiausia viešai prieinama „kartų skirtumo“ išraiška.

Eilutė „Bridge“ yra naudinga: vidutiniškai 5.7 taško pelnyta, o put_eggplant_in_basket prarado 36, o put_eggplant_in_sink nukrito nuo 33 iki 2. Nauja karta perkelia pasiskirstymą, o ne jį pakelia, todėl jei jūsų užduotis yra ten, kur N1.7 regresavo, vidurkis nieko nesako.

Iš penkių, tik SmolVLA straipsnis praneša apie SO-100 klasės ranką: 78.3 procento SmolVLA ir 61.7 Pi0 trims užduotims, abi daugiafunkcinės, palyginti su 48.3 ACT apmokytam vienos užduoties modeliui, kas nėra lyginama vienas su vienu. Švarus poravimas yra abiejų vienos užduoties modelių palyginimas SO-101 paėmimo ir padėjimo užduotyje: 90 prieš 70 pasiskirstyme, 50 prieš 40 už jo ribų. Palyginkite ACT prieš SmolVLA ir Pi0.5 prieš SmolVLA, arba naršykite areną.

Vėlavimas ir kaina lemia diegimą

Inferencijos vėlavimas yra apribojimas, kurį žmonės atranda paskutinį ir apgailestauja pirmiausia. Politika, penkiais punktais geresnė pagal etaloną, bet pusė sekundės vienam veiksmo žingsniui, atrodo blogiau ant jūsų stalo: kontaktinė dinamika nelaukia.

Vienas įspėjimas: GR00T duomenys nesutampa su NVIDIA kortelės duomenimis, kuri matuoja 4 triukšmo šalinimo žingsnius ir vieną kamerą per 85.8 ms H100 kortelėje „eager“ režimu, 48.6 ms su torch.compile, 27.9 ms per visą TensorRT. Čia nurodyti 152 ms yra viso sistemos sluoksnio duomenys su aptarnavimo sąnaudomis ir daugiau nei viena kamera, o ne tik „forward pass“.

Vienas būdas sutaupyti laiko nekeičiant modelio: SmolVLA straipsnyje lyginamas sinchroninis vykdymas, kai politika baigia vieną dalį prieš prognozuodama kitą, su asinchroniniu, kai prognozavimas persidengia su vykdymu. Sėkmė panaši, 78.3 prieš 73.3, tačiau tas pats paėmimas ir padėjimas užtrunka 9.7 sekundės vietoj 13.75, ir fiksuotame lange robotas atlieka 19 ciklų vietoj 9.

Licencijos, patikrintos, nes niekas jų netikrina

Pi0.5 eilutei reikia dėmesio. LeRobot pi05 dokumentacijoje nurodoma Apache 2.0, atitinkanti openpi, o Hub kortelėje, skirtoje lerobot/pi05_base nurodoma license: gemma. Abu yra aktyvūs. GR00T N1.7 turi švelnesnę versiją: Isaac-GR00T README dokumente tarp kitko minima, kad N1.7 yra visiškai komerciškai licencijuojama pagal Apache 2.0, o jos pačios licencijos skyrius ir modelio kortelė nurodo, kad tik kodas yra pagal Apache 2.0, o svoriai – pagal NVIDIA Open Model License.

Numatytosios reikšmės, kurias iš tikrųjų paleisite

Kiekviena treniruoklio forma turi numatytąsias reikšmes, ir jos nėra atsitiktinės. ACT yra LeRobot nuosavos: paketas 8, lr 1e-5, 100000 mokymo žingsniai, bloko dydis 100, atitinkantis ACTConfig aukščiau ir k=100 from the ACT paper. Vienas stulpelis žemiau yra spąstai.

Nustatymas, kuris svarbesnis už modelio pasirinkimą

Tai yra veiksmo gabalas. Ilgesni gabalai užtikrina sklandesnį judesį ir mažiau sudėtinių klaidų, tačiau politika yra įsipareigojusi, kol blokas vykdomas, todėl ji vėlai reaguoja į bet ką, kas juda: užtikrinta ant statinio kubo, beviltiška ant riedančio. Jei jis peršoka, sutrumpinus vykdomą dalį, nereikia perkvalifikuoti ir tai nieko nekainuoja. Sąnarys, kuris sustoja per anksti, yra kita problema; žr. .

• ACT: ACTConfig numatytosios reikšmės yra chunk_size 100 ir n_action_steps 100. Laikinis ansambliavimas yra išjungtas ir reikalauja n_action_steps 1.
• GR00T N1.7: vidinis horizontas padidėjo nuo 16 iki 40, tačiau LeRobot SO-101 pavyzdys vis dar vykdo --policy.chunk_size=16 --policy.n_action_steps=16. Išskleidimo vėliavėlė buvo pervadinta į --execution-horizon.
• Pi0.5: 50 žingsnių gabalas, iš kurio LeRobot LIBERO receptas vykdo 10 per --policy.n_action_steps=10; su --policy.pretrained_path jis grįžta prie 50, jei praleidžiate vėliavėlę.
• SmolVLA: 50 veiksmų gabalai, abu valdikliai atviri.

Kaip patikrinti visus penkis per vieną popietę

Pigiausias atsakymas nėra daugiau skaitymo. Išleiskite apie 15 USD ir leiskite rankai jums pasakyti: įrašykite vieną kartą, pirmiausia apmokykite pigų modelį, eskaluokite, kai jis įrodys duomenų patikimumą. Struktūra nugali apimtį, tai yra esmė ir .

1. 1
   Įrašykite 50 epizodų vieną kartą

   Penkiasdešimt paruošia dirvą GR00T, Pi0.5 ir ACT, bei SmolVLA 30. Kartokite kiekvieną variaciją, o ne sklaidykite: 50 epizodų per 5 kubo pozicijas, kur 25 nebuvo apmokyti. Žr. įrašykite savo pirmąjį duomenų rinkinį.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Pirmiausia apmokykite ACT, nes jis negali jums meluoti

   Nėra iš anksto apmokytų svorių, tad jei užduotis apskritai atliekama, jūsų duomenų rinkinyje yra užduotis. Jei ACT rezultatai nekinta, pataisykite duomenis. 1–3 USD, 2–5 valandos su 24 GB kortele.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Paleiskite SmolVLA su tuo pačiu duomenų rinkiniu, nepakeistu

   Tie patys duomenys, ta pati ranka, 450 M parametrų vietoj 80 M, plius kalbos sąlygojimas. LeRobot 20K žingsnių vykdymą įvertina maždaug 4 valandomis su viena A100. Tai parodo, ar išankstinis apmokymas duoda naudos.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Konvertuokite į v2.1, prieš liesdami GR00T

   GR00T skaito LeRobot v2 formato variantą, plius papildomą meta/modality.json, nurodantį, kaip sujungti būsenos ir veiksmo masyvai suskirstomi į pavadintus laukus. V3.0 duomenų rinkinys sugadina tą įkroviklį, nes v3.0 supakuoja daug epizodų į bendrus failus, kur v2 rašė po vieną epizodą. Isaac-GR00T pateikia atnaujinimo pagalbininką kaip scripts/lerobot_conversion/convert_v3_to_v2.py; v3 atmetimo puslapis yra greitasis kelias.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Pereikite prie GR00T N1.7 tik tuo atveju, jei pirmieji du paliko neišspręstų klausimų

   Per NVIDIA CLI, parodytą čia, arba LeRobot groot politikos tipą. NVIDIA rekomenduoja 40 GB ar daugiau VRAM smulkiam derinimui, 16 GB – išvadoms. Esant OOM, žr. OOM puslapį.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Du būdai atlikti tą atrankos patikrinimą

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Pagrindinis modelis arba nuo nulio

Tikrasis pasirinkimas nėra, kurį 3 B modelį pasirinkti. Tai yra, ar apskritai naudoti iš anksto apmokytą VLA, atsižvelgiant į tai, kad ACT išmoko šešias realias dvirankes užduotis iš maždaug dešimties minučių demonstracijų kiekvienai, su 80 M parametrų ir nieko iš anksto neapmokyto.

Seno paleidimo atkartojimo atvejis

Siekiant 2025 m. kontrolinio taško, modelio pasirinkimas tampa aiškus ir problema virsta versijos fiksavimu: dabartinis LeRobot atmeta N1.5, todėl jūs fiksuojate lerobot==0.5.1. Neturint sėklos lauko ir esant 5–6 procentų dispersijai tarp paleidimų, atkartojimas yra apytikslis pagal konstrukciją. ir turi platformos pusę.

Liko du? ACT prieš GR00T N1.7 ir GR00T N1.7 prieš SmolVLA. Neapdorotos eilutės yra arenos įrašuose: GR00T N1.7, Pi0.5, SmolVLA ir ACT.

Kuo ši platforma jums nepadeda

• Ji negali pagreitinti nuotolinio išvadų darymo. 20–485 ms ciklas priklauso modeliui; interneto kelionės pirmyn ir atgal prideda laiko.
• Ji negali patobulinti GR00T ar Pi0.5 jūsų pačių aparatinėje įrangoje. Abu čia yra tik debesyje; tik SmolVLA ir ACT veikia lokaliai.
• Ji negali pataisyti duomenų rinkinio. Nuostolis mažėja, bet politika nieko nedaro yra duomenų problema, politika, kuri veikia tik vienoje sąrankoje yra aprėpties problema.
• Ji negali padaryti GR00T vykdymų atkuriamų: aukštesnio lygio konfigūracijoje nėra sėklos lauko.

Pasirinkti vieną ir judėti toliau

Vienas numatytasis: įrašyti 50 epizodų, apmokyti ACT už 1–3 USD, kad įrodytumėte duomenų rinkinį, tada SmolVLA ant tų pačių duomenų. Iš viso mažiau nei 6 USD, ir jie atsako į svarbų klausimą: ar išankstinis apmokymas čia padeda, ar arba ar kliūtis yra duomenys. Pereiti prie GR00T N1.7 sudėtingoms daugiapakopėms užduotims, prie Pi0.5, kai keičiasi scena.

Platformos apžvalga: apmokyti savo pirmąją politiką, tada paleisti savo pirmąją politiką. mokymo dokumentacija ir duomenų rinkinių dokumentacija apima formą ir formatą; SO-100 puslapis ir išsamus SO-100 vadovas apima konstravimą ir kalibravimą. Fonas: VLA apžvalga ir Pi0 srauto derinimo straipsnis. Tas, kuris padidins jūsų sėkmės rodiklį, yra duomenų kokybės vadovas.