Watter VLA-beleid moet jy in 2026 oplei?

Vyf beleide is vandag opleibaar op 'n SO-100 klas arm. Hulle verskil met 'n faktor van 24 in inferensie-latensie, 37 in parameter telling en 12 in wat 'n lopie kos, en in of jy die resultaat mag verskeep. Vyf modelkaarte sal dit nie oplos nie: geeneen beantwoord die vraag wat jy het nie, watter een moet ek eerste loop?

Elke nommer hieronder is in Augustus 2026 uit die referate, repos en kaarte gelees. Platformnommers kom van die AY-Robots beleidskatalogus; waar die twee verskil, word beide getoon.

Die besluitstabel

Die vyf kandidate

Al vyf is beleide: kamera rame, gewrigsposisies en, vir vier van hulle, 'n taalinstruksie, gekarteer na 'n stuk toekomstige gewrigsteikens. Wat hulle skei, is hoeveel geleer is voordat jy aangekom het.

GR00T N1.7

NVIDIA se huidige visie-taal-aksie-model, ongeveer 3 B parameters, rofweg 40 M opgelei tydens fyninstelling. Die repo lys die deltas van N1.6: ruggraat van 'n verskafferde Eagle-model na Cosmos-Reason2-2B op Qwen3-VL, diffusielae 32 na 16, toestand- en aksiedimensies 29 na 132, aksiehorison 16 na 40.

Wat saak maak op 'n klein arm is die relatiewe eindeffektor-aksieruimte: N1.7 voorspel deltas vanaf die huidige posisie, wat dit moontlik maak dat 20K ure se EgoScale menslike video na 'n robotbeleid oorgedra word. Spesifikasie op die N1.7-bladsy, prosedure in die N1.7 op SO-100 gids.

GR00T N1.5

Dieselfde 3 B skaal, Eagle 2 ruggraat, SigLip2 en T5, vloeipas-DiT-kop. Dit bestaan om 'n wat jy reeds het, uit te brei. Twee dinge maak dit 'n swak verstek: die gewigte dra NVIDIA's one-way non-commercial licence, en huidige LeRobot-vrystellings het N1.5-ondersteuning verwyder. Sien .

Pi0.5

Physical Intelligence se VLA, beleidstipe pi05. Die referaat gee 'n 2 B VLM geïnisialiseer vanaf PaliGemma plus 'n 300 M aksie-ekspert, wat die robot teen 50 Hz aandryf; LeRobot se pi05 config verstek na 'n 50-stap-stuk, een sekonde teen daardie tempo. Die verkoopspunt is ongesiene plekke: ongeveer 400 hours of mobile manipulation in real homes, en 'n skaalstudie oor 3, 12, 22, 53, 82 en 104 liggings, waar die 104-ligging-model ooreenstem met 'n beheer wat op die testhuise self opgelei is.

Een beperking, vermeld op die lerobot/pi05_base kaart: die poort dra slegs die vloeipasende action head. Subtaakvoorspelling, aksietokenisering en RL is nie stroomop vrygestel nie, en openpi sê dieselfde van sy eie bewaarplek. Die Pi0.5-bladsy en die Pi0.5 op SO-100 gids het die res.

SmolVLA

450 M parameters, ongeveer 100 M in die aksie-ekspert, op SmolVLM-2 met die VLM gevries en slegs sy eerste 16 taalmodel-lae gebruik. Vooropleiding was gemeenskapsdata: 481 datastelle, 10.6 M rame, van dieselfde goedkoop arms wat jy gebruik. Die enigste VLA hier wat op een 24 GB kaart pas, en die enigste 30 episode vloer. Sien die SmolVLA-bladsy.

ACT

Nie 'n grondslagmodel nie. Die Action Chunking Transformer van ALOHA is ongeveer 80 M parameters wat opgelei is van nuuts af per taak, op 50 demonstrasies teen 50 Hz. Die referaat rapporteer ses regte bimanuële take van ongeveer tien minute se demonstrasies elk, teen 80 tot 90 persent op die voorbeelde wat dit uitlig. Die idee daarvan, aksie-chunking, is in elke model op hierdie bladsy, en die ablasie meet steeds die effek die beste: oor twee gesimuleerde take met tydelike ensemblering afgeskakel, styg sukses van 1 persent by k=1 tot 44 persent by k=100. Die ACT-bladsy het die res.

Wat die maatstawwe werklik sê

LIBERO is die een maatstaf waaroor drie van hierdie vyf rapporteer: taal-gekondisioneerde take op 'n gesimuleerde Franka Panda, verdeel in die vier suites hieronder met tien take elk. NVIDIA het 200 proewe per suite uitgevoer.

SimplerEnv toon die verspreiding, wat LIBERO nie doen nie. NVIDIA vergelyk N1.7 teen N1.6, die naaste publieke ding aan 'n generasionele delta.

Die Bridge-ry is die nuttige een: gemiddeld 5.7 punte behaal terwyl put_eggplant_in_basket 36 verloor het en put_eggplant_in_sink van 33 na 2 gedaal het. 'n Nuwe generasie verskuif die verspreiding eerder as om dit op te lig, so as jou taak sit waar N1.7 teruggeval het, sê die gemiddelde niks.

Van die vyf, rapporteer slegs die SmolVLA-referaat oor 'n SO-100 klas arm: 78.3 persent vir SmolVLA en 61.7 vir Pi0 oor drie take, beide multi-taak, teenoor 48.3 vir ACT wat enkel-taak opgelei is, wat nie vergelykbaar is nie. Die skoon paring is beide enkel-taak op SO-101 optel-en-plaas: 90 teenoor 70 in verspreiding, 50 teenoor 40 daarbuite. Vergelyk op ACT teen SmolVLA en Pi0.5 teen SmolVLA, of blaai deur die arena.

Latensie en koste bepaal ontplooiing

Afleidingslatensie is die beperking wat mense laaste ontdek en eerste spyt. 'n Beleid vyf punte beter op 'n maatstaf, maar 'n halwe sekonde per aksiestap lyk slegter op jou lessenaar: kontakdinamika wag nie.

Een voorbehoud: die GR00T-syfer stem nie ooreen met NVIDIA se kaart nie, wat 4 denoiseringstappe en een kamera op 85.8 ms op 'n H100 in gretige modus, 48.6 ms met torch.compile, 27.9 ms deur volle TensorRT meet. Die 152 ms hier is 'n hele-stapel-syfer met bedieningsbokoste en meer as een kamera, nie 'n vorentoe-pas nie.

Een manier om tyd te wen sonder om die model te verander: die SmolVLA-artikel meet sinchroniese uitvoering, waar die beleid 'n stuk voltooi voordat die volgende voorspel word, teenoor asinchroon, waar voorspelling uitvoering oorvleuel. Sukses is soortgelyk, 78.3 teenoor 73.3, maar dieselfde optel-en-plaas neem 9.7 sekondes in plaas van 13.75, en in 'n vaste venster bestuur die robot 19 siklusse in plaas van 9.

Lisensies, nagegaan omdat niemand dit nagaan nie

Die Pi0.5 ry benodig aandag. Die LeRobot pi05 dokumentasie meld Apache 2.0, konsekwent met openpi, terwyl die Hub-kaart vir lerobot/pi05_base dra license: gemma. Albei is aktief. GR00T N1.7 het 'n sagter weergawe: die Isaac-GR00T README meld terloops dat N1.7 ten volle kommersieel lisensieerbaar is onder Apache 2.0, terwyl sy eie lisensie-afdeling en die modelkaart slegs die kode onder Apache 2.0 en die gewigte onder die NVIDIA Open Model License.

Die verstekke wat jy werklik sal uitvoer

Elke opleier-vorm verskaf 'n verstek, en dit is nie arbitrêr nie. ACT se is LeRobot s'n: batch 8, lr 1e-5, 100000 opleidingstappe, chunk size 100, matching ACTConfig upstream and k=100 from the ACT paper. Een kolom hieronder is 'n strik.

Die knop wat meer saak maak as die modelkeuse

Dit is die aksie-stuk. Langer stukke gee gladder beweging en minder saamgestelde foute, maar die beleid is vasgelê terwyl die blok uitvoer, so dit reageer laat op enigiets wat beweeg: selfversekerd op 'n statiese kubus, hopeloos op 'n rollende een. As dit oorskiet, is die verkorting van die uitgevoerde gedeelte beter as heropleiding en is gratis. 'n Gewrig wat te vroeg stop is 'n ander probleem; sien .

• ACT: ACTConfig verstek na chunk_size 100 en n_action_steps 100. Tydelike ensemblering is af en vereis n_action_steps 1.
• GR00T N1.7: interne horison het van 16 na 40 gegaan, tog loop LeRobot se SO-101 voorbeeld steeds --policy.chunk_size=16 --policy.n_action_steps=16. Die uitrol-vlag is hernoem na --execution-horizon.
• Pi0.5: 'n 50-stap stuk, waarvan LeRobot se LIBERO-resep 10 uitvoer via --policy.n_action_steps=10; met --policy.pretrained_path val dit terug na 50 as jy die vlag weglaat.
• SmolVLA: 50-aksie stukke, beide knoppe blootgestel.

Hoe om al vyf in een middag te skerm

Die goedkoopste antwoord is nie meer lees nie. Spandeer ongeveer 15 USD en laat die arm jou vertel: neem een keer op, lei eers die goedkoop model op, eskaleer sodra dit bewys het dat die data gesond is. Struktuur klop volume, die punt van en die .

1. 1
   Neem 50 episodes een keer op

   Vyftig maak die weg oop vir GR00T, Pi0.5 en ACT, en SmolVLA se 30. Herhaal elke variasie eerder as om dit te versprei: 50 episodes oor 5 kubusposisies opgelei waar 25 nie was nie. Sien neem jou eerste datastel op.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Lei ACT eers op, want dit kan nie vir jou lieg nie

   Geen vooraf-opgeleide gewigte nie, so as dit enigsins die taak verrig, bevat jou datastel die taak. As ACT platval, herstel die data. 1 tot 3 USD, 2 tot 5 uur op 'n 24 GB kaart.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Loop SmolVLA op dieselfde datastel, onveranderd

   Dieselfde data, dieselfde arm, 450 M parameters in plaas van 80 M, plus taal-kondisionering. LeRobot skat 'n 20K stap-lopie op ongeveer 4 uur op een A100. Dit is wat jou vertel of vooraf-opleiding enigiets bydra.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Skakel af na v2.1 voordat jy GR00T aanraak

   GR00T lees 'n variant van die LeRobot v2-formaat plus 'n ekstra meta/modality.json wat karteer hoe saamgevoegde toestand- en aksie-skikkings in benoemde velde verdeel. 'n v3.0-datastel laat daardie laaier ineenstort, omdat v3.0 baie episodes in gedeelde lêers pak waar v2 een per episode geskryf het. Isaac-GR00T lewer die afgraderingshulpmiddel as scripts/lerobot_conversion/convert_v3_to_v2.py; die v3-verwerpingsbladsy is die vinnige pad.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Eskaleer na GR00T N1.7 slegs as die eerste twee iets op die tafel gelaat het

   Deur NVIDIA se CLI, hier getoon, of LeRobot se groot beleidstipe. NVIDIA beveel 40 GB of meer VRAM aan vir fyninstelling, 16 GB vir inferensie. By 'n OOM, sien die OOM-bladsy.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Twee maniere om daardie siftingspas te loop

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Grondslagmodel of van nuuts af

Die ware tweespalt is nie watter 3 B-model om te kies nie. Dit is of 'n vooraf-opgeleide VLA hoegenaamd gebruik moet word, gegewe dat ACT ses werklike bimanuële take geleer het uit ongeveer tien minute se demonstrasies elk, met 80 M parameters en niks vooraf-opgeleid nie.

Die geval van die reproduksie van 'n ou lopie

Om 'n 2025-kontrolepunt na te jaag, maak die modelkeuse vir jou en verander die probleem in weergawevaspenning: huidige LeRobot verwerp N1.5, so jy pen lerobot==0.5.1. Met geen saadveld en 5 tot 6 persent variansie tussen lopies, is die reproduksie by konstruksie benaderd. en het die platformkant.

Af na twee? ACT teen GR00T N1.7 en GR00T N1.7 teen SmolVLA. Rou rye sit in die arena inskrywings: GR00T N1.7, Pi0.5, SmolVLA en ACT.

Waar hierdie platform jou nie help nie

• Dit kan nie afgeleë inferensie vinnig maak nie. Die 20 tot 485 ms lus behoort aan die model; internet heen-en-weer reise voeg daarby.
• Dit kan nie GR00T of Pi0.5 op jou eie hardeware fyninstel nie. Beide is hier slegs wolk-gebaseerd; slegs SmolVLA en ACT loop plaaslik.
• Dit kan nie 'n datastel regmaak nie. Verlies daal maar die beleid doen niks is 'n dataprodukprobleem, 'n beleid wat slegs in een opstelling werk is 'n dekkingprobleem.
• Dit kan nie GR00T lopies reproduseerbaar maak nie: die stroomop konfigurasie het geen saadveld nie.

Een kies en aanbeweeg

Een verstek: neem 50 episodes op, oefen ACT vir 1 tot 3 USD om die datastel te bewys, dan SmolVLA op dieselfde data. Onder 6 USD saam, en hulle beantwoord die vraag wat saak maak: of vooropleiding hier help, of of die knelpunt die data is. Eskaleer na GR00T N1.7 vir kontakryke multi-stap take, na Pi0.5 wanneer die toneel verander.

Platform deurloop: oefen jou eerste beleid, dan voer jou eerste beleid uit. Die opleidingsdokumente en datasteldokumente dek vorm en formaat; die SO-100 bladsy en die volledige SO-100 gids dek bou en kalibrasie. Agtergrond: die VLA oorsig en die Pi0 vloeipas-artikel. Die een wat jou sukseskoers sal verhoog, is die datakwaliteitgids.