Millist VLA poliitikat peaksite 2026. aastal treenima?

Täna on SO-100 klassi robotkäel treenitavad viis poliitikat. Need erinevad 24-kordselt järeldamise latentsusajas, 37-kordselt parameetrite arvus ja 12-kordselt käituse maksumuses, samuti selles, kas tulemust tohib tarnida. Viis mudelikaarti seda ei lahenda: ükski neist ei vasta teie küsimusele, millist neist peaksin esimesena käitama?

Kõik alltoodud numbrid on loetud paberitest, repositooriumitest ja kaartidelt 2026. aasta augustis. Platvormi numbrid pärinevad AY-Robots poliitikate kataloog; kus need kaks ei kattu, on näidatud mõlemad.

Otsustustabel

Viis kandidaati

Kõik viis on poliitikad: kaamera kaadrid, liigeste positsioonid ja, nelja puhul keeleline juhis, mis on kaardistatud tulevaste liigeste sihtmärkide plokiks. Mis neid eristab, on see, kui palju oli õpitud enne sinu saabumist.

GR00T N1.7

NVIDIA praegune nägemis-keele-tegevuse mudel, umbes 3 miljardit parameetrit, millest ligikaudu 40 miljonit on treenitud peenhäälestuse käigus. Reposatoorium loetleb N1.6-st pärit erinevused: selgroog on muudetud tarnitud Eagle mudelist Cosmos-Reason2-2B-ks Qwen3-VL-il, difusioonikihid 32-lt 16-le, oleku- ja tegevusdimensioonid 29-lt 132-le, tegevushorisont 16-lt 40-le.

Väikese roboti käe puhul on oluline suhteline otsaefektori tegevusruum: N1.7 ennustab erinevusi praegusest asendist, mis võimaldab 20K tundi EgoScale inimvideot üle kanda roboti poliitikasse. Spetsifikatsioon on N1.7 lehel, protseduur on kirjeldatud N1.7 SO-100 juhendis.

GR00T N1.5

Sama 3 B skaala, Eagle 2 selgroog, SigLip2 ja T5, voolu sobitamise DiT pea. See on olemas selleks, et laiendada kontrollpunkti mida teil juba on. Kaks asja muudavad selle kehvaks vaikeseadeks: kaalud kannavad NVIDIA ühesuunalist mitteärilist litsentsi ja praegused LeRoboti väljalasked eemaldasid N1.5 toe. Vaata N1.7 versus N1.5.

Pi0.5

Physical Intelligence'i voolu sobitamise VLA, poliitika tüüp pi05. Artikkel kirjeldab 2 B VLM-i, mis on initsialiseeritud PaliGemma-st pluss 300 M tegevusekspert, juhtides robotit 50 Hz juures; LeRoboti pi05 konfiguratsioon vaikimisi kasutab 50-sammulist tükki, üks sekund selle kiirusega. Müügiargument on nägemata kohad: umbes 400 tundi mobiilset manipulatsiooni reaalsetes kodudes ja skaleerimisuuring 3, 12, 22, 53, 82 ja 104 asukoha kohta, kus 104 asukohaga mudel vastas kontrollile, mis oli treenitud testkodudes endis.

Üks piirang, mis on märgitud lerobot/pi05_base kaardil: port edastab ainult voo sobitamise action head. Alamülesannete ennustamine, tegevuste tokeniseerimine ja RL-i ei avaldatud ülesvoolu ning openpi ütleb sama oma hoidla kohta. Pi0.5 leht ja Pi0.5 SO-100 juhend sisaldavad ülejäänut.

SmolVLA

450 miljonit parameetrit, umbes 100 miljonit tegevuseksperdis, SmolVLM-2 peal, kus VLM on külmutatud ja kasutatakse ainult selle esimest 16 keelemudeli kihti. Eeltreeninguks kasutati kogukonna andmeid: 481 andmekogumit, 10,6 miljonit kaadrit, samadelt odavatelt robotkäppadelt, mida te kasutate. Ainus VLA siin, mis mahub ühele 24 GB kaardile, ja ainus 30 episoodi piir. Vaata SmolVLA lehte.

ACT

Mitte alusmudel. ALOHA Action Chunking Transformer on umbes 80 miljoni parameetriga mudel, mis on treenitud nullist iga ülesande jaoks, 50 demonstratsiooni põhjal sagedusega 50 Hz. Artikkel kirjeldab kuut reaalset kahekäelist ülesannet, mis põhinevad umbes kümneminutilistel demonstratsioonidel, saavutades 80–90-protsendilise edukuse esiletoodud näidetel. Selle idee, tegevuste tükeldamine, on sellel lehel igas mudelis kasutusel ja selle ablatsioonimõõtmised näitavad endiselt mõju kõige paremini: kahel simuleeritud ülesandel, kus ajaline ansambel oli välja lülitatud, tõusis edukus 1 protsendilt (k=1) 44 protsendini (k=100). ACT lehelon ülejäänu.

Mida võrdlusnäitajad tegelikult ütlevad

LIBERO on ainus võrdlusnäitaja, millest kolm neist viiest aru annavad: keeleliselt tingitud ülesanded simuleeritud Franka Panda robotil, jagatud neljaks allpool toodud komplektiks, milles on kümme ülesannet. NVIDIA viis läbi 200 katset komplekti kohta.

SimplerEnv näitab hajuvust, mida LIBERO ei näita. NVIDIA võrdleb N1.7 N1.6-ga, mis on lähim avalik asi generatsioonilisele deltale.

Rida Bridge on kasulik: keskmiselt 5,7 punkti võideti, samal ajal kui put_eggplant_in_basket kaotas 36 ja put_eggplant_in_sink langes 33-lt 2-le. Uus põlvkond nihutab jaotust, mitte tõstes seda, nii et kui teie ülesanne asub seal, kus N1.7 taandus, ei ütle keskmine midagi.

Viie hulgast teatab ainult SmolVLA artikkel SO-100 klassi käe kohta: 78,3 protsenti SmolVLA-le ja 61,7 Pi0-le kolme ülesande lõikes, mõlemad mitme ülesandega, võrreldes 48,3-ga ACT-le, mis on treenitud ühe ülesandega, mis ei ole võrreldav võrreldavaga. Puhas paardumine on mõlemad ühe ülesandega SO-101 pick-and-place: 90 versus 70 jaotuses, 50 versus 40 väljaspool seda. Võrdle ACT versus SmolVLA ja Pi0.5 versus SmolVLA, või sirvi areeni.

Latentsus ja maksumus otsustavad juurutamise

Järelduse latentsus on piirang, mille inimesed avastavad viimasena ja kahetsevad esimesena. Poliitika, mis on võrdlusalusel viis punkti parem, kuid võtab poole sekundi tegevussammu kohta, näeb teie laual halvem välja: kontaktdünaamika ei oota.

Üks hoiatus: GR00T näitaja ei ühti NVIDIA kaardiga, mis mõõdab 4 müra eemaldamise sammu ja ühe kaamera puhul 85.8 ms H100-l eager režiimis, 48.6 ms torch.compile'iga, 27.9 ms läbi täieliku TensorRT. Siinne 152 ms on kogu süsteemi näitaja koos teeninduse üldkulude ja rohkem kui ühe kaameraga, mitte edasikäik.

Üks viis aega võita mudelit muutmata: SmolVLA paber mõõdab sünkroonset täitmist, kus poliitika lõpetab tüki enne järgmise ennustamist, võrreldes asünkroonsega, kus ennustus kattub täitmisega. Edu on sarnane, 78.3 vs 73.3, kuid sama valimine ja paigutamine võtab 9.7 sekundit 13.75 asemel, ja fikseeritud aknas suudab robot 19 tsüklit 9 asemel.

Litsentsid, kontrollitud, sest keegi ei kontrolli neid

Pi0.5 rida vajab tähelepanu. LeRoboti pi05 dokumentatsioon väidab Apache 2.0, mis on kooskõlas openpi-ga, samal ajal kui Hubi kaart lerobot/pi05_base sisaldab license: gemma. Mõlemad on aktiivsed. GR00T N1.7-l on leebem versioon: Isaac-GR00T README märgib möödaminnes, et N1.7 on täielikult äriliselt litsentseeritav Apache 2.0 alusel, samal ajal kui selle enda litsentsiosa ja mudelikaart paigutavad koodi ainult Apache 2.0 alla ja kaalud NVIDIA Open Model License'i alla.

Vaikeseaded, mida te tegelikult käitate

Iga treeneri vormiga on kaasas vaikeseade ja need ei ole meelevaldsed. ACT-i omad on LeRoboti enda omad: partii 8, lr 1e-5, 100000 treeningusammud, tüki suurus 100, mis vastab ACTConfig-ile ülesvoolu ja k=100 ACT-i artiklist. Üks veerg allpool on lõks.

Seade, mis loeb rohkem kui mudeli valik

See on tegevuse tükk. Pikemad tükid annavad sujuvama liikumise ja vähem kuhjuvaid vigu, kuid poliitika on pühendunud ploki täitmise ajal, seega reageerib see hilja kõigele, mis liigub: kindel staatilisel kuubikul, lootusetu veereval. Kui see ületab sihtmärgi, on täidetud osa lühendamine parem kui ümberõpe ja on tasuta. Liigend, mis peatub liiga vara, on teine probleem; vaata .

• ACT: ACTConfig vaikimisi on chunk_size 100 ja n_action_steps 100. Ajaline ansambel on välja lülitatud ja nõuab n_action_steps 1.
• GR00T N1.7: sisemine horisont kasvas 16-lt 40-le, kuid LeRoboti SO-101 näide töötab endiselt --policy.chunk_size=16 --policy.n_action_steps=16. Väljarullimise lipp nimetati ümber --execution-horizon.
• Pi0.5: 50-sammuline tükk, millest LeRoboti LIBERO retsept täidab 10 --policy.n_action_steps=10 kaudu; --policy.pretrained_path korral langeb see tagasi 50-le, kui lipu ära jätate.
• SmolVLA: 50-tegevuse tükid, mõlemad nupud on avatud.

Kuidas kõik viis ühe pärastlõunaga läbi vaadata

Kõige odavam vastus ei ole rohkem lugemist. Kulutage umbes 15 USD ja laske robotkäel endale öelda: salvestage üks kord, treenige esmalt odavat mudelit, eskaleerige, kui see on andmete usaldusväärsust tõestanud. Struktuur võidab mahu, mis on ja .

1. 1
   Salvesta 50 episoodi korraga

   Viiskümmend episoodi on aluseks GR00T-le, Pi0.5-le ja ACT-le, ning SmolVLA 30-le. Korda iga variatsiooni, selle asemel et laiali valguda: 50 episoodi treeniti viies kuubiku asendis, kus 25 episoodi ei treenitud. Vaata salvesta oma esimene andmestik.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Treeni ACT-d esimesena, sest see ei saa sulle valetada

   Eeltreenitud kaalusid pole, nii et kui see üldse ülesannet täidab, sisaldab teie andmestik ülesannet. Kui ACT ei anna tulemusi, paranda andmed. 1 kuni 3 USD, 2 kuni 5 tundi 24 GB kaardil.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Käivita SmolVLA samal andmestikul, muutmata kujul

   Samad andmed, sama käsi, 450 miljonit parameetrit 80 miljoni asemel, pluss keeleline tingimine. LeRobot hindab 20K sammu läbimist umbes 4 tunnile ühel A100-l. See näitab, kas eeltreenimine annab midagi.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Teisenda v2.1-le enne, kui GR00T-i puudutad

   GR00T loeb LeRobot v2 formaadi varianti pluss täiendavat meta/modality.json faili, mis kaardistab, kuidas ühendatud oleku- ja tegevusmassiivid jagunevad nimetatud väljadeks. v3.0 andmestik põhjustab selle laadija kokkujooksmise, sest v3.0 pakib palju episoode jagatud failidesse, kus v2 kirjutas ühe episoodi kohta. Isaac-GR00T tarnib allapoole teisendamise abivahendi kui scripts/lerobot_conversion/convert_v3_to_v2.py; v3 tagasilükkamise leht on kiireim tee.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Kasuta GR00T N1.7-t ainult siis, kui esimesed kaks jätsid midagi lauale

   NVIDIA CLI kaudu, mis on siin näidatud, või LeRoboti groot poliitika tüübi kaudu. NVIDIA soovitab peenhäälestamiseks 40 GB või rohkem VRAM-i, järelduste tegemiseks 16 GB. OOM-i korral vaata OOM-i lehte.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Kaks viisi selle sõelumise läbiviimiseks

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Alusmudel või nullist

Tegelik valikukoht ei ole see, millist 3 B mudelit valida. See on pigem see, kas üldse kasutada eelkoolitatud VLA-d, arvestades et ACT õppis kuus reaalset kahekäelist ülesannet umbes kümne minuti pikkuste demonstratsioonide põhjal, 80 miljoni parameetriga ja mitte midagi eelkoolitatut.

Vana käivituse reprodutseerimise juhtum

2025. aasta kontrollpunkti tagaajamine teeb mudelivaliku teie eest ja muudab probleemi versiooni lukustamiseks: praegune LeRobot lükkab N1.5 tagasi, seega lukustate lerobot==0.5.1. Ilma seemneväljaga ja 5 kuni 6 protsendi variatsiooniga käivituste vahel on reprodutseerimine konstruktsiooni poolest ligikaudne. N1.5 SO-100 juhend ja N1.5 poliitika leht on platvormi poolel.

Kas jäi kaks? ACT GR00T N1.7 vastu ja GR00T N1.7 SmolVLA vastu. Toores read asuvad areeni kirjete juures: GR00T N1.7, Pi0.5, SmolVLA ja ACT.

Milles see platvorm teid ei aita

• See ei saa muuta kaugjäreldamist kiireks. 20 kuni 485 ms tsükkel kuulub mudelile; interneti edasi-tagasi reisid lisavad sellele aega.
• See ei saa peenhäälestada GR00T-d ega Pi0.5-d teie enda riistvaral. Mõlemad on siin ainult pilvepõhised; ainult SmolVLA ja ACT töötavad lokaalselt.
• See ei saa andmestikku parandada. Kadu langeb, kuid poliitika ei tee midagi on andmeprobleem, poliitika, mis töötab ainult ühes seadistuses on katvuse probleem.
• See ei saa muuta GR00T käitusi reprodutseeritavaks: ülesvoolu konfiguratsioonis puudub seemnevälja (seed field).

Ühe valimine ja edasi liikumine

Üks vaikeseade: salvestage 50 episoodi, treenige ACT-i 1 kuni 3 USD eest andmestiku tõestamiseks, seejärel SmolVLA-d samade andmetega. Kokku alla 6 USD, ja need vastavad olulisele küsimusele: kas eelkoolitus aitab siin, või kas kitsaskohaks on andmed. Kontaktirikaste mitmeastmeliste ülesannete puhul kasutage GR00T N1.7, Pi0.5-i aga siis, kui stseen muutub.

Platvormi ülevaade: treenige oma esimene poliitika, seejärel käivitage oma esimene poliitika. treeningu dokumendid ja andmestiku dokumendid käsitlevad vormi ja formaati; SO-100 leht ja täielik SO-100 juhend käsitlevad ehitust ja kalibreerimist. Taust: VLA ülevaade ja Pi0 voolu sobitamise artikkel. See, mis teie edukuse määra tõstab, on andmete kvaliteedi juhend.