Melyik VLA irányelvet érdemes betanítani 2026-ban?

Öt irányelv képezhető ki ma egy SO-100 osztályú karon. Ezek 24-szeres eltérést mutatnak a következtetési késleltetésben, 37-szereset a paraméterek számában és 12-szereset a futtatás költségében, valamint abban, hogy szállítható-e az eredmény. Öt modellkártya nem fogja eldönteni: egyik sem válaszolja meg azt a kérdést, ami Önt érdekli, melyiket futtassam először?

Minden alábbi számot a tanulmányokból, repókból és kártyákból olvastunk ki 2026 augusztusában. A platformszámok a AY-Robots irányelv katalógusából; ahol a kettő eltér, mindkettő látható.

A döntési táblázat

Az öt jelölt

Mind az öt irányelv: kamera képkockák, ízületi pozíciók és, négyük esetében egy nyelvi utasítás, amely a jövőbeli ízületi célok egy részéhez van rendelve. Ami megkülönbözteti őket, az az, hogy mennyi volt megtanulva, mielőtt megérkezett.

GR00T N1.7

Az NVIDIA jelenlegi látás-nyelv-akció modellje, körülbelül 3 milliárd paraméterrel, melyből nagyjából 40 millió lett betanítva a finomhangolás során. A repóban szerepelnek az N1.6-hoz képesti eltérések: a gerinc egy szállítói Eagle modellről Cosmos-Reason2-2B-re változott Qwen3-VL-en, diffúziós rétegek 32-ről 16-ra, állapot- és akciódimenziók 29-ről 132-re, akcióhorizont 16-ról 40-re.

Ami egy kis kar esetében számít, az a relatív végrehajtó akciótér: az N1.7 a jelenlegi pózból származó deltákat jósolja, ami lehetővé teszi 20 ezer órányi EgoScale emberi videó átvitelét egy robot irányelvbe. A specifikáció az N1.7 oldalon, az eljárás pedig az N1.7 az SO-100-on útmutatóban.

GR00T N1.5

Ugyanaz a 3 B skála, Eagle 2 gerinc, SigLip2 és T5, flow-matching DiT fej. Arra szolgál, hogy kiterjessze egy amit már birtokolsz. Két dolog miatt nem jó alapértelmezett választás: a súlyok NVIDIA egyirányú, nem kereskedelmi licencét hordozzák, és a jelenlegi LeRobot kiadások eltávolították az N1.5 támogatását. Lásd .

Pi0.5

Physical Intelligence VLA-ja, házirend típusa pi05. A tanulmány egy 2 B VLM-et mutat be, amely PaliGemma-ból inicializált, plusz egy 300 M akció szakértővel, amely 50 Hz-en vezérli a robotot; A LeRobot pi05 konfigurációja alapértelmezetten egy 50 lépéses darabot használ, ami ezen a sebességen egy másodpercet jelent. Az értékesítési pont az ismeretlen helyek: körülbelül 400 órányi mobil manipuláció valós otthonokban, és egy skálázási tanulmány 3, 12, 22, 53, 82 és 104 helyszínen, ahol a 104 helyszínes modell megegyezett a tesztotthonokon képzett vezérléssel.

Egy korlát, amely a lerobot/pi05_base kártyán szerepel: a port csak az áramlás-illesztő akciófejet hordozza. Az alfeladat-előrejelzés, az akció-tokenizálás és az RL nem került kiadásra upstream, és az openpi ugyanezt állítja a saját tárolójáról. A Pi0.5 oldal és a Pi0.5 SO-100 útmutató tartalmazza a többit.

SmolVLA

450 M paraméter, ebből körülbelül 100 M az akció-szakértőben, SmolVLM-2-n, a VLM befagyasztva és csak az első 16 nyelvi modell rétegét használva. Az előképzés közösségi adatokból történt: 481 adatkészlet, 10.6 M képkocka, ugyanazokból a olcsó karokból, amiket Ön is használ. Az egyetlen VLA itt, ami elfér egy 24 GB-os kártyán, és az egyetlen 30 epizód alsó határ. Lásd a SmolVLA oldalt.

ACT

Nem alapmodell. Az ALOHA Action Chunking Transformerje körülbelül 80 millió paraméterrel rendelkezik, és feladatonként a nulláról lett betanítva, 50 demonstráció alapján 50 Hz-en. A tanulmány hat valós kétkezes feladatot ír le, mindegyikhez körülbelül tíz percnyi demonstrációval, 80-90 százalékos sikerrel a kiemelt példákon. Az ötlete, akció darabolás, minden modellen megtalálható ezen az oldalon, és az ablációs vizsgálata még mindig a hatást méri a legjobban: két szimulált feladatnál, kikapcsolt időbeli együttes alkalmazás (temporal ensembling) mellett, a siker 1 százalékról (k=1) 44 százalékra (k=100) nő. Az ACT oldal tartalmazza a többit.

Amit a benchmarkok valójában mondanak

A LIBERO az az egyetlen benchmark, amelyről ezen öt közül három beszámol: nyelvi feltételekhez kötött feladatok egy szimulált Franka Pandán, az alábbi négy csomagra osztva, tíz feladattal mindegyikben. Az NVIDIA 200 próbát futtatott csomagonként.

A SimplerEnv mutatja a szóródást, amit a LIBERO nem. Az NVIDIA az N1.7-et az N1.6-hoz hasonlítja, ami a legközelebbi nyilvános dolog egy generációs deltához.

A Bridge sor a hasznos: átlagosan 5,7 pontot szerzett, míg a put_eggplant_in_basket 36-ot vesztett, és a put_eggplant_in_sink 33-ról 2-re esett. Egy új generáció inkább eltolja az eloszlást, mint felemelné, így ha a feladata ott van, ahol az N1.7 visszaesett, az átlag semmit sem mond.

Az ötből csak a SmolVLA tanulmány számol be SO-100 osztályú karról: 78,3 százalék a SmolVLA és 61,7 a Pi0 számára három feladaton keresztül, mindkettő többfeladatos, szemben az ACT egyfeladatos képzésével, ami nem összehasonlítható. A tiszta párosítás mindkettő egyfeladatos az SO-101 pick-and-place feladaton: 90 a 70 ellen az eloszlásban, 50 a 40 ellen azon kívül. Hasonlítsa össze itt: ACT a SmolVLA ellen és Pi0.5 a SmolVLA ellen, vagy böngéssze az arénát.

A késleltetés és a költség dönti el a telepítést

Inferenciakésleltetés az a korlát, amit az emberek utoljára fedeznek fel és először bánnak meg. Egy irányelv, amely öt ponttal jobb egy benchmarkon, de fél másodpercet igényel akciónként, rosszabbul néz ki az asztalán: az érintkezési dinamika nem vár.

Egy megjegyzés: a GR00T adat nem egyezik az NVIDIA kártyájával, amely 4 zajszűrő lépést és egy kamerát 85.8 ms alatt mér H100-on eager módban, 48.6 ms-ot torch.compile-lal, 27.9 ms-ot teljes TensorRT-vel. Az itt szereplő 152 ms egy teljes stackre vonatkozó adat, amely tartalmazza a kiszolgálási többletköltséget és több kamerát, nem pedig egy előremenő passz.

Egy módja annak, hogy időt nyerjünk a modell megváltoztatása nélkül: a SmolVLA tanulmány szinkron végrehajtást mér, ahol az irányelv befejez egy darabot, mielőtt a következőt előrejelezné, szemben az aszinkronnal, ahol az előrejelzés átfedi a végrehajtást. A siker hasonló, 78.3 a 73.3 ellenében, de ugyanaz a pick-and-place 9.7 másodpercet vesz igénybe 13.75 helyett, és egy rögzített időablakban a robot 19 ciklust hajt végre 9 helyett.

Licencek, ellenőrizve, mert senki sem ellenőrzi őket

A Pi0.5 sorra oda kell figyelni. A LeRobot pi05 dokumentációja Apache 2.0 licencet említ, ami összhangban van az openpi-vel, míg a Hub kártya a lerobot/pi05_base tartalmazza a license: gemma. Mindkettő érvényben van. A GR00T N1.7 egy enyhébb verzióval rendelkezik: az Isaac-GR00T README mellékesen megjegyzi, hogy az N1.7 teljes mértékben kereskedelmi célra licencelhető Apache 2.0 alatt, míg a saját licencszekciója és a modellkártya csak a kódot helyezi Apache 2.0 alá, a súlyokat pedig az NVIDIA Open Model License.

Az alapértelmezések, amiket ténylegesen futtatni fog

Minden tréner űrlap alapértelmezettet szállít, és ezek nem önkényesek. Az ACT-k a LeRobot sajátjai: batch 8, lr 1e-5, 100000 képzési lépések, chunk méret 100, illeszkedve az ACTConfig upstreamhez és k=100 from the ACT paper. Az alábbi egyik oszlop csapda.

Az a beállítás, ami jobban számít, mint a modellválasztás

Ez az akció-darab. A hosszabb darabok simább mozgást és kevesebb halmozódó hibát eredményeznek, de a házirend elkötelezett, amíg a blokk végrehajtódik, így későn reagál minden mozgó dologra: magabiztos egy statikus kockán, reménytelen egy gurulón. Ha túllő, a végrehajtott rész rövidítése jobb, mint az újratanítás és ingyenes. Egy korán megálló ízület más probléma; lásd .

• ACT: Az ACTConfig alapértelmezett értéke chunk_size 100 és n_action_steps 100. Az időbeli együttes alkalmazás ki van kapcsolva, és megköveteli a n_action_steps 1.
• GR00T N1.7: A belső horizont 16-ról 40-re nőtt, mégis a LeRobot SO-101 példája továbbra is futtatja a --policy.chunk_size=16 --policy.n_action_steps=16. A rollout flag átnevezésre került --execution-horizon.
• Pi0.5: Egy 50 lépéses darab, amelyből a LeRobot LIBERO receptje 10-et hajt végre a --policy.n_action_steps=10 segítségével; a --policy.pretrained_path esetén visszatér 50-re, ha kihagyja a flaget.
• SmolVLA: 50 akcióból álló darabok, mindkét szabályzó elérhető.

Hogyan szűrjük le mind az ötöt egy délután alatt

A legolcsóbb válasz nem több olvasás. Költsön körülbelül 15 USD-t, és hagyja, hogy a kar megmondja: rögzítsen egyszer, képezze be először az olcsó modellt, majd fokozza, miután az adatok megbízhatónak bizonyultak. A struktúra felülmúlja a mennyiséget, ez a lényege a és a .

1. 1
   Rögzítsen 50 epizódot egyszer

   Az ötven epizód előkészíti a terepet a GR00T, Pi0.5 és ACT, valamint a SmolVLA 30 epizódjának. Ismételje meg az egyes variációkat ahelyett, hogy szétterítené: 50 epizód 5 kockapozícióban, ahol 25 nem történt meg. Lásd: az első adatkészlet rögzítése.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Először az ACT-t tanítsa be, mert az nem hazudhat Önnek

   Nincsenek előre betanított súlyok, így ha egyáltalán elvégzi a feladatot, az adatkészlete tartalmazza a feladatot. Ha az ACT nem mutat fejlődést, javítsa az adatokat. 1-3 USD, 2-5 óra egy 24 GB-os kártyán.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Futtassa a SmolVLA-t ugyanazon az adatkészleten, változatlanul

   Ugyanazok az adatok, ugyanaz a kar, 450 M paraméter 80 M helyett, plusz nyelvi kondicionálás. A LeRobot egy 20K lépéses futtatást nagyjából 4 órára becsül egy A100-ason. Ez az, ami megmondja, hogy az előzetes betanítás hoz-e bármilyen előnyt.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Konvertálja vissza v2.1-re, mielőtt a GR00T-hez nyúlna

   A GR00T a LeRobot v2 formátum egy változatát olvassa, plusz egy extra meta/modality.json fájlt, amely leképezi, hogyan oszlanak el az összefűzött állapot- és akciótömbök elnevezett mezőkre. Egy v3.0 adatkészlet összeomlasztja ezt a betöltőt, mert a v3.0 sok epizódot közös fájlokba csomagol, míg a v2 epizódonként egyet írt. Az Isaac-GR00T a visszaminősítő segédprogramot scripts/lerobot_conversion/convert_v3_to_v2.py néven szállítja; a v3 elutasítási oldal a gyorsabb út.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Csak akkor lépjen fel a GR00T N1.7-re, ha az első kettő hagyott még lehetőséget

   Az itt látható NVIDIA CLI-n keresztül, vagy a LeRobot groot policy típusával. Az NVIDIA 40 GB vagy több VRAM-ot aján finomhangoláshoz, 16 GB-ot következtetéshez. OOM esetén lásd: az OOM oldal.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Két módja van ennek a szűrővizsgálatnak a futtatására

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Alapmodell vagy a nulláról

Az igazi dilemma nem az, hogy melyik 3 B modellt válasszuk. Hanem az, hogy egyáltalán használjunk-e előre betanított VLA-t, tekintettel arra, hogy az ACT hat valós kétkezes feladatot tanult meg, mindegyiket körülbelül tíz percnyi demonstrációból, 80 M paraméterrel és semmi előzetes betanítás nélkül.

Egy régi futtatás reprodukálásának esete

Egy 2025-ös ellenőrzőpont üldözése eldönti a modellválasztást, és a problémát verziórögzítéssé alakítja: a jelenlegi LeRobot elutasítja az N1.5-öt, ezért rögzíti a lerobot==0.5.1. Mivel nincs seed mező és 5-6 százalékos eltérés van a futtatások között, a reprodukció eleve csak közelítő. és tartalmazzák a platform oldalt.

Kettőre szűkült a kör? ACT a GR00T N1.7 ellen és GR00T N1.7 a SmolVLA ellen. Nyers adatok találhatók az aréna bejegyzésekben: GR00T N1.7, Pi0.5, SmolVLA és ACT.

Amiben ez a platform nem segít

• Nem tudja felgyorsítani a távoli inferenciát. A 20-485 ms-os ciklus a modellhez tartozik; az internetes oda-vissza utak hozzáadódnak ehhez.
• Nem tudja finomhangolni a GR00T vagy Pi0.5 modelleket a saját hardverén. Mindkettő csak felhőben érhető el itt; csak a SmolVLA és az ACT fut helyben.
• Nem tudja javítani az adathalmazt. A veszteség csökken, de a policy nem csinál semmit adatprobléma, egy policy, ami csak egy beállításban működik lefedettségi probléma.
• Nem tudja reprodukálhatóvá tenni a GR00T futtatásokat: az upstream konfiguráció nem tartalmaz seed mezőt.

Válasszon egyet és lépjen tovább

Egy alapértelmezés: rögzítsen 50 epizódot, képezze az ACT-t 1-3 USD-ért az adatkészlet igazolására, majd a SmolVLA-t ugyanazon a ugyanazon adatokon. Együtt kevesebb mint 6 USD, és megválaszolják a fontos kérdést: segít-e itt az előképzés, vagy az adatok jelentik-e a szűk keresztmetszetet. Lépjen fel a GR00T N1.7-re érintésgazdag többlépéses feladatokhoz, a Pi0.5-re, amikor a jelenet változik.

Platform áttekintés: képezze az első irányelvet, majd futtassa az első irányelvet. A képzési dokumentáció és adatkészlet dokumentáció tárgyalja az űrlapot és a formátumot; az SO-100 oldal és a teljes SO-100 útmutató tárgyalja az építést és a kalibrálást. Háttér: a VLA áttekintés és a Pi0 áramlásillesztési cikk. Az, ami növelni fogja a sikerességi rátáját, az az adatminőségi útmutató.