Cilën Politikë VLA Duhet të Trajnoni në 2026?

Pesë politika mund të trajnohen sot në një krah të klasës SO-100. Ato ndryshojnë me një faktor 24 në inferencë vonesë, 37 në numrin e parametrave dhe 12 në koston e një ekzekutimi, dhe nëse mund ta dërgoni rezultatin. Pesë karta modelesh nuk do ta zgjidhin këtë: asnjëra nuk i përgjigjet pyetjes që keni, cilën duhet të ekzekutoj së pari?

Çdo numër më poshtë është lexuar nga punimet, depozitat dhe kartat në gusht 2026. Numrat e platformës vijnë nga katalogu i politikave i AY-Robots; ku të dyja nuk pajtohen, të dyja shfaqen.

Tabela e vendimeve

Pesë kandidatët

Të gjithë të pesë janë politika: korniza kamerash, pozicione nyjesh dhe, për katër prej tyre, një udhëzim gjuhe, i hartuar në një bllok objektivash të ardhshëm të nyjeve. Ajo që i ndan është sa shumë u mësua para se të arrinit ju.

GR00T N1.7

Modeli aktual i NVIDIA-s model vizion-gjuhë-veprim, rreth 3 miliardë parametra, afërsisht 40 milionë të trajnuar gjatë fine-tuning. Depoja liston ndryshimet nga N1.6: shtylla kurrizore nga një model Eagle i shitur te Cosmos-Reason2-2B në Qwen3-VL, shtresat e difuzionit 32 në 16, dimensionet e gjendjes dhe veprimit 29 në 132, horizonti i veprimit 16 në 40.

Ajo që ka rëndësi në një krah të vogël është hapësira relative e veprimit të fund-efektorit: N1.7 parashikon ndryshime nga pozicioni aktual, gjë që lejon transferimin e 20 mijë orëve video njerëzore EgoScale në një politikë roboti. Specifikimet në faqen e N1.7, procedura në udhëzuesin e N1.7 në SO-100.

GR00T N1.5

E njëjta shkallë 3 B, shtyllë kurrizore Eagle 2, SigLip2 dhe T5, kokë DiT me përputhje fluksi. Ekziston për të zgjeruar një që tashmë keni. Dy gjëra e bëjnë atë një parazgjedhje të dobët: peshat mbartin NVIDIA's one-way non-commercial licence, dhe versionet aktuale të LeRobot-it hoqën mbështetjen për N1.5. Shih .

Pi0.5

VLA-ja e Physical Intelligence me , tipi i politikës pi05. Punimi jep një VLM 2 B të inicializuar nga PaliGemma plus një ekspert veprimi 300 M, duke drejtuar robotin me 50 Hz; konfigurimi pi05 i LeRobot-it parazgjedh një bllok me 50 hapa, një sekondë me atë shpejtësi. Pika e shitjes janë vendet e paeksploruara: rreth 400 orë manipulim mobil në shtëpi reale, dhe një studim shkallëzimi mbi 3, 12, 22, 53, 82 dhe 104 vendndodhje, ku modeli me 104 vendndodhje përputhej me një kontroll të trajnuar në vetë shtëpitë e testimit.

Një kufizim, i theksuar në kartën lerobot/pi05_base: porti mbart vetëm kokën e veprimit që përputhet me fluksin. Parashikimi i nën-detyrave, tokenizimi i veprimeve dhe RL nuk u lëshuan upstream, dhe openpi thotë të njëjtën gjë për depozitën e vet. Faqja e Pi0.5 dhe udhëzuesi i Pi0.5 në SO-100 kanë pjesën tjetër.

SmolVLA

450 M parametra, rreth 100 M në ekspertin e veprimit, në SmolVLM-2 me VLM të ngrirë dhe duke përdorur vetëm 16 shtresat e para të modelit të gjuhës. Paratrajnimi ishte të dhëna komunitare: 481 grupe të dhënash, 10.6 M korniza, nga të njëjtat krahë të lirë që përdorni. I vetmi VLA këtu që përshtatet në një kartë 24 GB, dhe i vetmi me një dysheme prej 30 epizodesh. Shih faqen e SmolVLA.

ACT

Nuk është një model themelor. Action Chunking Transformer nga ALOHA ka rreth 80 M parametra të trajnuar nga e para për detyrë, në 50 demonstrime me 50 Hz. Punimi raporton gjashtë detyra reale bimanuale nga rreth dhjetë minuta demonstrimesh secila, me 80 deri në 90 për qind në shembujt që thekson. Ideja e tij, copëtimi i veprimeve, është në çdo model në këtë faqe, dhe ablacionimi i tij ende mat efektin më mirë: mbi dy detyra të simuluara me ansamblimin kohor të fikur, suksesi rritet nga 1 për qind në k=1 në 44 për qind në k=100. Faqja e ACT ka pjesën tjetër.

Çfarë thonë në të vërtetë standardet

LIBERO është standardi i vetëm për të cilin raportojnë tre nga këto pesë: detyra të kushtëzuara nga gjuha në një Franka Panda të simuluar, të ndara në katër suita më poshtë me nga dhjetë detyra secila. NVIDIA zhvilloi 200 prova për suitë.

SimplerEnv tregon shpërndarjen, gjë që LIBERO nuk e bën. NVIDIA krahason N1.7 me N1.6, gjënë më të afërt publike me një delta gjeneracionale.

Rreshti Bridge është i dobishmi: 5.7 pikë të fituara mesatarisht ndërsa put_eggplant_in_basket humbi 36 dhe put_eggplant_in_sink ra nga 33 në 2. Një gjeneratë e re lëviz shpërndarjen në vend që ta ngrejë atë, kështu që nëse detyra juaj ndodhet aty ku N1.7 u regresua, mesatarja nuk thotë asgjë.

Nga të pesë, vetëm punimi SmolVLA raporton për një krah të klasës SO-100: 78.3 për qind për SmolVLA dhe 61.7 për Pi0 në tre detyra, të dyja multi-task, kundrejt 48.3 për ACT të trajnuar single-task, që nuk është si për njësoj. Çiftimi i pastër është të dyja single-task në SO-101 pick-and-place: 90 kundrejt 70 në shpërndarje, 50 kundrejt 40 jashtë saj. Krahasoni në ACT kundrejt SmolVLA dhe Pi0.5 kundrejt SmolVLA, ose shfletoni arenën.

Vonesa dhe kostoja vendosin vendosjen

Vonesa e inferencës është kufizimi që njerëzit zbulojnë të fundit dhe pendohen të parët. Një politikë pesë pikë më e mirë në një standard, por gjysmë sekonde për hap veprimi duket më keq në tavolinën tuaj: dinamika e kontaktit nuk pret.

Një paralajmërim: shifra e GR00T nuk përputhet me kartën e NVIDIA-s, e cila mat 4 hapa denoise dhe një kamerë në 85.8 ms në një H100 në modalitetin eager, 48.6 ms me torch.compile, 27.9 ms përmes TensorRT të plotë. 152 ms këtu është një shifër e plotë e stack-ut me overhead shërbimi dhe më shumë se një kamerë, jo një kalim përpara.

Një mënyrë për të fituar kohë pa ndryshuar modelin: punimi SmolVLA mat ekzekutimin sinkron, ku politika përfundon një bllok para se të parashikojë tjetrin, kundrejt asinkronit, ku parashikimi mbivendoset me ekzekutimin. Suksesi është i ngjashëm, 78.3 kundrejt 73.3, por i njëjti pick-and-place merr 9.7 sekonda në vend të 13.75, dhe në një dritare fikse roboti menaxhon 19 cikle në vend të 9.

Licencat, të kontrolluara sepse askush nuk i kontrollon

Rreshti Pi0.5 kërkon kujdes. Dokumentacioni LeRobot pi05 deklaron Apache 2.0 në përputhje me openpi, ndërsa karta e Hub-it për lerobot/pi05_base përmban license: gemma. Të dyja janë aktive. GR00T N1.7 ka një version më të butë: README i Isaac-GR00T thotë kalimthi se N1.7 është plotësisht i licencueshëm komercialisht sipas Apache 2.0, ndërsa seksioni i saj i licencës dhe karta e modelit vendosin vetëm kodin nën Apache 2.0 dhe peshat nën NVIDIA Open Model License.

Parazgjedhjet që do të ekzekutoni në të vërtetë

Çdo formë trajnuesi vjen me një parazgjedhje, dhe ato nuk janë arbitrare. Ato të ACT-së janë të LeRobot-it: batch 8, lr 1e-5, 100000 hapa trajnimi, madhësia e bllokut 100, duke përputhur ACTConfig-un upstream dhe k=100 from the ACT paper. Një kolonë më poshtë është një kurth.

Kontrolli që ka më shumë rëndësi sesa zgjedhja e modelit

Është blloku i veprimit. Blloqet më të gjata japin lëvizje më të qetë dhe më pak gabime të përbëra, por politika është e angazhuar ndërsa blloku ekzekutohet, kështu që reagon me vonesë ndaj çdo gjëje që lëviz: e sigurt në një kub statik, e pashpresë në një kub rrotullues. Nëse tejkalon, shkurtimi i pjesës së ekzekutuar është më i mirë se ritrajnimi dhe është falas. Një nyje që ndalon shkurt është një problem tjetër; shih faqen e ndalimit të hershëm të nyjes.

• ACT: ACTConfig parazgjedhur ka chunk_size 100 dhe n_action_steps 100. Ansambli kohor është i fikur dhe kërkon n_action_steps 1.
• GR00T N1.7: horizonti i brendshëm shkoi nga 16 në 40, megjithatë shembulli SO-101 i LeRobot ende ekzekuton --policy.chunk_size=16 --policy.n_action_steps=16. Flaga e shpërndarjes u riemërua në --execution-horizon.
• Pi0.5: një bllok me 50 hapa, nga të cilët receta LIBERO e LeRobot ekzekuton 10 përmes --policy.n_action_steps=10; me --policy.pretrained_path ajo kthehet në 50 nëse e lini pa specifikuar flagën.
• SmolVLA: blloqe me 50 veprime, të dyja komandat të ekspozuara.

Si t'i shqyrtosh të pesë në një pasdite

Përgjigja më e lirë nuk është më shumë lexim. Shpenzoni rreth 15 USD dhe lëreni krahun t'ju tregojë: regjistroni një herë, trajnoni modelin e lirë së pari, përshkallëzoni pasi të ketë provuar se të dhënat janë të shëndosha. Struktura mund vëllimin, qëllimi i mbledhjes së të dhënave SO-100 dhe formatit të grupit të të dhënave LeRobot.

1. 1
   Regjistroni 50 episode një herë

   Pesëdhjetë pastron terrenin për GR00T, Pi0.5 dhe ACT, dhe 30 të SmolVLA-s. Përsëritni çdo variacion në vend që të shpërndaheni: 50 episode në 5 pozicione kubi të trajnuara ku 25 nuk u trajnuan. Shih regjistroni grupin tuaj të parë të të dhënave.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Trajnoni ACT-në së pari, sepse nuk mund t'ju gënjejë

   Pa pesha të para-trajnuara, kështu që nëse e kryen detyrën fare, grupi juaj i të dhënave përmban detyrën. Nëse ACT nuk jep rezultate, rregulloni të dhënat. 1 deri në 3 USD, 2 deri në 5 orë në një kartë 24 GB.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Ekzekutoni SmolVLA në të njëjtin grup të dhënash, të pandryshuar

   Të njëjtat të dhëna, i njëjti krah, 450 M parametra në vend të 80 M, plus kushtëzimi gjuhësor. LeRobot vendos një ekzekutim prej 20K hapash në afërsisht 4 orë në një A100. Kjo është ajo që ju tregon nëse para-trajnimi vlen diçka.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Konvertoni në v2.1 para se të prekni GR00T

   GR00T lexon një variant të formatit LeRobot v2 plus një shtesë meta/modality.json që harton se si gjendja e bashkuar dhe vargjet e veprimeve ndahen në fusha të emërtuara. Një grup të dhënash v3.0 e rrëzon atë ngarkues, sepse v3.0 paketon shumë episode në skedarë të përbashkët ku v2 shkruante një për episod. Isaac-GR00T ofron ndihmësin e uljes së versionit si scripts/lerobot_conversion/convert_v3_to_v2.py; faqja e refuzimit të v3 është rruga e shpejtë.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Përshkallëzoni në GR00T N1.7 vetëm nëse dy të parat lanë diçka pa u zgjidhur

   Nëpërmjet CLI-së së NVIDIA-s, e treguar këtu, ose tipit të politikës groot të LeRobot-it. NVIDIA rekomandon 40 GB ose më shumë VRAM për fine-tuning, 16 GB për inferencë. Në rast OOM, shih faqen OOM.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Dy mënyra për të ekzekutuar atë kalim shqyrtimi

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Model themelor apo nga e para

Dilema e vërtetë nuk është se cilin model 3 B të zgjedhësh. Është nëse duhet përdorur një VLA i paratrajnuar fare, duke pasur parasysh që ACT mësoi gjashtë detyra reale bimanuale nga rreth dhjetë minuta demonstrime secila, me 80 M parametra dhe asgjë të paratrajnuar.

Rasti i riprodhimit të një ekzekutimi të vjetër

Në ndjekje të një pike kontrolli të vitit 2025, zgjedhja e modelit bëhet për ju dhe problemi kthehet në fiksim versioni: LeRobot aktual refuzon N1.5, kështu që ju fiksoni lerobot==0.5.1. Pa fushë farë dhe me 5 deri në 6 për qind variancë ndërmjet ekzekutimeve, riprodhimi është i përafërt nga ndërtimi. dhe kanë anën e platformës.

Deri në dy? dhe . Rreshtat e papërpunuar gjenden në hyrjet e arenës: , , dhe .

Ku kjo platformë nuk ju ndihmon

• Nuk mund ta bëjë inferencën në distancë të shpejtë. Cikli 20 deri në 485 ms i përket modelit; udhëtimet vajtje-ardhje në internet i shtohen atij.
• Nuk mund të rregullojë GR00T ose Pi0.5 në harduerin tuaj. Të dyja janë vetëm në cloud këtu; vetëm SmolVLA dhe ACT funksionojnë lokalisht.
• Nuk mund të rregullojë një grup të dhënash. Humbja bie por politika nuk bën asgjë është një problem i të dhënave, një politikë që funksionon vetëm në një konfigurim është një problem mbulimi.
• Nuk mund t'i bëjë ekzekutimet e GR00T të riprodhueshme: konfigurimi i sipërm nuk ka fushë farë.

Zgjedhja e njërit dhe vazhdimi

Një parazgjedhje: regjistroni 50 episode, trajnoni ACT për 1 deri në 3 USD për të provuar grupin e të dhënave, pastaj SmolVLA në të njëjtat të dhëna. Nën 6 USD së bashku, dhe ato i përgjigjen pyetjes që ka rëndësi: nëse paratrajnimi ndihmon këtu, apo nëse pengesa është të dhënat. Përshkallëzoni në GR00T N1.7 për detyra me shumë hapa dhe të pasura me kontakt, në Pi0.5 kur skena ndryshon.

Udhëzuesi i platformës: trajnoni politikën tuaj të parë, pastaj ekzekutoni politikën tuaj të parë. Të dokumentet e trajnimit dhe dokumentet e grupeve të të dhënave mbulojnë formën dhe formatin; faqja SO-100 dhe udhëzuesi i plotë SO-100 mbulojnë ndërtimin dhe kalibrimin. Sfondi: përmbledhja VLA dhe artikulli Pi0 flow-matching. Ai që do të rrisë shkallën tuaj të suksesit është udhëzuesi i cilësisë së të dhënave.