Dasar VLA Mana Yang Patut Anda Latih pada 2026?

Lima polisi boleh dilatih pada lengan kelas SO-100 hari ini. Ia berbeza dengan faktor 24 dalam inferens latensi, 37 dalam kiraan parameter dan 12 dalam kos satu larian, dan sama ada anda boleh menghantar hasilnya. Lima kad model tidak akan menyelesaikannya: tiada satu pun yang menjawab soalan anda, yang mana satu patut saya jalankan dahulu?

Setiap nombor di bawah dibaca daripada kertas kerja, repositori dan kad pada Ogos 2026. Nombor platform datang daripada katalog polisi AY-Robots; di mana kedua-duanya tidak bersetuju, kedua-duanya ditunjukkan.

Jadual keputusan

Lima calon

Kesemua lima adalah polisi: bingkai kamera, kedudukan sendi dan, untuk empat daripadanya, arahan bahasa, dipetakan kepada sebahagian sasaran sendi masa depan. Apa yang membezakan mereka adalah berapa banyak yang telah dipelajari sebelum anda tiba.

GR00T N1.7

Model semasa NVIDIA model tindakan bahasa-penglihatan, kira-kira 3 bilion parameter, lebih kurang 40 juta dilatih semasa penalaan halus. Repositori menyenaraikan delta daripada N1.6: tulang belakang daripada model Eagle yang dibekalkan kepada Cosmos-Reason2-2B pada Qwen3-VL, lapisan resapan 32 kepada 16, dimensi keadaan dan tindakan 29 kepada 132, ufuk tindakan 16 kepada 40.

Apa yang penting pada lengan kecil ialah ruang tindakan hujung-efektor relatif: N1.7 meramalkan delta daripada kedudukan semasa, yang membolehkan 20K jam video manusia EgoScale dipindahkan ke dalam polisi robot. Spesifikasi di halaman N1.7, prosedur dalam panduan N1.7 pada SO-100.

GR00T N1.5

Skala 3 B yang sama, tulang belakang Eagle 2, SigLip2 dan T5, kepala DiT padanan aliran. Ia wujud untuk melanjutkan yang anda sudah ada. Dua perkara menjadikannya pilihan lalai yang kurang baik: pemberatnya membawa lesen bukan komersial sehala NVIDIA, dan keluaran LeRobot semasa telah mengalih keluar sokongan N1.5. Lihat .

Pi0.5

VLA Physical Intelligence, jenis polisi pi05. Kertas kerja ini memberikan VLM 2 B yang dimulakan daripada PaliGemma ditambah pakar tindakan 300 M, memacu robot pada 50 Hz; konfigurasi pi05 LeRobot lalai kepada segmen 50 langkah, satu saat pada kadar itu. Kelebihan utamanya adalah tempat yang belum pernah dilihat: kira-kira 400 jam manipulasi mudah alih di rumah sebenar, dan kajian penskalaan merangkumi 3, 12, 22, 53, 82 dan 104 lokasi, di mana model 104 lokasi sepadan dengan kawalan yang dilatih pada rumah ujian itu sendiri.

Satu had, dinyatakan pada lerobot/pi05_base kad: port hanya membawa kepala tindakan yang sepadan dengan aliran. Ramalan subtugas, tokenisasi tindakan dan RL tidak dikeluarkan di hulu, dan openpi menyatakan perkara yang sama untuk repositorinya sendiri. Halaman Pi0.5 dan panduan Pi0.5 pada SO-100 mempunyai selebihnya.

SmolVLA

450 Juta parameter, kira-kira 100 Juta dalam pakar tindakan, pada SmolVLM-2 dengan VLM dibekukan dan hanya 16 lapisan model bahasa pertamanya digunakan. Pra-latihan adalah data komuniti: 481 set data, 10.6 Juta bingkai, daripada lengan murah yang sama yang anda gunakan. Satu-satunya VLA di sini yang muat pada satu kad 24 GB, dan satu-satunya 30 episod lantai. Lihat halaman SmolVLA.

ACT

Bukan model asas. Action Chunking Transformer dari ALOHA mempunyai kira-kira 80 M parameter yang dilatih dari awal untuk setiap tugas, berdasarkan 50 demonstrasi pada 50 Hz. Kertas kerja ini melaporkan enam tugas bimanual sebenar dari kira-kira sepuluh minit demonstrasi setiap satu, pada 80 hingga 90 peratus pada contoh yang diserlahkannya. Ideanya, pemecahan tindakan, terdapat dalam setiap model di halaman ini, dan ablasinya masih mengukur kesan terbaik: melalui dua tugas simulasi dengan ensembling temporal dimatikan, kejayaan meningkat dari 1 peratus pada k=1 kepada 44 peratus pada k=100. Halaman ACT mempunyai selebihnya.

Apa yang sebenarnya dikatakan oleh penanda aras

LIBERO adalah satu penanda aras yang dilaporkan oleh tiga daripada lima ini: tugas-tugas berkeadaan bahasa pada simulasi Franka Panda, dibahagikan kepada empat suite di bawah dengan sepuluh tugas setiap satu. NVIDIA menjalankan 200 percubaan bagi setiap suite.

SimplerEnv menunjukkan penyebaran, yang LIBERO tidak. NVIDIA membandingkan N1.7 dengan N1.6, perkara awam yang paling hampir dengan delta generasi.

Baris Bridge adalah yang berguna: 5.7 mata diperoleh secara purata sementara put_eggplant_in_basket hilang 36 dan put_eggplant_in_sink jatuh dari 33 kepada 2. Generasi baharu menggerakkan taburan dan bukannya mengangkatnya, jadi jika tugas anda berada di mana N1.7 merosot, purata tidak mengatakan apa-apa.

Daripada lima, hanya kertas kerja SmolVLA melaporkan tentang lengan kelas SO-100: 78.3 peratus untuk SmolVLA dan 61.7 untuk Pi0 merentasi tiga tugas, kedua-duanya berbilang tugas, berbanding 48.3 untuk ACT yang dilatih satu tugas, yang tidak setara. Pasangan yang bersih adalah kedua-duanya satu tugas pada SO-101 pick-and-place: 90 berbanding 70 dalam taburan, 50 berbanding 40 di luar itu. Bandingkan pada ACT berbanding SmolVLA dan Pi0.5 berbanding SmolVLA, atau layari arena.

Latensi dan kos menentukan penempatan

Kependaman inferens adalah kekangan yang orang temui terakhir dan sesali dahulu. Polisi yang lima mata lebih baik pada penanda aras tetapi setengah saat setiap langkah tindakan kelihatan lebih teruk di meja anda: dinamik sentuhan tidak menunggu.

Satu peringatan: angka GR00T tidak bersetuju dengan kad NVIDIA, yang mengukur 4 langkah penyahbisingan dan satu kamera pada 85.8 ms pada H100 dalam mod eager, 48.6 ms dengan torch.compile, 27.9 ms melalui TensorRT penuh. Angka 152 ms di sini adalah angka keseluruhan tumpukan dengan overhed penyediaan dan lebih daripada satu kamera, bukan laluan ke hadapan.

Satu cara untuk menjimatkan masa tanpa menukar model: kertas SmolVLA mengukur pelaksanaan segerak, di mana polisi menyelesaikan satu bahagian sebelum meramalkan yang seterusnya, berbanding tak segerak, di mana ramalan bertindih dengan pelaksanaan. Kejayaan adalah serupa, 78.3 berbanding 73.3, tetapi pilih-dan-letak yang sama mengambil masa 9.7 saat berbanding 13.75, dan dalam tetingkap tetap robot menguruskan 19 kitaran berbanding 9.

Lesen, diperiksa kerana tiada siapa yang memeriksanya

Baris Pi0.5 memerlukan perhatian. Dokumentasi LeRobot pi05 menyatakan Apache 2.0 konsisten dengan openpi, manakala kad Hub untuk lerobot/pi05_base membawa license: gemma. Kedua-duanya masih aktif. GR00T N1.7 mempunyai versi yang lebih ringan: README Isaac-GR00T menyatakan secara sepintas lalu bahawa N1.7 boleh dilesenkan sepenuhnya secara komersial di bawah Apache 2.0, manakala bahagian lesennya sendiri dan kad model meletakkan hanya kod di bawah Apache 2.0 dan berat di bawah NVIDIA Open Model License.

Lalai yang akan anda jalankan

Setiap borang pelatih disertakan dengan tetapan lalai, dan ia bukan sewenang-wenangnya. ACT adalah milik LeRobot sendiri: batch 8, lr 1e-5, 100000 langkah latihan, chunk size 100, sepadan dengan ACTConfig hulu dan k=100 dari kertas ACT. Satu lajur di bawah adalah perangkap.

Tombol yang lebih penting daripada pilihan model

Ia adalah 'action chunk'. Ketulan yang lebih panjang memberikan gerakan yang lebih lancar dan kurang ralat terkumpul, tetapi polisi itu komited semasa blok dilaksanakan, jadi ia bertindak balas lewat terhadap apa sahaja yang bergerak: yakin pada kiub statik, tidak berdaya pada kiub yang bergolek. Jika ia terlebih sasaran, memendekkan bahagian yang dilaksanakan adalah lebih baik daripada melatih semula dan percuma. Sendi yang berhenti awal adalah masalah yang berbeza; lihat .

• ACT: ACTConfig lalai kepada chunk_size 100 dan n_action_steps 100. Ensembling temporal dimatikan dan memerlukan n_action_steps 1.
• GR00T N1.7: horizon dalaman meningkat dari 16 kepada 40, namun contoh SO-101 LeRobot masih berjalan dengan --policy.chunk_size=16 --policy.n_action_steps=16. Bendera 'rollout' telah dinamakan semula kepada --execution-horizon.
• Pi0.5: 'chunk' 50 langkah, di mana resipi LIBERO LeRobot melaksanakan 10 melalui --policy.n_action_steps=10; dengan --policy.pretrained_path ia kembali kepada 50 jika anda meninggalkan bendera tersebut.
• SmolVLA: 'chunk' 50 tindakan, kedua-dua tombol terdedah.

Cara menyaring kelima-limanya dalam satu petang

Jawapan termurah bukanlah dengan membaca lebih banyak. Belanjakan sekitar 15 USD dan biarkan lengan robot memberitahu anda: rekod sekali, latih model murah terlebih dahulu, tingkatkan setelah ia membuktikan data itu kukuh. Struktur mengatasi jumlah, intipati dan .

1. 1
   Rakam 50 episod sekali

   Lima puluh membersihkan ruang untuk GR00T, Pi0.5 dan ACT, serta 30 SmolVLA. Ulangi setiap variasi daripada menyebarkan nipis: 50 episod merentasi 5 kedudukan kiub yang dilatih di mana 25 tidak. Lihat rekod set data pertama anda.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Latih ACT dahulu, kerana ia tidak boleh menipu anda

   Tiada pemberat pra-latihan, jadi jika ia melakukan tugas sama sekali, set data anda mengandungi tugas tersebut. Jika ACT mendatar, betulkan data. 1 hingga 3 USD, 2 hingga 5 jam pada kad 24 GB.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   Jalankan SmolVLA pada set data yang sama, tidak berubah

   Data yang sama, lengan yang sama, 450 J parameter berbanding 80 J, ditambah pengkondisian bahasa. LeRobot meletakkan larian 20K langkah pada kira-kira 4 jam pada satu A100. Ini yang memberitahu anda sama ada pra-latihan memberikan apa-apa faedah.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   Tukar kepada v2.1 sebelum anda menyentuh GR00T

   GR00T membaca versi format LeRobot v2 ditambah meta/modality.json tambahan yang memetakan bagaimana tatasusunan keadaan dan tindakan yang digabungkan berpecah kepada medan bernama. Set data v3.0 merosakkan pemuat itu, kerana v3.0 membungkus banyak episod ke dalam fail kongsi di mana v2 menulis satu setiap episod. Isaac-GR00T menghantar pembantu penurunan versi sebagai scripts/lerobot_conversion/convert_v3_to_v2.py; halaman penolakan v3 adalah laluan pantas.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Tingkatkan kepada GR00T N1.7 hanya jika dua yang pertama meninggalkan sesuatu yang belum selesai

   Melalui CLI NVIDIA, seperti yang ditunjukkan di sini, atau jenis polisi groot LeRobot. NVIDIA mengesyorkan 40 GB atau lebih VRAM untuk penalaan halus, 16 GB untuk inferens. Jika berlaku OOM, lihat halaman OOM.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Dua cara untuk menjalankan saringan itu

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Model asas atau dari awal

Persimpangan sebenar bukanlah model 3 B mana yang hendak dipilih. Ia adalah sama ada untuk menggunakan VLA pra-latih sama sekali, memandangkan bahawa ACT mempelajari enam tugas bimanual sebenar daripada kira-kira sepuluh minit demonstrasi setiap satu, dengan 80 M parameter dan tiada apa-apa yang pra-latih.

Kes menghasilkan semula larian lama

Mengejar checkpoint 2025 membuat pilihan model untuk anda dan mengubah masalah menjadi penetapan versi: LeRobot semasa menolak N1.5, jadi anda tetapkan lerobot==0.5.1. Dengan tiada medan seed dan varians 5 hingga 6 peratus antara larian, penghasilan semula adalah anggaran mengikut pembinaan. dan mempunyai sisi platform.

Tinggal dua? ACT berbanding GR00T N1.7 dan GR00T N1.7 berbanding SmolVLA. Baris mentah terdapat dalam entri arena: GR00T N1.7, Pi0.5, SmolVLA dan ACT.

Di mana platform ini tidak membantu anda

• Ia tidak dapat mempercepatkan inferens jarak jauh. Gelung 20 hingga 485 ms adalah milik model; perjalanan pergi balik internet menambah kepadanya.
• Ia tidak dapat menala halus GR00T atau Pi0.5 pada perkakasan anda sendiri. Kedua-duanya hanya berasaskan awan di sini; hanya SmolVLA dan ACT berjalan secara tempatan.
• Ia tidak dapat membetulkan set data. Kerugian menurun tetapi polisi tidak melakukan apa-apa adalah masalah data, polisi yang hanya berfungsi dalam satu persediaan adalah masalah liputan.
• Ia tidak dapat menjadikan larian GR00T boleh dihasilkan semula: konfigurasi huluan tidak mempunyai medan benih.

Memilih satu dan meneruskan

Satu lalai: rekod 50 episod, latih ACT untuk 1 hingga 3 USD untuk membuktikan set data, kemudian SmolVLA pada data yang sama. Bersama-sama di bawah 6 USD, dan ia menjawab soalan penting: sama ada pra-latihan membantu di sini, atau sama ada kesesakan adalah data. Tingkatkan kepada GR00T N1.7 untuk tugas berbilang langkah yang kaya dengan sentuhan, kepada Pi0.5 apabila pemandangan berubah.

Panduan platform: latih polisi pertama anda, kemudian jalankan polisi pertama anda. Dokumen latihan dan set data meliputi bentuk dan format; halaman SO-100 dan panduan lengkap SO-100 meliputi pembinaan dan penentukuran. Latar belakang: gambaran keseluruhan VLA dan artikel padanan aliran Pi0. Yang akan meningkatkan kadar kejayaan anda ialah panduan kualiti data.