2026 онд аль VLA бодлогыг сургах ёстой вэ?

Өнөөдөр SO-100 ангиллын робот гар дээр таван бодлогыг сургах боломжтой. Эдгээр нь таамаглалын хоцролт (inference latency) 24 дахин, параметрийн тоо 37 дахин, нэг удаагийн ажиллагааны зардал 12 дахин ялгаатай бөгөөд үр дүнг хүргэх эсэхээс хамаарна. Таван загварын карт үүнийг шийдэхгүй: аль нь ч таны асуултад хариулахгүй, би алийг нь эхлээд ажиллуулах вэ?

Доорх бүх тоог 2026 оны 8-р сард гарсан баримт бичиг, репо, картуудаас авсан болно. Платформын тоог AY-Robots бодлогын каталог; хэрэв хоёр нь зөрчилдвөл хоёуланг нь харуулсан болно.

Шийдвэрийн хүснэгт

Таван нэр дэвшигч

Бүх тав нь бодлого юм: камерын фрейм, үений байрлал болон, тэдний дөрөвт нь хэлний зааварчилгаа, ирээдүйн үений зорилтуудын хэсэгт зураглагдсан. Тэднийг ялгаж буй зүйл бол та ирэхээс өмнө хэр их зүйлийг сургасан явдал юм.

GR00T N1.7

NVIDIA-ийн одоогийн хараа, хэл, үйлдлийн загвар, ойролцоогоор 3 тэрбум параметр, үүнээс 40 сая орчим нь нарийн тааруулалт хийх явцад сургагдсан. Репо нь N1.6-аас хойшхи өөрчлөлтүүдийг жагсаасан: Eagle загвараас Cosmos-Reason2-2B (Qwen3-VL дээр суурилсан) руу шилжсэн, диффузийн давхаргууд 32-оос 16 болсон, төлөв болон үйлдлийн хэмжээсүүд 29-өөс 132 болсон, үйлдлийн хэтийн төлөв 16-аас 40 болсон.

Жижиг гарт чухал зүйл бол харьцангуй төгсгөлийн-эффекторын үйлдлийн зай юм: N1.7 нь одоогийн байрлалаас ялгааг таамагладаг бөгөөд энэ нь 20 мянган цагийн EgoScale хүний ​​видеог роботын бодлого руу шилжүүлэх боломжийг олгодог. Дэлгэрэнгүй мэдээллийг N1.7 хуудас-аас, журам нь N1.7 SO-100 дээр гарын авлага-д бий.

GR00T N1.5

Ижил 3 B масштаб, Eagle 2 нуруу, SigLip2 болон T5, flow-matching DiT толгойтой. Энэ нь таны аль хэдийн байгаа -ийг өргөтгөх зорилготой. Хоёр зүйл үүнийг муу анхдагч болгодог: жингүүд нь NVIDIA-ийн нэг талын арилжааны бус лицензийг агуулдаг бөгөөд одоогийн LeRobot хувилбарууд N1.5-ийн дэмжлэгийг хассан. Үзнэ үү: .

Pi0.5

Physical Intelligence-ийн VLA, бодлогын төрөл pi05. Энэхүү баримт бичигт PaliGemma-аас эхлүүлсэн 2 B VLM болон 300 M үйлдлийн эксперт багтсан бөгөөд роботыг 50 Гц хурдтайгаар удирддаг; LeRobot-ийн pi05 тохиргоо нь 50 алхамтай хэсэг, тухайн хурдаар нэг секундээр анхдагчаар тохируулагдсан байдаг. Үүний гол давуу тал нь урьд өмнө үзэгдээгүй газрууд юм: бодит айл өрхүүдэд 400 орчим цагийн хөдөлгөөнт манипуляци, мөн 3, 12, 22, 53, 82, 104 байршилд хийсэн масштаблах судалгаа, үүнд 104 байршилтай загвар нь туршилтын айл өрхүүдэд өөрсдөө сургагдсан хяналттай таарч байсан.

Нэг хязгаар, lerobot/pi05_base карт дээр дурдсан: порт нь зөвхөн урсгалд тохирох үйлдлийн толгойг дамжуулдаг. Дэд даалгаврын таамаглал, үйлдлийн токенжуулалт болон RL нь эх үүсвэрээс гараагүй бөгөөд openpi өөрийн репозиторийн талаар мөн адил зүйлийг хэлсэн. Pi0.5 хуудас болон SO-100 дээрх Pi0.5 гарын авлага нь үлдсэнийг агуулна.

SmolVLA

450 сая параметр, үйл ажиллагааны экспертэд ойролцоогоор 100 сая, SmolVLM-2 дээр VLM-ийг хөлдөөж, зөвхөн түүний эхний 16 хэлний загварын давхаргыг ашигласан. Урьдчилсан сургалт нь олон нийтийн өгөгдөл байсан: 481 өгөгдлийн багц, 10.6 сая фрэйм, таны ашигладаг ижил хямд гарнаас. Энд байгаа нэг 24 ГБ карт багтах цорын ганц VLA, мөн цорын ганц 30 эпизод давхар. Үзнэ үү SmolVLA хуудас.

ACT

Суурь загвар биш. ALOHA-ийн Action Chunking Transformer нь 50 Hz давтамжтай 50 үзүүлбэр дээр, даалгавар бүрт шинээр сургагдсан 80 сая орчим параметр юм. Тус баримт бичигт тус бүр ойролцоогоор арван минутын үзүүлбэрээс авсан зургаан бодит хос гар ажиллагаатай даалгаврыг, онцолсон жишээнүүд дээр 80-90 хувийн амжилттай гүйцэтгэсэн тухай мэдээлсэн. Түүний санаа болох үйлдэл хуваах, нь энэ хуудсан дээрх загвар бүрд байдаг бөгөөд түүний абляци нь одоо ч гэсэн үр нөлөөг хамгийн сайн хэмждэг: цаг хугацааны ансамблийг унтраасан хоёр симуляцийн даалгавар дээр амжилт k=1 үед 1 хувиас k=100 үед 44 хувь хүртэл өсдөг. ACT хуудас дээр үлдсэн мэдээлэл бий.

Үнэлгээний шалгуурууд үнэндээ юу хэлж байна вэ

LIBERO нь эдгээр тавын гурав нь мэдээлдэг нэг үнэлгээний шалгуур юм: симуляцийн Franka Panda дээрх хэлээр нөхцөлдсөн даалгаврууд, доорх дөрвөн багцад тус бүр арван даалгавар болгон хуваагдсан. NVIDIA багц бүрт 200 туршилт хийсэн.

SimplerEnv нь тархалтыг харуулдаг бол LIBERO харуулдаггүй. NVIDIA нь N1.7-г N1.6-тай харьцуулсан нь үе хоорондын ялгааг харуулсан хамгийн ойрын олон нийтийн зүйл юм.

Bridge мөр нь ашигтай нь: дунджаар 5.7 оноо нэмэгдсэн бол put_eggplant_in_basket 36 оноо алдаж, put_eggplant_in_sink 33-аас 2 болж буурсан. Шинэ үеийнхэн тархалтыг өргөх бус хөдөлгөдөг тул таны даалгавар N1.7 ухарсан газарт байвал дундаж нь юу ч хэлэхгүй.

Таваас зөвхөн SmolVLA-ийн судалгааны ажил SO-100 ангиллын гарны талаар мэдээлсэн: SmolVLA-д 78.3 хувь, Pi0-д 61.7 хувь гурван даалгаврын хувьд, хоёулаа олон даалгавартай, харин ACT-ийн нэг даалгаварт сургасан 48.3 хувьтай харьцуулахад адил биш юм. Цэвэр хослол нь SO-101 pick-and-place дээр хоёулаа нэг даалгавартай: тархалтад 90-ийн эсрэг 70, түүнээс гадуур 50-ийн эсрэг 40. Харьцуулахдаа ACT-ийг SmolVLA-тай харьцуулах болон Pi0.5-ийг SmolVLA-тай харьцуулах, эсвэл талбарыг үзэх.

Хоцролт болон зардал нь байршуулалтыг шийднэ

Дүгнэлт гаргах хоцрогдол нь хүмүүсийн хамгийн сүүлд олж мэддэг бөгөөд хамгийн түрүүнд харамсдаг хязгаарлалт юм. Үнэлгээний шалгуур үзүүлэлт дээр таван оноогоор илүү боловч үйлдлийн алхам тутамд хагас секунд зарцуулдаг бодлого таны ширээн дээр муу харагдана: холбоо барих динамик хүлээхгүй.

Нэг анхааруулга: GR00T-ийн үзүүлэлт нь NVIDIA-ийн карттай зөрчилдөж байна. Учир нь NVIDIA-ийн карт нь 4 дуу шуугиан арилгах алхам болон нэг камерыг H100 дээр eager горимд 85.8 мс, torch.compile-ээр 48.6 мс, бүрэн TensorRT-ээр 27.9 мс-ээр хэмждэг. Энд байгаа 152 мс нь зөвхөн урагш дамжуулалт биш, харин үйлчилгээний нэмэлт зардал болон нэгээс олон камертай бүхэл бүтэн системийн үзүүлэлт юм.

Загварыг өөрчлөхгүйгээр цаг хугацаа хэмнэх нэг арга: SmolVLA-ийн баримт бичигт синхрон гүйцэтгэлийг хэмждэг бөгөөд энэ нь бодлого нь дараагийнхийг таамаглахаас өмнө нэг хэсгийг дуусгадаг, харин асинхрон гүйцэтгэлд таамаглал нь гүйцэтгэлтэй давхцдаг. Амжилт нь ижил төстэй, 78.3-ын эсрэг 73.3, гэхдээ ижил сонгох-байрлуулах үйлдэл 13.75 секундын оронд 9.7 секунд зарцуулдаг бөгөөд тогтмол хугацаанд робот 9 циклийн оронд 19 циклийг гүйцэтгэдэг.

Лицензүүд, хэн ч шалгадаггүй учраас шалгасан

Pi0.5 мөрөнд анхаарал хандуулах шаардлагатай. LeRobot pi05 баримт бичиг нь openpi-тай нийцтэйгээр Apache 2.0 гэж заасан, харин Hub карт нь lerobot/pi05_base нь license: gemma гэж заасан байна. Хоёулаа идэвхтэй байна. GR00T N1.7 нь зөөлөн хувилбартай: Isaac-GR00T README нь N1.7 нь Apache 2.0-ийн дагуу бүрэн арилжааны зориулалтаар лицензтэй гэж дурдагдсан, харин түүний өөрийн лицензийн хэсэг болон загварын карт нь зөвхөн кодыг Apache 2.0-ийн дор, жинг NVIDIA-ийн Open Model License-ийн дор байрлуулсан.

Таны бодитоор ажиллуулах үндсэн тохиргоонууд

Сургагч бүр өгөгдмөл тохиргоотой ирдэг бөгөөд тэдгээр нь дур зоргынх биш юм. ACT-ийнх нь LeRobot-ийн өөрийнх: batch 8, lr 1e-5, 100000 сургалтын алхамууд, chunk size 100, ACTConfig-тэй дээд урсгалд таарч байгаа бөгөөд k=100 ACT баримт бичгээс. Доорх нэг багана нь урхи юм.

Моделийн сонголтоос илүү чухал тохируулга

Энэ бол үйлдлийн хэсэг юм. Урт хэсгүүд нь илүү жигд хөдөлгөөн, бага давхцах алдааг өгдөг боловч блок ажиллаж байх үед бодлого хэрэгждэг тул хөдөлж буй зүйлд хоцорч хариу үйлдэл үзүүлдэг: хөдөлгөөнгүй куб дээр итгэлтэй, өнхөрч буй куб дээр найдваргүй. Хэрэв хэтрүүлбэл, гүйцэтгэсэн хэсгийг богиносгох нь дахин сургахаас илүү үр дүнтэй бөгөөд үнэгүй. Дутуу зогссон үе нь өөр асуудал юм; үзнэ үү .

• ACT: ACTConfig нь анхдагчаар chunk_size 100 болон n_action_steps 100-тай байна. Цаг хугацааны хамтын ажиллагаа идэвхгүй бөгөөд n_action_steps 1 шаарддаг.
• GR00T N1.7: дотоод хязгаар нь 16-аас 40 болсон боловч LeRobot-ын SO-101 жишээ нь одоо ч --policy.chunk_size=16 --policy.n_action_steps=16-аар ажиллаж байна. Rollout флагийг --execution-horizon болгон өөрчилсөн.
• Pi0.5: 50 алхамтай хэсэг, үүнээс LeRobot-ын LIBERO жор нь --policy.n_action_steps=10-аар 10-ыг гүйцэтгэдэг; --policy.pretrained_path-тай бол, хэрэв та флагийг орхигдуулбал 50 руу буцдаг.
• SmolVLA: 50 үйлдлийн хэсгүүд, хоёр тохиргоо хоёулаа ил.

Тавууланг нь нэг үдээс хойш хэрхэн шалгах вэ

Хамгийн хямд хариулт бол илүү их унших биш. Ойролцоогоор 15 USD зарцуулж, гарт тань хэлүүлээрэй: нэг удаа бичлэг хийж, эхлээд хямд загварыг сургаж, өгөгдөл нь зөв болохыг баталсны дараа өргөжүүлээрэй. Бүтэц нь хэмжээнээс илүү чухал, энэ нь болон .

1. 1
   50 эпизодыг нэг удаа бүртгэх

   GR00T, Pi0.5, ACT-д 50, SmolVLA-д 30-аар эхлэх нь хангалттай. Олон янзын хувилбаруудыг нимгэн тараахын оронд тус бүрийг нь давт: 5 шоо байрлалд 50 эпизод сургасан бөгөөд 25 нь сургагдаагүй байсан. Анхны өгөгдлийн сангаа бүртгэх-ийг үзнэ үү.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   ACT-ийг эхлээд сурга, учир нь энэ нь танд худал хэлэхгүй

   Урьдчилан сургасан жин байхгүй тул, хэрэв энэ нь даалгаврыг гүйцэтгэж чадвал таны өгөгдлийн сан тухайн даалгаврыг агуулж байна гэсэн үг. Хэрэв ACT үр дүнгүй болвол өгөгдлийг засна уу. 24 ГБ карт дээр 1-3 ам.доллар, 2-5 цаг.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   SmolVLA-г ижил өгөгдлийн санд, өөрчлөлтгүйгээр ажиллуулах

   Ижил өгөгдөл, ижил гар, 80 саяын оронд 450 сая параметр, дээр нь хэлний нөхцөл байдал. LeRobot нь нэг A100 дээр 20K алхамтай ажиллагааг ойролцоогоор 4 цагт гүйцэтгэдэг. Энэ нь урьдчилан сургалт ямар нэгэн үр өгөөжтэй эсэхийг танд хэлж өгнө.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   GR00T-д хүрэхээсээ өмнө v2.1 руу хөрвүүлэх

   GR00T нь LeRobot v2 форматын хувилбарыг уншдаг бөгөөд нэмэлт meta/modality.json нь нэгтгэсэн төлөв болон үйлдлийн массивуудыг нэрлэсэн талбаруудад хэрхэн хуваахыг харуулдаг. v3.0 өгөгдлийн сан нь уг ачаалагчийг унагадаг, учир нь v3.0 нь олон эпизодыг хуваалцсан файлуудад багцалдаг бол v2 нь эпизод тутамд нэгийг бичдэг байсан. Isaac-GR00T нь доошлуулах туслах хэрэгслийг scripts/lerobot_conversion/convert_v3_to_v2.py хэлбэрээр нийлүүлдэг; v3-ийг татгалзах хуудас нь хурдан зам юм.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   Эхний хоёр нь үр дүнгүй бол GR00T N1.7 руу шилжих

   Энд үзүүлсэн NVIDIA-ийн CLI эсвэл LeRobot-ийн groot бодлогын төрлөөр. NVIDIA нь нарийн тааруулахад 40 ГБ ба түүнээс дээш VRAM, дүгнэлт хийхэд 16 ГБ VRAM-ийг зөвлөж байна. OOM тохиолдолд OOM хуудас-ыг үзнэ үү.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Уг шалгалтын дамжуулалтыг ажиллуулах хоёр арга

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Суурь загвар эсвэл эхнээс нь

Жинхэнэ сонголт бол аль 3B загварыг сонгох биш. Харин урьдчилан сургасан VLA-г ашиглах эсэх юм, учир нь ACT нь тус бүр арван минутын туршлагаас зургаан бодит хоёр гар ажиллагаатай даалгаврыг 80 сая параметр ашиглан сурсан бөгөөд юу ч урьдчилан сургагдаагүй байсан.

Хуучин ажиллагааг давтах тохиолдол

2025 оны шалгах цэгийг хөөх нь таны загварын сонголтыг хийж, асуудлыг хувилбарын тогтоолт болгон хувиргадаг: одоогийн LeRobot нь N1.5-ыг хүлээн зөвшөөрөхгүй тул та lerobot==0.5.1. Үрийн талбар байхгүй, ажиллагаа хооронд 5-6 хувийн зөрүүтэй тул давталт нь бүтцийн хувьд ойролцоо байна. болон нь платформын талыг харуулна.

Хоёр болж буурав уу? ACT эсрэг GR00T N1.7 болон GR00T N1.7 эсрэг SmolVLA. Түүхий мөрүүд нь аренагийн бичлэгүүдэд байна: GR00T N1.7, Pi0.5, SmolVLA болон ACT.

Энэхүү платформ танд юугаар туслахгүй вэ

• Энэ нь алсын зайн дүгнэлтийг хурдан хийх боломжгүй. 20-485 мс-ийн давталт нь загварт хамаарах бөгөөд интернетийн эргэлтийн хугацаа үүнд нэмэгдэнэ.
• Энэ нь GR00T эсвэл Pi0.5-ийг таны өөрийн техник хангамж дээр нарийн тааруулах боломжгүй. Энд хоёулаа зөвхөн үүлэн системд ажиллах бөгөөд зөвхөн SmolVLA болон ACT л локал байдлаар ажиллана.
• Энэ нь өгөгдлийн багцыг засах боломжгүй. Алдагдал буурч байгаа ч бодлого юу ч хийхгүй байх нь өгөгдлийн асуудал, зөвхөн нэг тохиргоонд ажилладаг бодлого нь хамрах хүрээний асуудал юм.
• Энэ нь GR00T-ийн ажиллагааг давтагдахуйц болгох боломжгүй: эх үүсвэрийн тохиргоонд seed талбар байхгүй.

Нэгийг сонгож, цааш үргэлжлүүлэх

Нэг үндсэн тохиргоо: 50 эпизод бичиж, өгөгдлийн багцыг батлахын тулд ACT-ийг 1-3 USD-ээр сургана, дараа нь SmolVLA-г ижил өгөгдөл дээр сургана. Нийтдээ 6 USD-ээс бага зардлаар, тэд хамгийн чухал асуултад хариулна: урьдчилсан сургалт энд тус болох уу, эсвэл саад бэрхшээл нь өгөгдөл үү. Хүрэлцээ ихтэй олон шатлалт даалгавруудад GR00T N1.7-г, үзэгдэл өөрчлөгдөхөд Pi0.5-г ашиглана.

Платформын тойм: анхны бодлогоо сургах, дараа нь анхны бодлогоо ажиллуулах. сургалтын баримт бичиг болон өгөгдлийн багцын баримт бичиг нь хэлбэр, форматыг хамарна; SO-100 хуудас болон SO-100-ийн иж бүрэн гарын авлага нь угсралт болон тохируулгыг хамарна. Үндсэн мэдээлэл: VLA-ийн тойм болон Pi0 урсгал тааруулах нийтлэл. Таны амжилтын хувийг нэмэгдүүлэх зүйл бол өгөгдлийн чанарын гарын авлага.