2026 жылы қай VLA саясатын үйрету керек?

Бүгінде SO-100 кластық қолда бес саясатты үйретуге болады. Олар инференцияда 24 есе айырмашылық жасайды кешігу, параметрлер санында 37 және бір іске қосу құнында 12 есе, сондай-ақ нәтижені жеткізуге болатындығында. Бес модель картасы оны шешпейді: ешқайсысы сіздің сұрағыңызға жауап бермейді, мен қайсысын бірінші іске қосамын?

Төмендегі әрбір сан 2026 жылдың тамызындағы құжаттардан, репозиторийлерден және карталардан оқылды. Платформа нөмірлері мына жерден алынған AY-Robots саясат каталогы; егер екеуі келіспесе, екеуі де көрсетіледі.

Шешім кестесі

Бес үміткер

Барлығы бесеуі де саясаттары: камера кадрлары, буын позициялары және, олардың төртеуі үшін, болашақ буын нысаналарының бөлігіне сәйкестендірілген тілдік нұсқау. Оларды бөлетін нәрсе – сіз келгенге дейін қаншалықты үйретілгені.

GR00T N1.7

NVIDIA-ның қазіргі көру-тіл-әрекет моделі, шамамен 3 миллиард параметр, шамамен 40 миллионы жетілдіру кезінде оқытылған. Репозиторий N1.6-дан айырмашылықтарды көрсетеді: Eagle моделінен Cosmos-Reason2-2B-ге Qwen3-VL-дегі негізгі құрылым, диффузиялық қабаттар 32-ден 16-ға, күй және әрекет өлшемдері 29-дан 132-ге, әрекет көкжиегі 16-дан 40-қа дейін.

Шағын қолда маңыздысы – салыстырмалы соңғы эффектінің әрекет кеңістігі: N1.7 ағымдағы қалыптан айырмашылықтарды болжайды, бұл 20 мың сағаттық EgoScale адам бейнесін робот саясатына ауыстыруға мүмкіндік береді. N1.7 бетіндегі сипаттама, процедурасы SO-100 нұсқаулығындағы N1.7.

GR00T N1.5

Бірдей 3 B масштабы, Eagle 2 негізі, SigLip2 және T5, ағынды сәйкестендіру DiT басы. Ол сізде бар кеңейту үшін бар. Оны нашар әдепкі етіп көрсететін екі нәрсе бар: салмақтар NVIDIA's one-way non-commercial licence, және LeRobot-тың қазіргі шығарылымдары N1.5 қолдауын алып тастады. Қараңыз .

Pi0.5

Physical Intelligence компаниясының VLA, саясат түрі pi05. Мақалада PaliGemma-дан бастапқыда іске қосылған 2 B VLM және 300 M әрекет сарапшысы берілген, ол роботты 50 Hz жиілікте басқарады; LeRobot's pi05 config әдепкі бойынша 50-step chunk, сол жылдамдықта one second-қа орнатылған. Оның басты артықшылығы – бұрын-соңды болмаған жерлер: нақты үйлердегі шамамен 400 hours мобильді манипуляция және 3, 12, 22, 53, 82 және 104 locations бойынша масштабтау зерттеуі, мұнда 104-location model сынақ үйлерінде оқытылған басқарумен сәйкес келді.

Бір шектеу, көрсетілген lerobot/pi05_base картасында: порт тек ағынға сәйкес келетін әрекет басын ғана тасымалдайды. Қосалқы тапсырманы болжау, әрекетті токенизациялау және RL жоғары ағында шығарылмаған, және openpi өз репозиторийі туралы да солай дейді. Pi0.5 беті және SO-100-дегі Pi0.5 нұсқаулығы қалғанын қамтиды.

SmolVLA

450 М параметр, шамамен 100 М әрекет сарапшысында, SmolVLM-2-де VLM қатырылған және тек оның алғашқы 16 тілдік модель қабаты қолданылған. Алдын ала оқыту қауымдастық деректері болды: 481 деректер жиынтығы, 10.6 М кадр, сіз қолданатын сол арзан қолдардан. Мұнда бір 24 ГБ картаға сыятын жалғыз VLA, және жалғыз 30 эпизод едені. Қараңыз SmolVLA бетін.

ACT

Негізгі модель емес. ALOHA-дан Action Chunking Transformer шамамен 80 М параметрді құрайды, ол әр тапсырма үшін нөлден бастап, 50 демонстрацияда 50 Гц жиілікпен оқытылған. Мақалада шамамен он минуттық демонстрациялардан алты нақты екі қолды тапсырмалар туралы хабарланады, ол бөлектелген мысалдарда 80-90 пайызды құрайды. Оның идеясы, әрекетті бөліктеу, осы беттегі әрбір модельде бар, және оның абляциясы әлі де әсерді ең жақсы өлшейді: уақытша ансамбльдеу өшірілген екі модельделген тапсырмада, сәттілік k=1 кезінде 1 пайыздан k=100 кезінде 44 пайызға дейін өседі. ACT бетінде қалғаны бар.

Бенчмарктар шын мәнінде не дейді

LIBERO - бұл бес модельдің үшеуі хабарлайтын бір бенчмарк: модельделген Franka Panda роботындағы тілге негізделген тапсырмалар, төмендегі төрт жиынтыққа бөлінген, әрқайсысында он тапсырма бар. NVIDIA әр жиынтық үшін 200 сынақ өткізді.

SimplerEnv LIBERO көрсетпейтін таралуды көрсетеді. NVIDIA N1.7-ні N1.6-мен салыстырады, бұл ұрпақтық дельтаға ең жақын көпшілікке қолжетімді нәрсе.

Bridge қатары пайдалы: орташа есеппен 5.7 ұпай жиналды, ал put_eggplant_in_basket 36 ұпай жоғалтты және put_eggplant_in_sink 33-тен 2-ге дейін төмендеді. Жаңа буын таратуды көтерудің орнына оны жылжытады, сондықтан егер сіздің тапсырмаңыз N1.7 регрессияға ұшыраған жерде болса, орташа көрсеткіш ештеңе айтпайды.

Бесеуінің ішінен тек SmolVLA мақаласы SO-100 кластық қолы туралы хабарлайды: SmolVLA үшін 78.3 пайыз және Pi0 үшін үш тапсырма бойынша 61.7, екеуі де көп тапсырмалы, ACT үшін 48.3-ке қарсы бір тапсырмалы оқытылған, бұл бірдей емес. Таза жұптастыру SO-101 pick-and-place бойынша екеуі де бір тапсырмалы: таратуда 90-ға қарсы 70, одан тыс 50-ге қарсы 40. Салыстырыңыз: ACT-ті SmolVLA-ға қарсы және Pi0.5-ті SmolVLA-ға қарсы, немесе аренаны шолыңыз.

Кідіріс пен құны орналастыруды шешеді

Инференс кідірісі - бұл адамдар ең соңында табатын және бірінші өкінетін шектеу. Бенчмаркта бес ұпайға жақсырақ, бірақ әрекет қадамына жарты секунд кететін саясат үстеліңізде нашар көрінеді: контакт динамикасы күтпейді.

Бір ескерту: GR00T көрсеткіші NVIDIA картасымен сәйкес келмейді, ол 4 шуды азайту қадамын және бір камераны H100-де eager режимінде 85.8 ms, torch.compile арқылы 48.6 ms, толық TensorRT арқылы 27.9 ms уақытпен өлшейді. Мұндағы 152 ms - бұл қызмет көрсету шығындарымен және бірнеше камерамен есептелген толық стек көрсеткіші, алға бағытталған өту емес.

Модельді өзгертпей уақытты үнемдеудің бір жолы: SmolVLA мақаласы синхронды орындауды өлшейді, мұнда саясат келесіні болжаудан бұрын бір бөлікті аяқтайды, асинхронды орындауға қарсы, мұнда болжау орындаумен қабаттасады. Нәтиже ұқсас, 78.3-ке қарсы 73.3, бірақ бірдей таңдау-орналастыру 13.75 секунд орнына 9.7 секундты алады, және белгіленген уақыт аралығында робот 9 цикл орнына 19 циклді басқарады.

Лицензиялар, ешкім тексермейтіндіктен тексерілді

Pi0.5 жолына мұқият болу керек. LeRobot pi05 құжаттамасы openpi-мен сәйкес Apache 2.0 деп көрсетеді, ал Hub картасы lerobot/pi05_base келесіні қамтиды: license: gemma. Екеуі де қолданыста. GR00T N1.7-де жеңілірек нұсқасы бар: Isaac-GR00T README-де N1.7 Apache 2.0 лицензиясы бойынша толық коммерциялық пайдалануға рұқсат етілген деп айтылған, ал оның жеке лицензия бөлімі мен модель картасы тек кодты Apache 2.0 лицензиясы бойынша, ал салмақтарды NVIDIA Open Model License лицензиясы бойынша орналастырады.

Сіз іс жүзінде іске қосатын әдепкі параметрлер

Әрбір тренажер формасы әдепкі мәнді жібереді, және олар ерікті емес. ACT-тікі LeRobot-тың өзінікі: batch 8, lr 1e-5, 100000 оқыту қадамдары, chunk size 100, ACTConfig upstream-ға сәйкес және k=100 ACT мақаласынан. Төмендегі бір баған – тұзақ.

Модель таңдауынан да маңыздырақ реттегіш

Бұл әрекет бөлігі. Ұзағырақ бөліктер қозғалысты тегістейді және жинақталатын қателерді азайтады, бірақ блок орындалып жатқанда саясат бекітіледі, сондықтан ол қозғалатын кез келген нәрсеге кеш әрекет етеді: статикалық текшеде сенімді, домалап бара жатқанда үмітсіз. Егер ол артық кетсе, орындалған бөлікті қысқарту қайта оқытудан артық және тегін. Ерте тоқтайтын буын басқа мәселе; қараңыз .

• ACT: ACTConfig әдепкі бойынша chunk_size 100 және n_action_steps 100 мәндерін қолданады. Уақытша ансамбль өшірулі және n_action_steps 1 қажет етеді.
• GR00T N1.7: ішкі горизонт 16-дан 40-қа дейін өсті, бірақ LeRobot-тың SO-101 мысалы әлі де --policy.chunk_size=16 --policy.n_action_steps=16 арқылы жұмыс істейді. Rollout флагы --execution-horizon болып өзгертілді.
• Pi0.5: 50 қадамдық бөлік, оның ішінде LeRobot-тың LIBERO рецепті --policy.n_action_steps=10 арқылы 10-ын орындайды; --policy.pretrained_path болса, егер сіз флагты қалдырсаңыз, ол 50-ге оралады.
• SmolVLA: 50 әрекеттік бөліктер, екі реттегіш те қолжетімді.

Бесеуін бір түсте қалай тексеруге болады

Ең арзан жауап – көп оқу емес. Шамамен 15 USD жұмсаңыз және робот қолына айтқызыңыз: бір рет жазыңыз, алдымен арзан модельді үйретіңіз, деректердің дұрыстығы дәлелденгеннен кейін ғана күшейтіңіз. Құрылым көлемнен артық, бұл және .

1. 1
   50 эпизодты бір рет жазыңыз

   Fifty GR00T, Pi0.5 және ACT, сондай-ақ SmolVLA-ның 30-ы үшін алаңды тазартады. Әрбір вариацияны жұқа таратпай қайталаңыз: 25-і орындалмаған 5 текше позициясы бойынша оқытылған 50 эпизод. Алғашқы деректер жинағыңызды жазыңыз бөлімін қараңыз.

   bash

   lerobot-record \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM1 \
     --robot.id=my_follower_arm \
     --teleop.type=so100_leader \
     --teleop.port=/dev/ttyACM0 \
     --teleop.id=my_leader_arm \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --dataset.num_episodes=50 \
     --dataset.single_task="Put the lego brick into the box"

2. 2
   Алдымен ACT-ті үйретіңіз, өйткені ол сізге өтірік айта алмайды

   Алдын ала оқытылған салмақтар жоқ, сондықтан егер ол тапсырманы орындайтын болса, деректер жинағыңызда тапсырма бар. Егер ACT тегіс болса, деректерді түзетіңіз. 1-ден 3 USD, 24 ГБ картада 2-ден 5 сағат.

   bash

   lerobot-train \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --policy.type=act \
     --policy.device=cuda \
     --batch_size=8 \
     --steps=100000 \
     --seed=1000 \
     --output_dir=outputs/train/act_pickplace \
     --job_name=act_pickplace

3. 3
   SmolVLA-ны бірдей деректер жинағында, өзгеріссіз іске қосыңыз

   Бірдей деректер, бірдей қол, 80 М орнына 450 М параметр, сонымен қатар тілдік шарттау. LeRobot бір A100-де шамамен 4 сағатта 20K қадамдық жұмысты орындайды. Бұл алдын ала оқытудың қандай да бір пайдасы бар-жоғын көрсетеді.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/pick-place-50 \
     --batch_size=64 \
     --steps=20000 \
     --policy.device=cuda \
     --output_dir=outputs/train/smolvla_pickplace \
     --job_name=smolvla_pickplace

4. 4
   GR00T-ке кіріспес бұрын v2.1 нұсқасына түрлендіріңіз

   GR00T LeRobot v2 форматының бір түрін, сонымен қатар қосымша meta/modality.json файлын оқиды, ол біріктірілген күй мен әрекет массивтерінің атаулы өрістерге қалай бөлінетінін көрсетеді. v3.0 деректер жинағы бұл жүктегішті істен шығарады, өйткені v3.0 көптеген эпизодтарды ортақ файлдарға жинайды, ал v2 әр эпизодқа бір файл жазды. Isaac-GR00T төмендету көмекшісін scripts/lerobot_conversion/convert_v3_to_v2.py ретінде жеткізеді; v3 қабылдамау беті жылдам жол болып табылады.

   text

   # GR00T expects this layout, not the v3.0 file-based one
   my_dataset/
     meta/
       info.json
       episodes.jsonl      # episode index and lengths
       tasks.jsonl         # language task descriptions
       modality.json       # GR00T-specific: state/action/video key mapping
     data/chunk-000/       # parquet, state and action per timestep
     videos/chunk-000/     # one mp4 per episode

5. 5
   GR00T N1.7-ге тек алғашқы екеуі бірдеңе қалдырған жағдайда ғана көтеріліңіз

   NVIDIA CLI арқылы, мұнда көрсетілгендей, немесе LeRobot-тың groot саясат түрі арқылы. NVIDIA дәл баптау үшін 40 ГБ немесе одан да көп VRAM, ал инференция үшін 16 ГБ ұсынады. OOM болған жағдайда, OOM бетін қараңыз.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
     gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.7-3B \
     --dataset-path demo_data/cube_to_bowl_5 \
     --embodiment-tag NEW_EMBODIMENT \
     --modality-config-path examples/SO100/so100_config.py \
     --num-gpus 1 \
     --output-dir /tmp/test_finetune \
     --max-steps 2000 \
     --global-batch-size 32 \
     --dataloader-num-workers 4

Бұл скринингтік өтуді іске қосудың екі жолы

# 1. LeRobot: ACT, SmolVLA, Pi0.5 and GR00T N1.7 via --policy.type=groot
pip install "lerobot[smolvla]"
pip install "lerobot[pi]"
pip install "lerobot[groot]"

# 2. GR00T reference implementation and benchmark examples
git clone https://github.com/NVIDIA/Isaac-GR00T

# 3. Physical Intelligence reference implementation
git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi

Негізгі модель немесе нөлден бастап

Нақты таңдау 3 B моделін таңдау емес. Ол алдын ала оқытылған VLA-ны мүлдем қолдану-қолданбау, ескере отырып, ACT әрқайсысы он минутқа жуық демонстрациядан алты нақты бимануалды тапсырманы 80 М параметрмен үйренгенін және ешқандай алдын ала оқытусыз.

Ескі іске қосуды қайталау жағдайы

2025 жылғы бақылау нүктесін іздеу модель таңдауын сіз үшін жасайды және мәселені нұсқаны бекітуге айналдырады: ағымдағы LeRobot N1.5-ті қабылдамайды, сондықтан сіз бекітесіз lerobot==0.5.1. Тұқым өрісі жоқ және іске қосулар арасында 5-тен 6 пайызға дейін ауытқу болғандықтан, қайталау құрылымы бойынша шамалы болады. және платформалық жағын қамтиды.

Екіге дейін қысқарды ма? ACT GR00T N1.7-ге қарсы және GR00T N1.7 SmolVLA-ға қарсы. Арена жазбаларындағы бастапқы жолдар: GR00T N1.7, Pi0.5, SmolVLA және ACT.

Бұл платформа сізге қай жерде көмеспейді

• Ол қашықтағы инференсті жылдамдата алмайды. 20-дан 485 мс-қа дейінгі цикл модельге тиесілі; интернеттегі айналымдар оған қосылады.
• Ол GR00T немесе Pi0.5-ті өз жабдығыңызда дәл баптай алмайды. Екеуі де мұнда тек бұлтта жұмыс істейді; тек SmolVLA мен ACT жергілікті жерде іске қосылады.
• Ол деректер жинағын түзете алмайды. Жоғалту азаяды, бірақ саясат ештеңе істемейді – деректер мәселесі, тек бір конфигурацияда жұмыс істейтін саясат – қамту мәселесі.
• Ол GR00T іске қосуларын қайталанатын ете алмайды: жоғарғы ағындағы конфигурацияда seed өрісі жоқ.

Біреуін таңдап, әрі қарай жалғастыру

Бір әдепкі: 50 эпизодты жазып алу, деректер жинағын дәлелдеу үшін ACT-ті 1-ден 3 USD-ға дейін оқыту, содан кейін SmolVLA-ны бірдей деректерде. Жалпы 6 USD-дан аз, және олар маңызды сұраққа жауап береді: алдын ала оқыту мұнда көмектесе ме, әлде тар мойын деректерде ме. Байланысқа бай көп қадамды тапсырмалар үшін GR00T N1.7-ге, ал көрініс өзгерген кезде Pi0.5-ке көтеріліңіз.

Платформаға шолу: алғашқы саясатыңызды үйретіңіз, содан кейін алғашқы саясатыңызды іске қосыңыз. оқыту құжаттары және деректер жинағы құжаттары нысаны мен форматын қамтиды; SO-100 беті және толық SO-100 нұсқаулығы құрастыру мен калибрлеуді қамтиды. Анықтама: VLA шолуы және Pi0 ағынға сәйкестендіру мақаласы. Сіздің сәттілік деңгейіңізді арттыратын нәрсе – деректер сапасы бойынша нұсқаулық.