GR00T инференсін жергілікті GPU-сыз іске қосу

Raspberry Pi бір сериялық шина арқылы басқаруға және екі USB камерадан кадрларды алуға жеткілікті. Ол үш миллиард параметрлі іске қосуға жеткіліксіз: NVIDIA-ның README құжаты GR00T N1.7 инференциясын 16 ГБ немесе одан да көп VRAM бар бір GPU-ға орналастырады. Жіңішке бапталған бақылау нүктесінің қолда не істейтінін карта сатып алмай көру үшін, саясатты жалға алынған бұлтты GPU-ға орналастырыңыз, робот циклін USB порттары бар машинада ұстаңыз және бақылаулар мен әрекет бөліктерін желі арқылы жіберіңіз.

Ол жұмыс істейді, тегін емес, және бағасы тапсырмалар бойынша біркелкі таралмаған. Төменде: NVIDIA-ның жеке саясат сервері, lerobot-тың асинхронды стегі, сіздің жоғары ағын жылдамдығыңыздың жеткілікті екенін алдын ала көрсететін арифметика және платформа маршруты. Мұның бәрі Isaac-GR00T негізгі тармағына (N1.7 GA) және lerobot 0.6.1-ге 2026 жылдың 23 тамызында тексерілді.

Саясат робот машинасына неге сыймайды

AY-Robots үйрете алатын бес саясаттың екеуі жұмыс станциясының картасында жұмыс істейді, үшеуі жұмыс істемейді. Төмендегі бағаны әрекет қадамына арналған, және бұл сіздің желілік айналым уақытыңызбен бәсекелесетін сан.

Мұны маңызды шешім ретінде қабылдаңыз, ұсақ-түйек емес. ACT қадамға 20 мс жылдамдықпен робот машинасында жұмыс істейді және сіз бұл туралы ешқашан ойламайсыз. Pi0.5 485 мс жылдамдықпен пакет ғимаратыңыздан шықпас бұрын секундтың үштен бірін жұмсайды. саясаттарды салыстыру және GR00T N1.7 vs Pi0.5 дәлдік жағын қосады.

Қазіргі уақытта бар екі клиент-сервер стектері

Isaac-GR00T ZeroMQ сұрау-жауап серверін жеткізеді; lerobot асинхронды қорытындылауға негізделген gRPC серверін жеткізеді. Екеуі де GR00T бақылау нүктесі. lerobot қолдау көрсететін саясаттар тізімі async_inference/constants.py act, smolvla, diffusion, tdmpc, vqbet, pi0, pi05 және groot; оның роботтар тізімі so100_follower, so101_follower, bi_so_follower және omx_follower.

Сериализация жолы көрінгеннен маңыздырақ. GR00T-тың MsgSerializer екі бағытта да объект-типті ndarray жүктемелерін қабылдамайды, себебі msgpack_numpy оларды pickle-ге берер еді. lerobot оның орнына pickle қолданады: policy_server.py шақырады pickle.loads сұрау деректерінде, robot_client.py жіберетін бақылауды pickle-ге айналдырады. Сенімді LAN желісінде қорғауға болады, бірақ порт интернеттен қолжетімді болғанда қорғау мүмкін емес.

А жолы: NVIDIA-ның GR00T саясат сервері

Бұл NVIDIA SO-100 және SO-101 жабдықтары үшін құжаттаған жол, және егер сіздің бақылау нүктеңіз examples/finetune.sh арқылы --embodiment-tag NEW_EMBODIMENT шықса, қолданылатын жол. Қадамдар жоғарыдағы README-де жоқ нәрсені қосады: портты басқаларға ашпай роботқа жеткізу.

1. 1
   Жалға алынған GPU қорабына GR00T орнату

   Қосалқы модульдер қажет, және клондау алдында git-lfs болуы керек, әйтпесе demo_data ішіндегі parquet файлдары нұсқағыштар ретінде келеді. flash-attn және TensorRT әдепкі орнатумен бірге келеді. Жаңа под кескініндегі тұзақ: torchcodec 0.8.0 – жалғыз қолдау көрсетілетін бейне бэкэнд және тек FFmpeg 4-тен 7-ге дейінгі нұсқаларын жүктейді. Ubuntu 25.10 және 26.04 FFmpeg 8-мен бірге келеді, сондықтан GR00T Could not load libtorchcodec қатесімен жұмыс істемейді. FFmpeg-ті 8-ден төмен нұсқасын орнатып, оның кітапханаларын LD_LIBRARY_PATH орналастырыңыз.

   bash

   sudo apt install git-lfs && git lfs install
   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

2. 2
   Шектеулі негізге қарсы аутентификациялау

   Әрбір GR00T N1.7 бақылау нүктесі, соның ішінде сіздің жеке реттеуіңіз де, алғашқы қолданыста шектеулі nvidia/Cosmos-Reason2-2B жүктейді. Модель бетінде рұқсат сұраңыз және подқа кіріңіз, әйтпесе жүктеу GatedRepoError қатесімен аяқталады.

   bash

   uv run huggingface-cli login
   # or:  export HF_TOKEN=<your_token>

3. 3
   Саясат серверін іске қосу

   --model-path параметрін бақылау нүктесінің каталогына көрсетіңіз; бұл жолда сервер --modality-config-path параметрін елемейді, ол тек қайта ойнату жолында оқылады. --model-path параметрін қалдырып, оның орнына --dataset-path және --execution-horizon параметрлерін ReplayPolicy үшін беріңіз, ол жазылған әрекеттерді қайта ойнатады, бұл сымдардың жұмыс істейтінін дәлелдеудің ең арзан жолы.

   bash

   uv run python gr00t/eval/run_gr00t_server.py \
     --model-path /workspace/so100_finetune/checkpoint-10000 \
     --embodiment-tag NEW_EMBODIMENT \
     --device cuda:0 \
     --host 127.0.0.1 --port 5555

4. 4
   5555 портын робот машинасына туннельдеу

   Жоғарыдағыдай, loopback-ке байланыңыз және портты SSH немесе WireGuard үлгісіндегі тор арқылы тасымалдаңыз. Бұл ZeroMQ сокеті қамтамасыз етпейтін шифрлау мен аутентификацияны шамамен бір миллисекунд ішінде қамтамасыз етеді.

   bash

   # on the robot machine
   ssh -N -L 5555:127.0.0.1:5555 root@<pod-host> -p <pod-ssh-port>
   
   # sanity check that something answers
   nc -vz 127.0.0.1 5555

5. 5
   Робот клиентін сервомоторлардың жанында іске қосу

   Клиентке өзінің uv ортасы қажет: ол оқыту стегін емес, lerobot-тың робот драйверлерін қалайды. eval_so100.py so100_follower, so101_follower және koch_follower импорттайды, сондықтан сіздің қолыңызға сәйкес келетін --robot.type параметрін беріңіз (жоғарыдағы README so101_follower қолданады). Камера кілттері оқытуға сәйкес келуі керек: адаптер дәл front және wrist оқиды, және оларды ауыстыру саясатқа қате көріністі көрсетеді.

   bash

   cd gr00t/eval/real_robot/SO100
   uv sync
   uv pip install --no-deps -e ../../../../
   
   uv run --no-sync python eval_so100.py \
     --robot.type=so100_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=orange_follower \
     --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
     --policy_host=127.0.0.1 \
     --policy_port=5555 \
     --lang_instruction="pick up the red block and put it in the bin"

B бағыты: lerobot асинхронды инференс

lerobot басқа мәселені шешеді. Модель ойланып жатқанда роботты бұғаттаудың орнына, клиент сервер келесі бөлікті есептеп жатқанда өзінде бар кезек арқылы қадамдарды жалғастырады. Бұл әрекетті бөліктерге бөлу одан әрі дамытылған, SmolVLA-мен енгізілген асинхронды стек. Ол GR00T чекпоинтімен де жұмыс істейді.

# GPU machine
pip install -e ".[async]"
python -m lerobot.async_inference.policy_server \
     --host=127.0.0.1 \
     --port=8080

# robot machine, after tunnelling 8080
python -m lerobot.async_inference.robot_client \
    --server_address=127.0.0.1:8080 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower_so100 \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
    --task="pick up the red block and put it in the bin" \
    --policy_type=groot \
    --pretrained_name_or_path=<user>/my_groot_finetune \
    --policy_device=cuda \
    --actions_per_chunk=50 \
    --chunk_size_threshold=0.5 \
    --debug_visualize_queue_size=True

Сервер бос басталады: ол клиенттің алғашқы қол алысуы оған айтқанға дейін қандай саясатты ұсынатынын білмейді, бұл жалға алынған подта ыңғайлы. Қолдың бірқалыпты қозғалуын анықтайтын екі реттегіш actions_per_chunk және chunk_size_threshold (lerobot құжаттары екіншісін SmolVLA мақаласынан кейін g деп атайды), және құжатталған мәндер мен жеткізілген мәндер сәйкес келмейді.

Сіздің байланысыңыз жеткілікті жылдам ба екенін анықтайтын арифметика

Адамдар мұны өткізіп жібереді де, содан кейін бір күні . Бұл екі минутты алады және ол әрдайым дерлік шешуші болып табылады.

NVIDIA-ның eval_so100.py ішіндегі түсініктеме берілген бақылау сөздігі сымда не болатынын көрсетеді: uint8 форматындағы (480, 640, 3) пішінді екі массив, алты бірлескен float, тіл жолы. Бұл кадрға 921,600 байт, екі камераға 1,843,200 байт, шамамен 14.7 Мбит, және ешбір стек оны JPEG-компрессияламайды. Қайтып келетін бөлік 6 float-тан тұратын бірнеше ондаған қадам. Сіздің жүктеуіңіз бәрін шешеді, жүктеуіңіз емес.

Сіз сыйыстыруыңыз керек бюджет

GR00T SO-100 клиенті синхронды: ол шақырады policy.get_action(obs), бірінші action_horizon қадамын 30 FPS жылдамдықпен орындайды, содан кейін қайта шақырады. Блок өлшемі мен горизонт әртүрлі сандар: NVIDIA-ның орналастыру нұсқаулығы 16 әрекет блогының өлшемін, нақты уақыттағы блоктармен біріктірілгенде кем дегенде 32-ні ұсынады, ал eval_so100.py 8 орындау горизонтын қамтамасыз етеді. 30 FPS жылдамдықпен сегіз қадам шақыруға 267 мс қозғалыс береді, және қалған барлық нәрсе осы уақытқа сыюы керек.

observation upload   14.7 Mbit / 100 Mbit/s   = 147 ms
network round trip                            =  30 ms
model inference (AY-Robots figure, N1.7)      = 152 ms
action chunk return + deserialize             =  ~2 ms
                                                -------
total per call                                  331 ms

budget at action_horizon = 8   ->  267 ms   FAIL, arm pauses ~64 ms per chunk
budget at action_horizon = 16  ->  533 ms   fits, with headroom
budget at action_horizon = 32  -> 1067 ms   fits, observations now ~1 s stale

Горизонтты көтеру – бұл қарапайым шешім, бірақ тегін емес: қол қазір ескірген бақылауға сүйеніп әрекет етеді. Негізгі шешім – нақты уақыттағы блоктарға бөлу, ол ағымдағы блок жұмыс істеп тұрғанда келесі блокты есептейді, орындалуы кепілдендірілген әрекеттерді тоқтатады және қалғанын толтырады; RTC құжаты оны қайта оқытусыз қорытындылау кешігуіне төзімді деп хабарлайды. Алдымен оның қай жерде тұрғанын тексеріңіз. NVIDIA RTC-ны эксперименттік, төмен деңгейлі модельдік примитив ретінде белгілейді, оған action_head.get_action(..., options={"rtc_overlap_steps": ..., "rtc_frozen_steps": ...}), Gr00tPolicy немесе сервер-клиент жолына қосылмаған, мұнда options пайдаланылмайды, сынақтар мен мысалдар жоқ. Саясат сервері арқылы сіз RTC емес, асинхронды орындауды аласыз.

Сенбес бұрын өлше

Жоғарыдағы әрбір сан — болжам. Төрт пәрмен оны өлшемге айналдырады, ешқашан жұмыс істемейтін тапсырмаға под-сағатты жұмсамас бұрын орындауға тұрарлық.

1. 1
   Шикі айналымды алу

   CDN-ге емес, подқа қарсы. Ауытқуды орташа мән сияқты мұқият бақылаңыз: діріл орташа кідіріс емес, қолдың кекештенуіне себеп болады.

   bash

   ping -c 50 <pod-host>
   # the mdev column is the number that predicts stutter

2. 2
   Төлегеніңізді емес, бар жоғары ағынды өлшеңіз

   Тұрғын үй желісінің жүктеу жылдамдығы әдетте жүктеу жылдамдығының бір бөлігін құрайды, және бұл жоғарыдағы өткізу қабілеті кестесіндегі сан.

   bash

   # on the pod
   iperf3 -s
   
   # on the robot machine, -R omitted so this measures upload
   iperf3 -c <pod-host> -t 30

3. 3
   Клиенттің кідіріс журналын оқу

   LeRobot робот клиенті әрбір бөлік үшін серверден клиентке дейінгі кідіріс пен десериализация уақытын тіркейді. B бағытында сізге сыртқы құралдар қажет емес.

   text

   Received action chunk for step #240 | Latest action: #232 |
     Incoming actions: 240:289 |
     Network latency (server->client): 187.44ms |
     Deserialization time: 3.10ms

4. 4
   Әрекет кезегінің босауын бақылау

   --debug_visualize_queue_size=True параметрін беріңіз, сонда клиент жұмыс уақытында кезек өлшемін көрсетеді. Егер ол қайта-қайта нөлге жетсе, сіздің бюджетіңіз таусылған: кадр жиілігін төмендетіңіз, actions_per_chunk мәнін арттырыңыз немесе chunk_size_threshold мәнін арттырыңыз, сонда бақылаулар жиірек шығады.

   bash

   python -m lerobot.async_inference.robot_client \
       ... \
       --debug_visualize_queue_size=True

Қашықтағы қорытынды шығару не үшін жақсы

Егер қашықтағы іске қосу әр эпизодта бірдей нүктеде тұтықса, желі себепші болмауы мүмкін. Әр жолы бірдей буын бұрышында кідіретін саясат әдетте деректер мәселесі болып табылады; қараңыз ақаулық режимдері беттері, атап айтқанда бір ғана орнатуда жұмыс істейтін саясат және шығын азаяды, бірақ саясат ештеңе істемейді.

Өзіңіз жасау немесе AY-Robots-та жасау

Қашықтағы инференс сессиясы қанша тұрады

Екі сан маңызды: картаның сағаттық тарифі және оны қанша уақыт жұмыс істететініңіз. Біріншісі жарияланған; екіншісі адамдарды таң қалдырады.

Бұл бағалар 2026 жылдың 23 тамызында Runpod баға бетінен оқылды, және спот нарықтары өзгеріп отырады. AY-Robots оның орнына толық іске қосуды ұсынады: A100 немесе H100 деңгейінде сағатына 1.20-дан 2.00 USD-ға дейін 3-тен 6 сағатқа, GR00T немесе Pi0.5 іске қосу үшін шамамен 4-тен 12 USD-ға дейін; 24 ГБ деңгейінде сағатына 0.30-дан 0.60 USD-ға дейін 2-ден 5 сағатқа, SmolVLA немесе ACT үшін 1-ден 3 USD-ға дейін. Инференс сессиясы оқытуды тек тоқтатқан жағдайда ғана шығын бойынша жеңеді, бұл бос тұрған бақылаушының міндеті. Қараңыз есеп айырысу құжаттарын және баға бетін.

Егер сіз желінің циклде болғанын қаламасаңыз

Қашықтан инференция аппараттық мәселені шешеді және кідіріс мәселесін тудырады. Кейде жақсырақ шешім - сізде бар аппараттық құралға сәйкес келетін саясат.

• ACT, шамамен 80 миллион параметр және әрекет қадамына 20 мс, ең аз 50 эпизод, кез келген 24 ГБ карта. Қайталанатын бір тапсырмалы орнатуда ол қашықтағы 3 миллиардтық модельден жиі асып түседі, себебі ол ешқашан пакетті күтпейді.
• SmolVLA, шамамен 450 миллион параметр және әрекет қадамына 245 мс, ең аз 30 эпизод. Ол ACT-да жоқ тілдік шартты сақтайды, және lerobot құжаттамасы оны инференция кезінде шамамен 2 ГБ деп көрсетеді, PI0 үшін шамамен 14 ГБ-ға қарсы.
• ACT vs GR00T N1.7 сауданың дәлдік жартысы үшін.

Орта жол да бар: бұлтта оқыту, жергілікті жерде бағалау. Дәл баптау 80 ГБ картаны қажет етеді және кідіріске мән бермейді, сондықтан GR00T N1.7-ні SO-100-де оқыту қашықтан даусыз. Тек бағалау циклінде нақты уақыт шектеуі бар; оқыту құжаттары және модель және қол матрицасы сол жартысын қамтиды.

Жиі қойылатын сұрақтар

Қысқаша нұсқасы

3 B үшін қашықтағы қорытындылау саясат шешілген инженерлік мәселе, бірақ шешілмеген физикалық мәселесі бар. Инженерлік бөлігі екі команда мен SSH туннелінен тұрады. Физикалық бөлігі - 1.8 MB бақылау басқа елдегі GPU-ға жетіп, қол әрекеттері таусылмай тұрып кері оралуы керек. Ештеңені жалға алмас бұрын есептеулерді жасаңыз, ескірген бақылауды қабылдайтын тапсырманы таңдаңыз және байланыстың жақсаруына үміттенбей, орындау көкжиегін арттырыңыз.

Егер сіз әлі деректер жинағын жазбаған болсаңыз, алғашқы деректер жинағын жазыңыз және SO-100 орнату нұсқаулығы бірінші келеді, ал LeRobot деректер жинағы форматы жазбасы жазу құрылғысының не жазатынын түсіндіреді. Негізгі ақпарат көру-тіл-әрекет модельдерінде және ағынға сәйкестендіру саясаты жұмысында; арена жазбасы әрбір эталондық санды дереккөзге сілтейді.