Kā apmācīt GR00T N1.7 ar savu SO-100 datu kopu

NVIDIA piegādā precizēšanas piemēru tieši tai robotrokai, kas jums, visticamāk, pieder. Iekš Isaac-GR00T repozitorija ir mape ar nosaukumu demo_data/cube_to_bowl_5: piecas epizodes, 4148 kadri ar 30 kadriem sekundē, jau uzrakstīti kā LeRobot v2.1, ar atbilstošu modalitātes konfigurāciju zem examples/SO100/. Tās meta/info.json ziņo robot_type: so101_follower, kas LeRobot ir tā pati konfigurācijas klase kā so100_follower. Tas ir patiesi noderīgi, jo tas nozīmē, ka atsauces ceļš priekš GR00T N1.7 uz sešu-brīvības pakāpju hobija robotrokas tiek uzturēts no cilvēkiem, kas rakstīja modeli. Tā nav samazināta humanoīda demonstrācija, tā ir tā pati robotroka.

Sliktā ziņa ir attālums starp I recorded 60 episodes un the arm does the task. Ir aptuveni sešas vietas, kur šī cauruļvads klusi, nevis skaļi, neizdodas, un četras no tām atrodas failos, ko lielākā daļa cilvēku nekad neatver: meta/modality.json, Python datu konfigurācija, meta/relative_stats.json, un datu kopas paša versijas virkne. Šī rokasgrāmata iziet manuālo ceļu no sākuma līdz beigām ar reālām komandām, pēc tam parāda to pašu darbu kā veidlapu vietnē AY-Robots. Viss zemāk minētais tika pārbaudīts pret Isaac-GR00T galveno zaru no 2026. gada 20. augusta (the n1.7-release line) un lerobot 0.6.1, kas publicēts PyPI 2026. gada 3. augustā. Augšupējā plūsma kustas ātri, un, ja karodziņš tika pārdēvēts, šis raksts to norāda.

Kas patiesībā ir GR00T N1.7

GR00T N1.7 ir redzes-valodas-darbības modelis ar divu sistēmu izkārtojumu, kas aprakstīts oriģinālajā GR00T N1 rakstā: redzes-valodas modulis, kas nolasa kameras un instrukciju, un difūzijas transformators, kas to pārvērš nepārtrauktu motoru komandu blokā. N1.7 aizstāja pirmo pusi. Eagle mugurkauls no N1.6 ir pazudis, nomainīts pret nvidia/Cosmos-Reason2-2B uz Qwen3-VL arhitektūras, un modelis tika iepriekš apmācīts aptuveni 20 000 stundu egocentriska cilvēka video materiāla, papildus robota datiem. NVIDIA pašu aprakstā šis skaitlis ir 20 854 stundas un tiek ziņots, ka, palielinoties no 1 tūkst. līdz 20 tūkst. stundām, vidējā uzdevumu izpilde vairāk nekā dubultojas.

Mainījās arī otrā puse, veidos, kas ir svarīgi jūsu izpildei. Darbības galva samazinājās no 32 difūzijas slāņiem līdz 16, paredzētais darbības bloks pieauga no 16 soļiem līdz 40, un maksimālais stāvokļa un darbības platums pieauga no 29 līdz 132. Šie trīs skaitļi nāk no izmaiņu žurnāla repozitorija README; NVIDIA pašu palaišanas ziņojums joprojām apraksta 1. sistēmu kā 32 slāņu DiT, tāpēc, ja abi atšķiras, uzticieties repozitorijam, ko gatavojaties klonēt. Darbības pēc noklusējuma tiek izteiktas relatīvā gala izpildmehānisma telpā, kā deltas no pašreizējās pozas, nevis absolūti mērķi, kas ļauj manipulācijas priekšzināšanām, kas apgūtas no cilvēka video, vispār pārnest uz robotu kontroli. Pati galva ir plūsmas saskaņošanas difūzijas transformators, tā pati saime kā Pi0.5, bet ar atšķirīgu mugurkaulu priekšā. Ja joprojām izmantojat iepriekšējo paaudzi, N1.7 pret N1.5 aptver, vai jauninājums attaisno jūsu cauruļvada pārveidošanu.

Šīs pēdējās trīs rindas izskaidro lielāko daļu vilšanās, par ko ziņo cilvēki. Virsrakstā minētie 27.9 ms ir TensorRT dzinējs uz H100 ar vienu kameru un četriem trokšņu samazināšanas soļiem. Vienkāršs PyTorch uz tās pašas kartes ir 85.8 ms, un modeļa karte norāda atšķirību 3.08x. Neviens no šiem skaitļiem neietver apkalpošanas slāni, otru kameru vai tīkla lēcienu. AY-Robots norādītie 152 ms par darbības soli savam apkalpotajam GR00T N1.7 ir skaitlis ar apkalpošanu cilpā, un tam virsū nāk publiskā interneta turp-atpakaļ ceļš. Vairāk par to beigās. Lai uzzinātu skaitļus blakus citiem modeļiem, GR00T N1.7 pret Pi0.5 un GR00T N1.7 pret SmolVLA izklāsta tos blakus.

Kas nepieciešams palaišanai, pirms kaut ko ievadāt

0. solis: pašas epizodes

Viss zemāk minētais pieņem, ka jums jau ir ierakstītas epizodes. Ja jums to nav, tas ir īstais pirmais solis, un tas ir tas, kas nosaka, cik labs var būt rezultāts, jo imitācijas mācīšanās nevar atgūt informāciju, kas nav datos. Vispirms kalibrējiet abas rokas, pēc tam vadiet sekotāju ar vadošo roku kamēr lerobot-record raksta parketa failus un kameras plūsmas. Ja kalibrēšana ir nepareiza, jūsu datu kopas savienojumu vērtības apraksta nedaudz atšķirīgu robotu no tā, kas vēlāk izpildīs politiku, un nekāda apmācība to neizlabos.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRobot paša padoms ir ierakstīt vismaz 50 epizodes, aptuveni 10 katrai objekta atrašanās vietai, saglabāt kameras fiksētas un saglabāt satveršanas uzvedību konsekventu. Pievienojiet variācijas vēlāk, nevis sākumā. Atcerēšanās vērts īkšķa likums: ja jūs pats nevarētu veikt uzdevumu tikai no kameras attēliem, tad politika arī nevar. Roku specifiskai iestatīšanai, SO-100 darba sākšana un SO-100 LeRobot lapa aptver portus, kalibrēšanu un kameras indeksus. AY-Robots jūs to varat darīt arī internetā no pārlūkprogrammas, izmantojot teleoperācija un ierakstīt tieši no sesijas.

1. solis: datu kopai jābūt LeRobot v2.1

Šī ir visbiežāk sastopamā problēma. LeRobot pašreizējā CODEBASE_VERSION galvenajā zarā ir v3.0, tāpēc viss, ko ierakstāt šodien ar pašreizējo rīku ķēdi, būs v3.0. GR00T ielādētājs sagaida v2. Repozitorijs skaidri norāda iemeslu: daudzas augšupējās datu kopas, piemēram, DROID, LIBERO un Bridge, tiek publicētas v2 versijā, un vietējais atbalsts abām ir plānots, bet vēl nav piegādāts. Tāpēc konvertēšana ir jūsu ziņā, un tā darbojas savā virtuālajā vidē konkrēta iemesla dēļ: scripts/lerobot_conversion satur savu pyproject, kas prasa Python 3.10 vai 3.11 un piesaista lerobot vienam git komitam, savukārt Isaac-GR00T pats prasa Python 3.12. Instalējiet konvertētāju no repozitorija saknes, un jūs iegūstat gr00t pakotni, kas ir kļūda, par kuru brīdina tā README. Ja esat jauns šajā formātā, LeRobot datu kopa glosārija ieraksts izskaidro, kas patiesībā atrodas iekšpusē.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Struktūra, ko GR00T vēlas pēc konvertēšanas, ir klasiskais v2 izkārtojums: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, parketa faili zem data/chunk-000/, MP4 faili zem videos/chunk-000/observation.images./, un viens papildu fails, kura standarta LeRobot nav. Šajā papildu failā atrodas lielākā daļa atlikušo kļūdu.

2. solis: modality.json, seši skaitļi, kas izlemj visu

LeRobot datu kopā robota stāvoklis un darbība tiek glabāti kā plakani float32 masīvi. SO-100 gadījumā abiem ir forma [6]: piecas rokas locītavas un satvērējs. Demonstrācijas datu kopa tos nosauc shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, bet šie nosaukumi atrodas info.json un nekas parketa failā nenorāda, kurš indekss ir kurš. meta/modality.json nodrošina šo kartēšanu, un GR00T netrenēsies bez tās. Šeit ir tas, ko repozitorijs piegādā SO-100, burtiski.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Kopējiet to savā konvertētajā datu kopā uz meta/modality.json un pārdēvējiet video atslēgas atbilstoši tam, kā patiesībā sauc jūsu kameras. Ja ierakstījāt ar vienu virs galvas novietotu kameru ar nosaukumu top, tad original_key ir observation.images.top un draudzīgais nosaukums ir tas, uz ko atsauksies jūsu datu konfigurācija. Abiem ir jāsakrīt, un neviens no tiem nepārbauda otru jūsu vietā. Valodu anotācija ir sliktāka, jo viena un tā pati atslēga ir jāparādās trīs vietās.

3. solis: datu konfigurācija, relatīvā roka un absolūtais satvērējs

Modalitātes konfigurācija ir Python fails, nevis JSON, jo tā arī nosaka, kā tiek attēlota katra darbību grupa. Šī ir N1.7 darbplūsmas daļa, kas N1.5 nepastāvēja tādā pašā formā, un tā ir daļa, ko vērts izlasīt divreiz. Piegādātā SO-100 konfigurācija paredz piecas rokas locītavas kā RELATIVE deltas no pašreizējā stāvokļa un satvērēju kā ABSOLUTE mērķa pozīciju, jo binārs atvērts vai aizvērts signāls labāk darbojas kā mērķis, nevis kā delta.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Divas detaļas šeit jums izmaksās dienu, ja tās nezināsiet. Pirmkārt, action_configs ir pozicionāls: dokumentācija prasa tādu pašu garumu un tādu pašu secību kā modality_keys, un tie ir tieši par sekām, ja tas tiek izdarīts nepareizi, proti, nepareiza attēlošana tiek piemērota klusi. Jūsu satvērējs tiek apmācīts kā delta un jūsu roka kā absolūts mērķis, un nav nekāda kļūdas ziņojuma. Otrkārt, register_modality_config apgalvo, ka tags vēl nav reģistrēts, tāpēc otra NEW_EMBODIMENT konfigurācija tajā pašā Python procesā apstājas ar Embodiment tag ... already registered. Jūs nevarat importēt divas šādas konfigurācijas vienā skriptā. Trešais noteikums tiek piemērots vēlāk, izvietošanas laikā: darbības delta_indices jābūt nepārtrauktam diapazonam, kas sākas no nulles. Reti izkliedēts logs, piemēram, [0, 4, 8], tiek noraidīts, jo viss pakārtotais indeksē paredzēto fragmentu lineāri un citādi izpildītu nepareizās rindas.

4. solis: vide

N1.7 pārvietoja repozitoriju uz un Python 3.12. Vecais conda plus pip install -e . ceļš joprojām pastāv README sakļautajā sadaļā, taču tas brīdina, ka GPU atkarībām, tostarp flash-attn un TensorRT, var būt nepieciešama manuāla instalēšana. Izmantojiet uv, ja vien jums nav īpaša iemesla to nedarīt. Attiecībā uz flash-attn, viena detaļa novērš neskaidrības: jūs redzēsiet Installing flash-attn izdrukātu katrā uv run. Tas netiek pārbūvēts. uv atkārtoti validē URL piesaistītu pakotni, kas jau ir kešatmiņā, un tas aizņem divas vai trīs sekundes.

1. 1
   Instalējiet git-lfs, pēc tam klonējiet ar apakšmoduļiem

   git-lfs ir obligāts, nevis izvēles. Bez tā parquet faili mapē demo_data/ tiek lejupielādēti kā rādītāju aizstājēji, un demonstrācijas palaišana neizdodas ar datu kopu, kas failu sarakstā izskatās esoša.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Instalējiet uv un sinhronizējiet vidi

   Noklusējuma instalācija lejupielādē GPU atkarības, tostarp flash-attn un TensorRT. Jaunā A100 vai H100 attēlā tas ir garākais atsevišķais solis, tāpēc veiciet to, pirms pievēršat uzmanību jebkam citam.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Autentificējieties pret Hugging Face

   Veiciet to pirms pirmās apmācības palaišanas, nevis pēc tam, kad tā neizdodas astoņas minūtes vēlāk.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Veselības pārbaude ar piegādātajiem SO-100 demonstrācijas datiem

   Pirms pieskaraties savam ierakstam, palaidiet 2000 soļus ar demo_data/cube_to_bowl_5. Tās ir piecas epizodes, tas pabeidzas ātri un pierāda vidi, nevis jūsu datus. Ja šī palaišana neizdodas, nekas, ko darīsiet ar savu datu kopu, nepalīdzēs.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

5. solis: fine-tune komanda un tās karodziņu noklusējuma vērtības

Nomainiet demonstrācijas datu kopu pret savu un pievienojiet vēlamās opcijas. Zemāk ir pilna forma, ko repozitorijs izmanto savā jaunā iemiesojuma apmācībā, ieskaitot paplašināšanas un kontrolpunktu karodziņus, ko īsais README piemērs izlaiž. Tā ir šaurā nozīmē: valodu pamatsistēma un vizuālais kodētājs paliek iesaldēti, un tiek apmācīts projektors un difūzijas darbības galva.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Tā pēdējā rinda nav drukas kļūda. launch_finetune.py ir tyro CLI, kas ģenerēts no datu klases, un šai datu klasei nav sēklas lauka. README atsevišķi norāda 5 līdz 6 procentu atšķirību starp izpildēm, ko izraisa nedeterminēta attēlu paplašināšana. Divas izpildes ar identiskiem karodziņiem neradīs identiskus kontrolpunktus, kas ir ļoti svarīgi, mēģinot izlemt, vai hiperparametru maiņa palīdzēja, vai arī jums vienkārši paveicās. Salīdzinājumam, lerobot paša apmācītājs pēc noklusējuma izmanto sēklu 1000, un LeRobot GR00T recepte skaidri nodod --seed=42.

Cik maksā 20000 soļu izpilde

GR00T N1.7 nepieciešama 80 GB karte, tāpēc izmaksu jautājumam ir šaura atbilde. AY-Robots platformā groot1.7 apmācītājs darbojas A100 80 GB vai H100 80 GB līmenī, kur izpilde aizņem 3 līdz 6 stundas par 1.20 līdz 2.00 USD stundā spot tirgū. Tas ir aptuveni 4 līdz 12 USD par noklusējuma 20000 soļu darbu. Tas pats uzdevums uz SmolVLA vai ACT nonāk uz 24 GB kartes par 0.30 līdz 0.60 USD stundā un 1 līdz 3 USD par izpildi. Tas ir patiesais kompromiss: GR00T maksā apmēram četras reizes vairāk par katru mēģinājumu, un jūs to nevarat palaist uz 4090 zem sava galda.

50-epizodes minimums ir apakšējā robeža, nevis mērķis. NVIDIA bieži uzdotie jautājumi ir prasīgāki: aptuveni 100 trajektorijas vienkāršai fiksētas atrašanās vietas paņemšanai un novietošanai, 500 vai vairāk sarežģītām vai daudzpakāpju ainām, un 100 līdz 500 smalkai manipulācijai. Ja jums ir tikai 20 epizodes, pavadiet pēcpusdienu ierakstīšanai, nevis vakaru regulēšanai. datu vākšanas ceļvedis aptver to, kas atšķir noderīgu epizodi no izniekotas, ierakstiet savu pirmo datu kopu ir īsā versija, un SO-100 data collection ir rokas-specifiskā versija.

6. solis: atvērtās cilpas novērtēšana pirms rokas pieskaršanās

Nelieciet svaigu kontrolpunktu uz fiziska robota, lai noskaidrotu, vai apmācība ir izdevusies. Vispirms veiciet atvērtā cikla novērtēšanu. Tā atkārto ierakstītu epizodi, katrā solī jautā modelim par darbībām un attēlo prognozi pret patiesību ar MSE un MAE. Tas neko nemaksā un atklāj kartēšanas kļūdas no 2. un 3. soļa.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Repozitorijs apzināti atsakās publicēt mērķa MSE pielāgotiem datiem, un tas ir pareizs lēmums: skaitlis ir atkarīgs no jūsu darbību vienībām, jūsu uzdevuma un jūsu datu kopas lieluma, tāpēc slieksnis, kas nokopēts no cita robota, neko nenozīmē. Svarīga ir tendence. Šeit ir atsauces izpilde, ko repozitorijs dokumentē uz viena H100 ar piecu epizožu demonstrācijas datu kopu un 2000 soļiem.

Forma ir signāls, nevis absolūtās vērtības. Kļūdai vajadzētu vienmērīgi samazināties, kad apmācības soļi uzkrājas. Vidēji visās piecās apmācības epizodēs, nevis tikai trajektorijā 0, repozitorija pēdējais kontrolpunkts ieguva aptuveni 7.5 MSE un 1.5 MAE, tāpēc pat atsauces izpilde rāda atšķirīgus rezultātus atkarībā no tā, kuras epizodes tiek vidējotas. Ierakstiet savu bāzes līniju ar nemodificētu demonstrācijas komandu, pirms maināt kaut ko savos datos: ja nevarat reproducēt zināmu labu izpildi, nevarat atšķirt iestatīšanas kļūdu no datu problēmas. Repozitorijs arī kartē biežākos simptomus ar cēloņiem, un katrs no tiem ir operatīvs, nevis modeļa kļūda.

Cits ceļš: lerobot-train, nevis Isaac-GR00T

Pašreizējā LeRobot versija, 0.6.1 PyPI kopš 2026. gada 3. augusta, piedāvā otru un diezgan atšķirīgu veidu, kā precizēt tos pašus bāzes svarus. LeRobot atklāj GR00T N1.7 kā politikas tipu un apmāca to caur savu lerobot-train ieejas punktu. Šeit ir svarīgas divas lietas. LeRobot CLI ir konsoles skriptu kopa, tāpēc viss, ko lasāt un kas saka python lerobot/scripts/train.py ir novecojis un nedarbosies. Un LeRobot pilnībā noņēma GR00T N1.5 atbalstu, noraidot N1.5 kontrolpunktus un konfigurācijas ar migrācijas piezīmi, tāpēc, ja jums ir nepieciešams N1.5 caur LeRobot, jums ir jāpiesprauž lerobot==0.5.1, pēdējā versija, kas to atbalsta, publicēta 2026. gada 7. aprīlī.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Divi veidi, kā iegūt vienu un to pašu kontrolpunktu

Kontrolpunkta atgriešana uz rokas

Isaac-GR00T izmanto servera-klienta sadalījumu, izmantojot ZMQ. Politika darbojas uz GPU, un plāns klients uz robota mašīnas sūta novērojumus un saņem darbību fragmentus. SO-100 piemērs ir pietiekami pilnīgs, lai to kopētu: palaidiet run_gr00t_server.py ar jūsu kontrolpunktu un --embodiment-tag NEW_EMBODIMENT, tad palaidiet eval_so100.py robota pusē ar seriālo portu, robota ID, kameras indeksiem un valodas instrukciju. Kameru nosaukumiem šajā komandā jāatbilst draudzīgajiem nosaukumiem no jūsu modality.json, nevis OS ierīču numuriem.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Tagad godīgā daļa par to, kur darbojas politika, jo apmācībai un apkalpošanai ir atšķirīgi aparatūras stāsti. Precizēšanai nepieciešami 40 GB vai vairāk. Secinājumiem nav: README norāda 16 GB vai vairāk un skaidri nosauc RTX 4090, tāpēc karte, kas jums jau pieder, var apkalpot kontrolpunktu, ko tā nekad nebūtu varējusi radīt. Tas, kas nosaka, vai politika šķiet atsaucīga, nav VRAM, bet gan tas, kur atrodas serveris. AY-Robots GR00T N1.7 ir tikai mākonī, tāpēc vadības cilpa maksā par publiskā interneta turp un atpakaļ ceļu papildus 152 ms par katru darbības soli, un tikai SmolVLA un ACT darbojas arī lokāli. Lēnai priekšmetu paņemšanai un novietošanai attāls pods ir izdzīvojams. Jebkam reaktīvam tas nav: politika kļūst svārstīga tādā veidā, kas izskatās tieši kā apmācības kļūme un tāda nav. ACT ar 20 ms par darbības soli ir modelis, kas pieļauj visciešāko cilpu, SmolVLA ir 245 ms, un nekāda latentuma pielāgošana neatgūst jau iztērēto turp un atpakaļ ceļu. Palaidiet savu pirmo politiku izskaidro apkalpošanas pusi no sākuma līdz beigām.

Kas patiesībā noiet greizi

• GatedRepoError pirmajā palaišanā. Jums nav piešķirta piekļuve nvidia/Cosmos-Reason2-2B, vai arī jūs neautentificējāties. Tas notiek pēc tam, kad GPU pulkstenis jau ir sācis darboties.
• Datu kopa noraidīta ielādes laikā. Gandrīz vienmēr v3.0 datu kopa. Pārveidojiet to uz zemāku versiju. Skatīt datu kopa noraidīta kā v3.
• IndexError par neatbilstošām Būla dimensijām. Jūs mainījāt delta_indices un neatjauninājāt statistiku.
• Atmiņas trūkums pie 32. partijas. Samaziniet --global-batch-size un palieliniet --gradient-accumulation-steps, vai samaziniet --num-shards-per-epoch, ko konfigurācija skaidri iesaka, ja VRAM ir ierobežota. Skatīt atmiņas trūkums apmācības laikā.
• Zudums samazinās, politika neko nedara. Pēc noklusējuma nav validācijas sadalījuma, tāpēc tīra apmācības līkne pierāda ļoti maz. Šī lapa aptver diagnostiku.
• Darbojas jūsu iestatījumos un nekur citur. Sagaidāms ar nelielu datu kopu, kas filmēta vienā apgaismojuma apstākļos. NVIDIA iesaka krāsu svārstību paplašināšanu (colour jitter augmentation) plus 20 līdz 50 epizodes dažādos apgaismojumos. Vairāk šeit.
• Satvērējs nekad neaizveras pareizi. Pārbaudiet, vai satvērēja darbība ir ABSOLUTE un rokas savienojumi RELATIVE, šādā secībā action_configs. Satvērējs neaizveras uzskaita citus cēloņus.
• Kamera klusi atslēdzas ierakstīšanas vidū. Epizode joprojām tiek saglabāta un video atslēga joprojām pastāv, tāpēc šis ir nepatīkams gadījums. Kamera netiek noteikta to aptver.

Visu kļūdu režīmu indekss atrodas . Ja izvēlaties starp modeļiem, nevis atkļūdojat vienu, tad un satur etalonu numurus ar pievienotiem avotiem, un ir salīdzinājums, kas lielākajai daļai cilvēku patiešām ir nepieciešams, jo tā ir izvēle starp modeli, ko var apmācīt uz kartes zem jūsu galda, un modeli, kura precizēšanai jums ir jāīrē 80 GB mezgls. Lai iegūtu informāciju par to, kāpēc šie modeļi uzvedas tā, kā tie uzvedas, vispirms ir vērts izlasīt un . Un, ja jums vēl nav rokas, straumē fizisku SO-100 bez reģistrācijas.