Kaip apmokyti GR00T N1.7 savo SO-100 duomenų rinkinyje

NVIDIA pateikia tikslaus derinimo pavyzdį būtent tai rankai, kurią tikriausiai turite. Viduje Isaac-GR00T saugyklos yra aplankas pavadinimu demo_data/cube_to_bowl_5: penki epizodai, 4 148 kadrai 30 kadrų per sekundę greičiu, jau parašyti kaip LeRobot v2.1, su atitinkama modalumo konfigūracija po examples/SO100/. Jo meta/info.json praneša robot_type: so101_follower, kuri LeRobot sistemoje yra ta pati konfigūracijos klasė kaip so100_follower. Tai tikrai naudinga, nes tai reiškia, kad nuorodos kelias į GR00T N1.7 ant šešių laisvės laipsnių hobių rankos yra palaikomas žmonių, kurie parašė modelį. Tai nėra sumažinta humanoido demonstracija, tai yra ta pati ranka.

Bloga žinia yra atstumas tarp I recorded 60 episodes ir the arm does the task. Yra maždaug šešios vietos, kur ši konvejerio grandinė tyliai, o ne garsiai, sugenda, ir keturios iš jų yra failuose, kurių dauguma žmonių niekada neatidaro: meta/modality.json, Python duomenų konfigūracija, meta/relative_stats.json, ir paties duomenų rinkinio versijos eilutė. Šis vadovas parodo rankinį kelią nuo pradžios iki pabaigos su tikromis komandomis, tada parodo tą patį darbą kaip formą AY-Robots. Viskas, kas pateikta žemiau, buvo patikrinta pagal Isaac-GR00T pagrindinę šaką nuo 2026 m. rugpjūčio 20 d. (n1.7-release linija) ir lerobot 0.6.1, paskelbtą PyPI 2026 m. rugpjūčio 3 d. Aukštesnė versija juda greitai, ir jei vėliavėlė buvo pervadinta, šiame straipsnyje tai nurodoma.

Kas iš tikrųjų yra GR00T N1.7

GR00T N1.7 yra regos-kalbos-veiksmų modelis su dviejų sistemų išdėstymu, aprašytu originaliame GR00T N1 dokumente: regos-kalbos modulis, kuris nuskaito kameras ir instrukcijas, ir difuzijos transformatorius, kuris tai paverčia nepertraukiamų variklio komandų bloku. N1.7 pakeitė pirmąją pusę. „Eagle“ pagrindas iš N1.6 dingo, pakeistas į nvidia/Cosmos-Reason2-2B ant Qwen3-VL architektūros, o modelis buvo iš anksto apmokytas maždaug 20 000 valandų egocentrinio žmogaus vaizdo įrašų, be roboto duomenų. Pačios NVIDIA aprašyme nurodomas 20 854 valandų skaičius ir teigiama, kad padidinus nuo 1 tūkst. iki 20 tūkst. valandų, vidutinis užduočių atlikimas padidėja daugiau nei dvigubai.

Antroji pusė taip pat pasikeitė, ir tai svarbu jūsų vykdymui. Veiksmų galvutė sumažėjo nuo 32 difuzijos sluoksnių iki 16, numatytas veiksmų blokas išaugo nuo 16 žingsnių iki 40, o maksimalus būsenos ir veiksmo plotis padidėjo nuo 29 iki 132. Šie trys skaičiai paimti iš saugyklos README pakeitimų žurnalo; pačios NVIDIA paleidimo įraše vis dar aprašoma 1 sistema kaip 32 sluoksnių DiT, todėl, jei šie du šaltiniai nesutampa, pasitikėkite saugykla, kurią ketinate klonuoti. Veiksmai pagal numatytuosius nustatymus išreiškiami santykine galinio efektoriaus erdve, t. y. dabartinės pozos delta, o ne absoliučiais tikslais, o tai leidžia manipuliavimo prioritetams, išmoktiems iš žmogaus vaizdo įrašų, persikelti į roboto valdymą. Pati galvutė yra srauto derinimo difuzijos transformatorius, tos pačios šeimos kaip Pi0.5, bet su kitu pagrindu priešais jį. Jei vis dar naudojate ankstesnę kartą, N1.7 prieš N1.5 aprašo, ar atnaujinimas pateisina jūsų konvejerio perdarymą.

Šios paskutinės trys eilutės paaiškina didžiąją dalį žmonių pranešamo nusivylimo. Antraštėje nurodytas 27.9 ms yra TensorRT variklis H100 su viena kamera ir keturiais triukšmo šalinimo žingsniais. Paprastas PyTorch toje pačioje kortelėje yra 85.8 ms, o modelio kortelė nurodo, kad skirtumas yra 3.08x. Nė vienas skaičius neapima aptarnavimo sluoksnio, antros kameros ar tinklo šuolio. 152 ms per veiksmo žingsnį, kurį AY-Robots nurodo savo aptarnaujamam GR00T N1.7, yra skaičius su aptarnavimu cikle, o viešojo interneto kelionė pirmyn ir atgal yra virš to. Daugiau apie tai pabaigoje. Norėdami pamatyti skaičius šalia kitų modelių, GR00T N1.7 prieš Pi0.5 ir GR00T N1.7 prieš SmolVLA pateikia juos vienas šalia kito.

Ko reikia paleidimui prieš ką nors įvedant

0 žingsnis: patys epizodai

Viskas toliau daroma prielaida, kad jau įrašėte epizodus. Jei ne, tai yra tikrasis pirmasis žingsnis ir būtent jis lemia, koks geras gali būti rezultatas, nes mokymasis imitacija negali atkurti informacijos, kurios nėra duomenyse. Pirmiausia sukalibruokite abi rankas, tada valdykite sekėją su lyderio ranka kol lerobot-record rašo parquet failus ir kamerų srautus. Jei kalibravimas yra netikslus, jūsų duomenų rinkinio jungčių vertės apibūdina šiek tiek kitokį robotą nei tas, kuris vėliau vykdys politiką, ir joks apmokymas to nepataisys.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Pats LeRobot pataria įrašyti bent 50 epizodų, maždaug po 10 kiekvienai objekto vietai, laikyti kameras fiksuotas ir išlaikyti nuoseklų sugriebimo elgesį. Variacijas pridėkite vėliau, ne pradžioje. Verta prisiminti taisyklę: jei negalėjote atlikti užduoties patys vien tik iš kameros vaizdų, politika taip pat negali. Dėl rankos specifikos nustatymo, SO-100 pradžia ir SO-100 LeRobot puslapis apima prievadus, kalibravimą ir kamerų indeksus. AY-Robots taip pat galite tai atlikti internetu iš naršyklės, naudodami teleoperacija ir įrašyti tiesiai iš sesijos.

1 žingsnis: duomenų rinkinys turi būti LeRobot v2.1

Tai yra dažniausiai pasitaikanti kliūtis. Dabartinė LeRobot CODEBASE_VERSION pagrindinėje šakoje yra v3.0, todėl viskas, ką įrašote šiandien su dabartine įrankių grandine, bus v3.0. GR00T įkėliklis tikisi v2. Saugykla aiškiai nurodo priežastį: daugelis aukštesnio lygio duomenų rinkinių, tokių kaip DROID, LIBERO ir Bridge, yra publikuojami v2 versijoje, o gimtoji abiejų palaikymas yra planuojamas, bet dar neįdiegtas. Taigi konvertavimas priklauso nuo jūsų, ir jis vykdomas atskiroje virtualioje aplinkoje dėl konkrečios priežasties: scripts/lerobot_conversion turi savo pyproject, kuris reikalauja Python 3.10 arba 3.11 ir pririša lerobot prie vieno git įrašo, o pats Isaac-GR00T reikalauja Python 3.12. Įdiekite konverterį iš saugyklos šaknies ir gausite gr00t paketą, o tai yra klaida, apie kurią įspėja jo README. Jei esate naujokas šiame formate, LeRobot duomenų rinkinio žodyno įrašas paaiškina, kas iš tikrųjų yra viduje.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Struktūra, kurios GR00T nori po konversijos, yra klasikinė v2 išdėstymo: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, parquet failai po data/chunk-000/, MP4 failai po videos/chunk-000/observation.images./, ir vienas papildomas failas, kurio standartinis LeRobot neturi. Tame papildomame faile slypi dauguma likusių gedimų.

2 žingsnis: modality.json, šeši skaičiai, kurie viską lemia

LeRobot duomenų rinkinyje roboto būsena ir veiksmas saugomi kaip plokšti float32 masyvai. SO-100 atveju abu turi formą [6]: penkių rankos jungčių ir griebtuvo. Demonstracinis duomenų rinkinys juos pavadina shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, tačiau tie pavadinimai yra info.json ir niekas parquet faile nenurodo, kuris indeksas yra kuris. meta/modality.json pateikia tą atvaizdavimą, ir GR00T netreniruos be jo. Štai tas, kurį saugykla pateikia SO-100, pažodžiui.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Nukopijuokite jį į savo konvertuotą duomenų rinkinį adresu meta/modality.json ir pervadinkite vaizdo įrašų raktus į tikruosius savo kamerų pavadinimus. Jei įrašėte su viena viršutine kamera, pavadinta top, tada original_key yra observation.images.top ir patogus pavadinimas yra tas, į kurį nurodys jūsų duomenų konfigūracija. Jie abu turi sutapti, ir nė vienas iš jų netikrina kito už jus. Kalbos anotacija yra blogesnė, nes tas pats raktas turi pasirodyti trijose vietose.

3 žingsnis: duomenų konfigūracija, santykinė ranka ir absoliutus griebtuvas

Modality konfigūracija yra Python failas, o ne JSON, nes ji taip pat nustato, kaip atvaizduojama kiekviena veiksmų grupė. Tai yra N1.7 darbo eigos dalis, kuri neegzistavo tokia pačia forma N1.5, ir dalis, kurią verta perskaityti du kartus. Pristatyta SO-100 konfigūracija numato penkias rankos jungtis kaip SANTYKINIUS deltas nuo dabartinės būsenos, o griebtuvą kaip ABSOLIUČIĄ tikslinę poziciją, nes dvejetainis atidarymo ar uždarymo signalas geriau veikia kaip tikslas, o ne kaip delta.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Dvi detalės čia kainuos jums dieną, jei jų nežinosite. Pirma, action_configs yra pozicinis: dokumentacija reikalauja tokio pat ilgio ir tokios pat tvarkos kaip modality_keys, ir jie atvirai kalba apie klaidos pasekmes, t. y., kad neteisingas atvaizdavimas pritaikomas tyliai. Jūsų griebtuvas apmokomas kaip delta, o jūsų ranka kaip absoliutus tikslas, ir nėra jokio klaidos pranešimo. Antra, register_modality_config patvirtina, kad žyma dar nėra užregistruota, todėl antra NEW_EMBODIMENT konfigūracija tame pačiame Python procese žūsta su Embodiment tag ... already registered. Negalite importuoti dviejų tokių į vieną scenarijų. Trečia taisyklė įgyvendinama vėliau, diegimo metu: veiksmo delta_indices turi būti ištisinis diapazonas, prasidedantis nuo nulio. Retas langas, pvz., [0, 4, 8], atmetamas, nes viskas toliau indeksuoja numatytą fragmentą tiesiškai ir priešingu atveju vykdytų neteisingas eilutes.

4 žingsnis: aplinka

N1.7 perkėlė repozitoriją į uv ir Python 3.12. Senasis conda plius pip install -e . kelias vis dar egzistuoja sutrauktoje README skyriaus dalyje, tačiau jame įspėjama, kad GPU priklausomybėms, įskaitant flash-attn ir TensorRT, gali prireikti rankinio diegimo. Naudokite uv, nebent turite konkrečią priežastį to nedaryti. Kalbant apie flash-attn, viena detalė padeda išvengti painiavos: matysite Installing flash-attn atspausdintą kiekvieną kartą, kai paleidžiate uv run. Tai nėra perstatymas. uv iš naujo patvirtina URL-pririštą ratą, kuris jau yra talpykloje, ir tai užtrunka dvi ar tris sekundes.

1. 1
   Įdiekite git-lfs, tada klonuokite su submoduliais

   git-lfs yra privalomas, ne pasirenkamas. Be jo parquet failai demo_data/ atsisiunčiami kaip rodyklių šablonai, o demonstracinis paleidimas nepavyksta su duomenų rinkiniu, kuris atrodo esantis failų sąraše.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Įdiekite uv ir sinchronizuokite aplinką

   Numatytasis diegimas atsisiunčia GPU priklausomybes, įskaitant flash-attn ir TensorRT. Šviežiame A100 arba H100 atvaizde tai yra ilgiausias vienas žingsnis, todėl atlikite tai prieš pradėdami kreipti dėmesį į ką nors kita.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Autentifikuokite su Hugging Face

   Atlikite tai prieš pirmąjį mokymo paleidimą, o ne po to, kai jis nepavyksta po aštuonių minučių.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Sveikatos patikrinimas su pateiktais SO-100 demonstraciniais duomenimis

   Prieš liesdami savo įrašą, paleiskite 2000 žingsnių demo_data/cube_to_bowl_5. Tai penki epizodai, jis greitai baigiasi ir patvirtina aplinką, o ne jūsų duomenis. Jei šis paleidimas nepavyksta, niekas, ką darysite su savo duomenų rinkiniu, nepadės.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Žingsnis 5: tikslaus derinimo komanda ir kokios yra jos vėliavėlių numatytosios reikšmės

Pakeiskite demonstracinį duomenų rinkinį savuoju ir pridėkite norimus parametrus. Žemiau pateikiama visa forma, kurią saugykla naudoja savo naujo įkūnijimo pamokoje, įskaitant papildymo ir kontrolinių taškų vėliavėles, kurias trumpas README pavyzdys praleidžia. Tai yra siaurąja prasme: kalbos pagrindas ir vizualinis kodavimo įrenginys lieka užšaldyti, o apmokomi yra projektorius ir difuzijos veiksmo galvutė.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Paskutinė eilutė nėra klaida. launch_finetune.py yra tyro CLI, sugeneruotas iš duomenų klasės, ir ta duomenų klasė neturi sėklos lauko. README atskirai pažymi 5–6 procentų skirtumą tarp paleidimų, kurį sukelia nedeterministinis vaizdo papildymas. Du paleidimai su identiškomis vėliavėlėmis nesukurs identiškų kontrolinių taškų, o tai labai svarbu, kai bandote nuspręsti, ar hiperparametro pakeitimas padėjo, ar jums tiesiog pasisekė. Palyginimui, lerobot treneris pagal numatytuosius nustatymus naudoja sėklą 1000, o LeRobot GR00T receptas aiškiai perduoda --seed=42.

Kiek kainuoja 20000 žingsnių paleidimas

GR00T N1.7 reikalinga 80 GB kortelė, todėl kainos klausimas turi siaurą atsakymą. AY-Robots platformoje groot1.7 treneris veikia A100 80 GB arba H100 80 GB lygyje, kur paleidimas trunka nuo 3 iki 6 valandų, kainuojant 1.20–2.00 USD už valandą momentinėje rinkoje. Tai yra maždaug 4–12 USD už numatytąjį 20000 žingsnių darbą. Ta pati užduotis SmolVLA arba ACT atliekama su 24 GB kortele, kainuojant 0.30–0.60 USD už valandą ir 1–3 USD už paleidimą. Tai yra tikrasis kompromisas: GR00T kainuoja maždaug keturis kartus daugiau už bandymą, ir jo negalima paleisti ant 4090 po jūsų stalu.

Minimalus 50-epizodų yra apatinė riba, o ne tikslas. Pačios NVIDIA DUK yra reiklesnis: maždaug 100 trajektorijų paprastam fiksavimui ir padėjimui fiksuotoje vietoje, 500 ar daugiau sudėtingoms ar daugiapakopėms scenoms, ir nuo 100 iki 500 smulkiam manipuliavimui. Jei turite 20 epizodų, praleiskite popietę įrašinėdami, o ne vakare derindami. duomenų rinkimo vadovas aprašo, kas skiria naudingą epizodą nuo iššvaistyto, įrašykite savo pirmąjį duomenų rinkinį yra trumpoji versija, o SO-100 duomenų rinkimas yra specifinė rankai skirta versija.

6 žingsnis: atvirojo ciklo vertinimas prieš liečiant ranką

Nedėkite naujo kontrolinio taško ant fizinės rankos, kad sužinotumėte, ar apmokymas pavyko. Pirmiausia paleiskite atviro ciklo vertinimą. Jis atkuria įrašytą epizodą, kiekviename žingsnyje prašo modelio veiksmų ir braižo prognozę prieš tikrąją reikšmę su MSE ir MAE. Tai nieko nekainuoja ir pagauna atvaizdavimo klaidas iš 2 ir 3 žingsnių.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Repozitorija sąmoningai atsisako skelbti tikslinį MSE pasirinktiniams duomenims, ir tai yra teisingas sprendimas: skaičius priklauso nuo jūsų veiksmų vienetų, jūsų užduoties ir jūsų duomenų rinkinio dydžio, todėl slenkstis, nukopijuotas nuo kito asmens rankos, nieko nereiškia. Svarbi yra tendencija. Štai etaloninis paleidimas, kurį repozitorija dokumentuoja viename H100 su penkių epizodų demonstraciniu duomenų rinkiniu ir 2000 žingsnių.

Forma yra signalas, o ne absoliučios vertės. Klaida turėtų nuolat mažėti, kai kaupiasi. Apskaičiuota per visus penkis mokymo epizodus, o ne tik per 0 trajektoriją, galutinis saugyklos kontrolinis taškas surinko maždaug 7.5 MSE ir 1.5 MAE, todėl net ir etaloninis paleidimas skiriasi priklausomai nuo to, kuriuos epizodus vidutiniškai vertinate. Įrašykite savo pradinę reikšmę naudodami nepakeistą demonstracinę komandą prieš keisdami bet ką savo duomenyse: jei negalite atkartoti žinomo gero paleidimo, negalėsite atskirti sąrankos klaidos nuo duomenų problemos. Saugykla taip pat susieja dažnus simptomus su priežastimis, ir kiekviena iš jų yra operacinė, o ne modelio klaida.

Kitas kelias: lerobot-train vietoj Isaac-GR00T

Dabartinė LeRobot versija, 0.6.1 PyPI nuo 2026 m. rugpjūčio 3 d., siūlo antrą ir gana skirtingą būdą tiksliai sureguliuoti tuos pačius bazinius svorius. LeRobot atskleidžia GR00T N1.7 kaip politikos tipą ir apmoko jį per savo lerobot-train įėjimo tašką. Čia svarbūs du dalykai. LeRobot CLI yra konsolės scenarijų rinkinys, todėl viskas, ką skaitote, kas sako python lerobot/scripts/train.py, yra pasenę ir neveiks. Ir LeRobot visiškai pašalino GR00T N1.5 palaikymą, atmesdamas N1.5 kontrolinius taškus ir konfigūracijas su migracijos pastaba, todėl, jei jums reikia N1.5 per LeRobot, turite nurodyti lerobot==0.5.1, paskutinę versiją, kuri jį palaiko, išleistą 2026 m. balandžio 7 d.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Du būdai gauti tą patį kontrolinį tašką

Grąžinant kontrolinį tašką atgal ant roboto rankos

Isaac-GR00T naudoja serverio-kliento padalijimą per ZMQ. Politika vykdoma GPU, o plonas klientas roboto mašinoje siunčia stebėjimus ir gauna veiksmų fragmentus. SO-100 pavyzdys yra pakankamai išsamus, kad jį būtų galima nukopijuoti: paleiskite run_gr00t_server.py su savo kontroliniu tašku ir --embodiment-tag NEW_EMBODIMENT, tada paleiskite eval_so100.py roboto pusėje su nuosekliuoju prievadu, roboto ID, kamerų indeksais ir kalbos instrukcija. Kamerų pavadinimai toje komandoje turi atitikti draugiškus pavadinimus iš jūsų modality.json, o ne OS įrenginių numerius.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Dabar sąžininga dalis apie tai, kur veikia politika, nes apmokymas ir aptarnavimas turi skirtingas techninės įrangos istorijas. Tiksliniam derinimui reikia 40 GB ar daugiau. Išvadoms nereikia: README nurodo 16 GB ar daugiau ir aiškiai įvardija RTX 4090, todėl kortelė, kurią jau turite, gali aptarnauti kontrolinį tašką, kurio ji niekada negalėjo sukurti. Kas lemia, ar politika atrodo reaguojanti, yra ne VRAM, o tai, kur yra serveris. AY-Robots GR00T N1.7 yra tik debesyje, todėl valdymo ciklas moka už viešojo interneto kelionę pirmyn ir atgal, be 152 ms už veiksmo žingsnį, ir tik SmolVLA ir ACT taip pat veikia lokaliai. Lėtam paėmimui ir padėjimui nuotolinis podas yra išgyvenamas. Bet kam reaktyviam – ne: politika tampa nedrąsi taip, kad atrodo lygiai kaip apmokymo klaida, bet tokia nėra. ACT, veikiantis 20 ms per veiksmo žingsnį, yra modelis, kuris toleruoja griežčiausią ciklą, SmolVLA veikia 245 ms, ir joks vėlavimo derinimas neatperka jau išleistos kelionės pirmyn ir atgal. Paleiskite savo pirmąją politiką išsamiai aprašo aptarnavimo pusę.

Kas iš tikrųjų nutinka ne taip

• GatedRepoError pirmojo paleidimo metu. Jums nebuvo suteikta prieiga prie nvidia/Cosmos-Reason2-2B, arba neautentifikavote. Tai nutinka, kai GPU laikrodis jau yra paleistas.
• Duomenų rinkinys atmestas įkeliant. Beveik visada v3.0 duomenų rinkinys. Konvertuokite jį į senesnę versiją. Žr. duomenų rinkinys atmestas kaip v3.
• IndexError dėl nesutampančių bulio logikos matmenų. Pakeitėte delta_indices ir neatkūrėte statistikos.
• Trūksta atminties ties 32 paketu. Sumažinkite --global-batch-size ir padidinkite --gradient-accumulation-steps, arba sumažinkite --num-shards-per-epoch, ką konfigūracija aiškiai siūlo, kai VRAM yra ribota. Žr. atminties trūkumas apmokymo metu.
• Nuostolis mažėja, politika nieko nedaro. Pagal numatytuosius nustatymus nėra validavimo padalijimo, todėl švari apmokymo kreivė įrodo labai mažai. Šis puslapis aprašo diagnostiką.
• Veikia jūsų nustatymuose ir niekur kitur. Tikėtina su mažu duomenų rinkiniu, nufilmuotu vienoje apšvietimo sąlygoje. NVIDIA rekomenduoja spalvų virpėjimo (colour jitter) papildymą plius 20–50 epizodų esant skirtingam apšvietimui. Daugiau čia.
• Griebtuvas niekada neužsidaro tinkamai. Patikrinkite, ar griebtuvo veiksmas yra ABSOLUTE, o rankos jungtys RELATIVE, tokia tvarka action_configs. Griebtuvas neužsidaro išvardija kitas priežastis.
• Kamera tyliai atsijungia įrašymo metu. Epizodas vis tiek išsaugomas, o vaizdo įrašo raktas vis dar egzistuoja, todėl tai yra nemalonu. Kamera neaptikta aprašo tai.

Visas gedimų režimų indeksas yra . Jei renkatės tarp modelių, o ne derinate vieną, ir turi etaloninius skaičius su pridėtais šaltiniais, o yra palyginimas, kurio daugumai žmonių iš tikrųjų reikia, nes tai yra pasirinkimas tarp modelio, kurį galite apmokyti ant kortelės po savo stalu, ir to, kuriam reikia išsinuomoti 80 GB mazgą, kad jį tiksliai sureguliuotumėte. Norėdami sužinoti, kodėl šie modeliai elgiasi taip, kaip elgiasi, pirmiausia verta perskaityti ir . Ir jei dar neturite roboto rankos, transliuoja fizinį SO-100 be registracijos.