Miten kouluttaa GR00T N1.7 omalla SO-100-aineistollasi

NVIDIA toimittaa hienosäätöesimerkin juuri sille varrelle, joka sinulla todennäköisesti on. Sisällä Isaac-GR00T-repositoriossa on kansio nimeltä demo_data/cube_to_bowl_5: viisi jaksoa, 4 148 kuvaa 30 fps:llä, jo kirjoitettu LeRobot v2.1 -muodossa, vastaavan modaalisuuskonfiguraation kanssa osoitteessa examples/SO100/. Sen meta/info.json raportoi robot_type: so101_follower, joka LeRobotissa on sama konfiguraatioluokka kuin so100_follower. Tämä on aidosti hyödyllistä, koska se tarkoittaa, että viitepolku GR00T N1.7:lle kuuden vapausasteen harrastusvarrelle ylläpidetään mallin kirjoittaneiden ihmisten toimesta. Se ei ole pienennetty humanoididemo, vaan sama varsi.

Huono uutinen on etäisyys I recorded 60 episodes ja the arm does the task välillä. Tässä putkessa on noin kuusi kohtaa, joissa se epäonnistuu hiljaisesti eikä äänekkäästi, ja neljä niistä sijaitsee tiedostoissa, joita useimmat ihmiset eivät koskaan avaa: meta/modality.json, Python-datakonfiguraatio, meta/relative_stats.json, ja datasettien oma versio merkkijono. Tämä opas käy läpi manuaalisen reitin alusta loppuun todellisilla komennoilla ja näyttää sitten saman työn lomakkeena AY-Robotsissa. Kaikki alla oleva tarkistettiin Isaac-GR00T:n päähaaraa vasten 20. elokuuta 2026 (n1.7-julkaisulinja) ja lerobot 0.6.1:tä, joka julkaistiin PyPI:ssä 3. elokuuta 2026. Ylävirta liikkuu nopeasti, ja jos lippu nimettiin uudelleen, tämä artikkeli kertoo siitä.

Mitä GR00T N1.7 todella on

GR00T N1.7 on visio-kieli-toimintamalli kaksoisjärjestelmärakenteella, joka on kuvattu alkuperäisessä GR00T N1 -julkaisussa: visio-kieli-moduuli, joka lukee kamerat ja ohjeen, sekä diffuusiotransformer, joka muuttaa sen jatkuvien moottorikomentojen palaksi. N1.7 korvasi ensimmäisen puoliskon. N1.6:n Eagle-runkoverkko on poissa, se on vaihdettu nvidia/Cosmos-Reason2-2B Qwen3-VL-arkkitehtuuriin, ja malli esikoulutettiin noin 20 000 tunnin egokeskeisellä ihmisvideolla robottidatan lisäksi. NVIDIAn oma raportti ilmoittaa luvuksi 20 854 tuntia ja kertoo, että siirtyminen 1k:sta 20k tuntiin yli kaksinkertaistaa keskimääräisen tehtävän suoritusasteen.

Toinen puolisko muuttui myös, tavoilla jotka ovat merkityksellisiä ajollesi. Toimintapää putosi 32 diffuusiokerroksesta 16:een, ennustettu toimintapala kasvoi 16 askeleesta 40:een, ja tilan ja toiminnan enimmäisleveys kasvoi 29:stä 132:een. Nämä kolme lukua ovat peräisin repositorion README-tiedoston muutoshistoriasta; NVIDIAn oma julkaisupostaus kuvaa edelleen järjestelmä 1:tä 32-kerroksisena DiT:nä, joten jos nämä kaksi ovat ristiriidassa, luota siihen repositorioon, jonka olet kloonaamassa. Toiminnot ilmaistaan oletusarvoisesti suhteellisessa tarttujan tilassa, eli nykyisestä asennosta laskettuina deltoina absoluuttisten kohteiden sijaan, mikä mahdollistaa ihmisvideosta opittujen manipulointipriorien siirtymisen robottiohjaukseen ylipäätään. Itse pää on virtaussovitus diffuusiotransformer, samaa perhettä kuin Pi0.5, mutta erilaisella runkoverkolla sen edessä. Jos käytät edelleen edellistä sukupolvea, N1.7 vs. N1.5 käsittelee, oikeuttaako päivitys putkilinjasi uudelleen tekemisen.

Nuo kolme viimeistä riviä selittävät suurimman osan ihmisten ilmoittamasta pettymyksestä. Otsikon 27.9 ms on TensorRT-moottori H100:lla yhdellä kameralla ja neljällä kohinanpoistoaskeleella. Pelkkä PyTorch samalla kortilla on 85.8 ms, ja mallikortti ilmoittaa eroksi 3.08x. Kumpikaan luku ei sisällä palvelukerrosta, toista kameraa tai verkkohyppyä. AY-Robotsin ilmoittama 152 ms per toiminta-askel sen palvelimella olevasta GR00T N1.7:stä on luku, jossa palvelu on mukana, ja julkisen internetin edestakainen matka tulee sen päälle. Lisää tästä lopussa. Muiden mallien lukujen osalta, GR00T N1.7 vs. Pi0.5 ja GR00T N1.7 vs. SmolVLA asettavat ne vierekkäin.

Mitä ajo tarvitsee ennen kuin kirjoitat mitään

Vaihe 0: jaksot itse

Kaikki alla oleva olettaa, että olet jo tallentanut jaksoja. Jos et ole, se on todellinen ensimmäinen askel ja se ratkaisee, kuinka hyvä tulos voi olla, koska jäljittelyoppiminen ei voi palauttaa tietoja, jotka eivät ole datassa. Kalibroi molemmat varret ensin, sitten ohjaa seuraajaa johtajavarrella samalla kun lerobot-record kirjoittaa parquet-tiedostot ja kameravirrat. Jos kalibrointi on pois päältä, tietokantasi nivelarvot kuvaavat hieman erilaista robottia kuin se, joka myöhemmin suorittaa toimintaperiaatteen, eikä mikään määrä koulutusta korjaa sitä.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRobotin oma neuvo on tallentaa vähintään 50 jaksoa, noin 10 jaksoa per objektin sijainti, pitää kamerat kiinteinä ja tarttumiskäyttäytyminen johdonmukaisena. Lisää vaihtelua myöhemmin, ei alussa. Muistamisen arvoinen nyrkkisääntö: jos et pystyisi suorittamaan tehtävää itse pelkkien kamerakuvien perusteella, toimintaperiaate ei pysty siihen myöskään. Käsivarsikohtaista asennusta varten SO-100:n aloitusopas ja SO-100 LeRobot -sivu kattavat portit, kalibroinnin ja kameraindeksit. AY-Robotsilla voit tehdä tämän myös internetin kautta selaimella käyttäen etäohjausta ja tallentaa suoraan istunnosta.

Vaihe 1: aineiston on oltava LeRobot v2.1

Tämä on yleisin este. LeRobotin nykyinen CODEBASE_VERSION main-haarassa on v3.0, joten kaikki, mitä tallennat tänään nykyisellä työkaluketjulla, tulee ulos v3.0-versiona. GR00Tin lataaja odottaa v2-versiota. Arkisto selittää syyn selkeästi: monet ylävirran aineistot, kuten DROID, LIBERO ja Bridge, on julkaistu v2-versiona, ja natiivi tuki molemmille on suunnitteilla, mutta sitä ei ole vielä toimitettu. Muunnos on siis sinun vastuullasi, ja se ajetaan omassa virtuaaliympäristössään konkreettisesta syystä: scripts/lerobot_conversion sisältää oman pyproject-tiedostonsa, joka vaatii Python 3.10:n tai 3.11:n ja kiinnittää lerobotin yhteen git-kommitiin, kun taas Isaac-GR00T itse vaatii Python 3.12:n. Asenna muunnin arkiston juuresta, niin saat gr00t-paketin sen sijaan, mikä on virhe, josta sen README varoittaa. Jos olet uusi formaatin kanssa, LeRobot-aineisto-sanastomerkintä selittää, mitä sen sisällä todella on.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Rakenne, jonka GR00T haluaa muunnoksen jälkeen, on klassinen v2-asettelu: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, parquet-tiedostot hakemistossa data/chunk-000/, MP4-tiedostot hakemistossa videos/chunk-000/observation.images./, ja yksi ylimääräinen tiedosto, jota tavallisessa LeRobotissa ei ole. Tämä ylimääräinen tiedosto on paikka, jossa suurin osa jäljellä olevista virheistä sijaitsee.

Vaihe 2: modality.json, kuusi numeroa, jotka päättävät kaiken

LeRobot-aineistossa robotin tila ja toiminto tallennetaan litteinä float32-taulukoina. SO-100:lle molemmilla on muoto [6]: viisi käsivarsiniveltä ja tarttuja. Demoaineisto nimeää ne shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, mutta nämä nimet sijaitsevat tiedostossa info.json eikä mikään parquet-tiedostossa kerro, mikä indeksi on mikä. meta/modality.json tarjoaa tämän kuvauksen, eikä GR00T harjoittele ilman sitä. Tässä on se, jonka arkisto toimittaa SO-100:lle, sanasta sanaan.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Kopioi se muunnettuun datasettiisi osoitteessa meta/modality.json ja nimeä videon avaimet uudelleen vastaamaan kameroidesi todellisia nimiä. Jos tallensit yhdellä yläpuolisella kameralla nimeltä top, silloin original_key on observation.images.top ja käyttäjäystävällinen nimi on se, mihin datakonfiguraatiosi viittaa. Näiden kahden on oltava yhtäpitäviä, eikä kumpikaan tarkista toista puolestasi. Kielimerkintä on pahempi, koska saman avaimen on esiinnyttävä kolmessa paikassa.

Vaihe 3: datakonfiguraatio, suhteellinen varsi ja absoluuttinen tarttuja

Modality-konfiguraatio on Python-tiedosto JSONin sijaan, koska se päättää myös, miten kukin toimintaryhmä esitetään. Tämä on se osa N1.7-työnkulkua, jota ei ollut samassa muodossa N1.5:ssä, ja se osa, joka kannattaa lukea kahdesti. Toimitettu SO-100-konfiguraatio ennustaa viisi käsivarren niveltä SUHTEELLISINA deltoina nykyisestä tilasta ja tarttujan ABSOLUUTTISENA kohdepositiona, koska binäärinen avoin-tai-suljettu-signaali toimii paremmin kohteena kuin deltana.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Kaksi yksityiskohtaa tässä maksavat sinulle päivän, jos et tiedä niitä. Ensinnäkin, action_configs on positionaalinen: dokumentaatio vaatii saman pituuden ja saman järjestyksen kuin modality_keys, ja ne ovat suoria seurauksista, jos teet virheen, eli väärä esitystapa sovelletaan hiljaisesti. Tarttujasi koulutetaan deltana ja käsivartesi absoluuttisena kohteena, eikä virheilmoitusta tule. Toiseksi, register_modality_config varmistaa, ettei tunniste ole jo rekisteröity, joten toinen NEW_EMBODIMENT-konfiguraatio samassa Python-prosessissa kaatuu virheeseen Embodiment tag ... already registered. Et voi tuoda kahta näistä yhteen skriptiin. Kolmas sääntö pannaan täytäntöön myöhemmin, käyttöönotossa: toiminnon delta_indices on oltava yhtenäinen alue alkaen nollasta. Harva ikkuna, kuten [0, 4, 8], hylätään, koska kaikki alavirran toiminnot indeksoivat ennustetun osan lineaarisesti ja suorittaisivat muuten väärät rivit.

Vaihe 4: ympäristö

N1.7 siirsi repositorion osoitteeseen ja Python 3.12:een. Vanha conda plus pip install -e . polku on edelleen olemassa README-tiedoston piilotetussa osiossa, mutta se varoittaa, että GPU-riippuvuudet, mukaan lukien flash-attn ja TensorRT, saattavat vaatia manuaalisen asennuksen. Käytä uv:tä, ellet sinulla ole erityistä syytä olla käyttämättä. flash-attn-rintamalla yksi yksityiskohta säästää sekaannukselta: näet Installing flash-attn tulostettuna jokaisen uv run. Se ei rakennu uudelleen. uv tarkistaa uudelleen URL-osoitteeseen kiinnitetyn pyörän, joka on jo välimuistissa, ja se kestää kaksi tai kolme sekuntia.

1. 1
   Asenna git-lfs ja kloonaa sitten alimoduuleilla

   git-lfs on pakollinen, ei valinnainen. Ilman sitä demo_data/-kansion parquet-tiedostot latautuvat osoitintynkinä, ja demoajo epäonnistuu tiedostoluettelossa näkyvältä vaikuttavalla tietojoukolla.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Asenna uv ja synkronoi ympäristö

   Oletusasennus hakee GPU-riippuvuudet, mukaan lukien flash-attn ja TensorRT. Tuoreella A100- tai H100-kuvalla tämä on pisin yksittäinen vaihe, joten tee se ennen kuin kiinnität huomiota mihinkään muuhun.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Todennus Hugging Facea vastaan

   Tee tämä ennen ensimmäistä koulutuksen käynnistystä, ei sen jälkeen, kun se epäonnistuu kahdeksan minuutin kuluttua.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Toimivuustarkistus toimitetulla SO-100-demodatalla

   Ennen kuin kosket omaan tallenteeseesi, aja 2000 askelta demo_data/cube_to_bowl_5-tiedostolla. Se on viisi jaksoa, se valmistuu nopeasti ja se todistaa ympäristön toimivuuden, ei tietojesi. Jos tämä ajo epäonnistuu, mikään, mitä teet tietojoukollesi, ei auta.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Vaihe 5: hienosäätökomento ja sen lippujen todelliset oletusarvot

Vaihda demoaineisto omaasi ja lisää haluamasi säädöt. Alla on täydellinen muoto, jota arkisto käyttää omassa uuden kehon tutoriaalissaan, mukaan lukien augmentaatio- ja tarkistuspistelippuja, jotka lyhyt README-esimerkki jättää pois. Tämä on suppeassa merkityksessä: kielimalli ja visuaalinen enkooderi pysyvät jäädytettyinä, ja koulutettavat osat ovat projektori ja diffuusion toimintapää.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Viimeinen rivi ei ole kirjoitusvirhe. launch_finetune.py on tyro CLI, joka on luotu dataluokasta, eikä kyseisessä dataluokassa ole seed-kenttää. README mainitsee erikseen 5–6 prosentin vaihtelun ajojen välillä, mikä johtuu ei-deterministisestä kuvankäsittelystä. Kaksi ajoa identtisillä lipuilla eivät tuota identtisiä tarkistuspisteitä, mikä on erittäin tärkeää, kun yrität päättää, auttoiko hyperparametrin muutos vai olitko vain onnekas. Vertailun vuoksi, lerobotin oma kouluttaja käyttää oletuksena seed 1000:a, ja LeRobot GR00T -resepti välittää --seed=42 eksplisiittisesti.

Mitä 20000 askeleen ajo maksaa

GR00T N1.7 tarvitsee 80 GB:n kortin, joten kustannuskysymykseen on suppea vastaus. AY-Robotsissa groot1.7-kouluttaja toimii A100 80 GB tai H100 80 GB -tasolla, jossa ajo kestää 3–6 tuntia hintaan 1.20–2.00 USD tunnissa spot-markkinoilla. Tämä on noin 4–12 USD oletusarvoiselle 20000 askeleen työlle. Sama tehtävä SmolVLA tai ACT toimii 24 GB:n kortilla hintaan 0.30–0.60 USD tunnissa ja 1–3 USD per ajo. Tämä on todellinen kompromissi: GR00T maksaa noin neljä kertaa enemmän yritystä kohden, etkä voi ajaa sitä työpöytäsi alla olevalla 4090:llä.

50-episodi minimi on alaraja, ei tavoite. NVIDIAn oma UKK on vaativampi: noin 100 trajektoria yksinkertaiseen kiinteän sijainnin poimintaan ja sijoitteluun, 500 tai enemmän monimutkaisiin tai monivaiheisiin kohtauksiin, ja 100–500 hienovaraiseen manipulointiin. Jos sinulla on 20 episodia, käytä iltapäivä tallentamiseen illan virittämisen sijaan. tiedonkeruuopas käsittelee, mikä erottaa hyödyllisen episodin hukkaan menneestä, tallenna ensimmäinen datasettisi on lyhyt versio, ja SO-100 tiedonkeruu on käsivarsikohtainen.

Vaihe 6: Avoimen silmukan arviointi ennen kuin kosket käsivarteen

Älä asenna uutta tarkistuspiste fyysiseen robottikäteen selvittääksesi, toimiko harjoittelu. Suorita ensin avoimen silmukan arviointi. Se toistaa tallennetun jakson, pyytää mallilta toimintoja jokaisessa vaiheessa ja piirtää ennusteen vertailukohtaa vasten MSE:n ja MAE:n avulla. Se ei maksa mitään ja se havaitsee vaiheiden 2 ja 3 kartoitusvirheet.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Tietovarasto kieltäytyy tarkoituksella julkaisemasta kohde-MSE:tä mukautetulle datalle, ja se on oikea päätös: luku riippuu toimintayksiköistäsi, tehtävästäsi ja datasettisi koosta, joten toisen robotin kädestä kopioitu kynnysarvo ei tarkoita mitään. Merkityksellistä on trendi. Tässä on viiteajo, jonka tietovarasto dokumentoi yhdellä H100:lla viiden jakson demo-datasettillä ja 2000 askeleella.

Muoto on signaali, ei absoluuttiset arvot. Virheen tulisi laskea tasaisesti, kun harjoitusaskeleet kertyvät. Keskiarvoistettuna kaikkien viiden harjoitusepisodin yli pelkän trajektorin 0 sijaan, repositorion lopullinen tarkistuspiste sai noin 7.5 MSE ja 1.5 MAE, joten jopa vertailuajo näyttää erilaiselta riippuen siitä, mitkä episodit keskiarvoistat. Tallenna oma vertailuarvosi muokkaamattomalla demo-komennolla ennen kuin muutat mitään omasta datastasi: jos et pysty toistamaan tunnetusti toimivaa ajoa, et voi erottaa asennusvirhettä dataongelmasta. Repositorio myös yhdistää yleiset oireet syihin, ja jokainen niistä on operatiivinen eikä mallivirhe.

Toinen reitti: lerobot-train Isaac-GR00T:n sijaan

Nykyinen LeRobot-julkaisu, 0.6.1 PyPI:ssä 3. elokuuta 2026 lähtien, tarjoaa toisen ja varsin erilaisen tavan hienosäätää samoja peruspainoja. LeRobot paljastaa GR00T N1.7:n käytäntötyyppinä ja kouluttaa sen oman lerobot-train -sisääntulopisteensä kautta. Kaksi asiaa on tässä tärkeää. LeRobot CLI on joukko konsolikomentosarjoja, joten kaikki, mitä luet ja jossa sanotaan python lerobot/scripts/train.py, on vanhentunutta eikä toimi. Ja LeRobot poisti GR00T N1.5 -tuen kokonaan, hyläten N1.5-tarkistuspisteet ja -konfiguraatiot siirtymähuomautuksella, joten jos tarvitset N1.5:tä LeRobotin kautta, sinun on kiinnitettävä lerobot==0.5.1, viimeinen sitä tukeva julkaisu, joka julkaistiin 7. huhtikuuta 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Kaksi tapaa saada sama tarkistuspiste

Tarkistuspisteen palauttaminen varteen

Isaac-GR00T käyttää palvelin-asiakas-jakoa ZMQ:n yli. Politiikka pyörii GPU:lla, ja ohut asiakasohjelma robottikoneella lähettää havaintoja ja vastaanottaa toimintalohkoja. SO-100-esimerkki on riittävän kattava kopioitavaksi: käynnistä run_gr00t_server.py tarkistuspisteelläsi ja --embodiment-tag NEW_EMBODIMENT, sitten suorita eval_so100.py robotin puolella sarjaportin, robotin tunnuksen, kameraindeksien ja kieliohjeen kanssa. Kameranimien kyseisessä komennossa on vastattava modality.json-tiedostosi käyttäjäystävällisiä nimiä, eikä käyttöjärjestelmän laitenumeroita.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Nyt rehellinen osuus siitä, missä toimintaperiaate toimii, koska koulutuksella ja palvelulla on erilaiset laitteistovaatimukset. Hienosäätö vaatii 40 Gt tai enemmän. Päättely ei: README mainitsee sen vaativan 16 Gt tai enemmän ja nimeää RTX 4090:n nimenomaisesti, joten jo omistamasi kortti voi palvella tarkistuspistettä, jota se ei olisi koskaan voinut tuottaa. Se, mikä ratkaisee, tuntuuko toimintaperiaate reagoivalta, ei ole VRAM, vaan se, missä palvelin sijaitsee. AY-Robotsin GR00T N1.7 on vain pilvipohjainen, joten ohjaussilmukka maksaa julkisen internetin edestakaisen matkan 152 ms:n lisäksi per toimintoaskel, ja vain SmolVLA ja ACT toimivat myös paikallisesti. Hitaaseen poimintaan ja sijoitteluun etäpalvelin on siedettävä. Kaikkeen reaktiiviseen se ei ole: toimintaperiaate muuttuu epäröiväksi tavalla, joka näyttää täsmälleen koulutusvirheeltä, mutta ei ole sitä. ACT 20 ms per toimintoaskel on malli, joka sietää tiukimman silmukan, SmolVLA on 245 ms, eikä mikään määrä viiveen hienosäätö osta takaisin jo käytettyä edestakaista matkaa. Suorita ensimmäinen toimintaperiaatteesi käy läpi palvelupuolen alusta loppuun.

Mikä oikeasti menee pieleen

• GatedRepoError ensimmäisellä ajolla. Sinulle ei ole myönnetty pääsyä nvidia/Cosmos-Reason2-2B:hen, tai et ole todentanut itseäsi. Tämä tapahtuu sen jälkeen, kun GPU:n kello on jo käynnistynyt.
• Tietojoukko hylättiin latauksen yhteydessä. Melkein aina v3.0-tietojoukko. Muunna se vanhempaan versioon. Katso tietojoukon hylkääminen v3-muodossa.
• IndexError epäyhteensopivista boolean-dimensioista. Muutit delta_indices-arvoja etkä luonut tilastoja uudelleen.
• Muisti loppui erässä 32. Pienennä --global-batch-size-arvoa ja nosta --gradient-accumulation-steps-arvoa, tai pienennä --num-shards-per-epoch-arvoa, mitä konfiguraatio nimenomaisesti ehdottaa VRAMin ollessa rajallinen. Katso muisti loppui koulutuksen aikana.
• Häviö laskee, toimintamalli ei tee mitään. Oletuksena ei ole validointijakoa, joten puhdas koulutuskäyrä todistaa hyvin vähän. Tämä sivu käsittelee diagnoosia.
• Toimii omassa kokoonpanossasi eikä missään muualla. Odotettavissa pienen tietojoukon kanssa, joka on kuvattu yhdessä valaistusolosuhteessa. NVIDIA suosittelee värisävyjen satunnaistamista (colour jitter augmentation) sekä 20–50 jaksoa eri valaistusolosuhteissa. Lisää täältä.
• Tarttuja ei koskaan sulkeudu kunnolla. Tarkista, että tarttujan toiminto on ABSOLUTE ja varren nivelet RELATIVE, tässä järjestyksessä action_configs-tiedostossa. Tarttuja ei sulkeudu luettelee muut syyt.
• Kamera putoaa hiljaisesti pois tallennuksen aikana. Jakso tallentuu silti ja videon avain on edelleen olemassa, minkä vuoksi tämä on ikävä. Kameraa ei tunnistettu käsittelee tätä.

Koko vikatilojen hakemisto löytyy osoitteesta korjaussivut. Jos valitset mallien välillä sen sijaan, että debuggaisit yhtä, toimintamallien vertailu ja GR00T N1.7:n areena-merkintä sisältävät vertailulukuja lähteineen, ja ACT vs. GR00T N1.7 on vertailu, jota useimmat ihmiset todella tarvitsevat, koska se on valinta mallin välillä, jonka voit kouluttaa työpöytäsi alla olevalla kortilla, ja mallin välillä, jonka hienosäätöön sinun on vuokrattava 80 GB:n solmu. Taustatietoa siitä, miksi nämä mallit käyttäytyvät niin kuin ne käyttäytyvät, löytyy VLA-yleiskatsauksesta ja SO-100:n täydellisestä oppaasta, jotka kannattaa lukea ensin. Ja jos sinulla ei vielä ole robottikättä, live-robottikäsi striimaa fyysistä SO-100:aa ilman rekisteröitymistä.