Hvernig á að þjálfa GR00T N1.7 á eigin SO-100 gagnasafni

NVIDIA sendir með fínstillingardæmi fyrir nákvæmlega þann arm sem þú átt líklega. Inni í Isaac-GR00T geymslunni er mappa sem heitir demo_data/cube_to_bowl_5: fimm þættir, 4.148 rammar á 30 fps, þegar skrifaðir sem LeRobot v2.1, með samsvarandi stillingu fyrir mótun undir examples/SO100/. Þess meta/info.json skýrir frá robot_type: so101_follower, sem í LeRobot er sami stillingarflokkur og so100_follower. Það er sannarlega gagnlegt, því það þýðir að viðmiðunarleiðin fyrir GR00T N1.7 á sex-frelsisgráðu áhugamannaarmi er viðhaldið af fólkinu sem skrifaði líkanið. Þetta er ekki manngerð sýnikennsla minnkuð niður, þetta er sami armurinn.

Slæmu fréttirnar eru fjarlægðin á milli I recorded 60 episodes og the arm does the task. Það eru um sex staðir þar sem þessi pípa bilar hljóðlega frekar en hátt, og fjórir þeirra eru í skrám sem flestir opna aldrei: meta/modality.json, Python gagnastillingin, meta/relative_stats.json, og eigin útgáfustrengur gagnasafnsins. Þessi leiðbeining fer handvirka leiðina frá upphafi til enda með raunverulegum skipunum, sýnir síðan sama verkefni sem eyðublað á AY-Robots. Allt hér að neðan var athugað miðað við Isaac-GR00T aðalgreinina frá 20. ágúst 2026 (n1.7-útgáfulínan) og lerobot 0.6.1, gefið út á PyPI 3. ágúst 2026. Uppstreymi hreyfist hratt, og þar sem fána var breytt segir þessi grein frá því.

Hvað GR00T N1.7 raunverulega er

GR00T N1.7 er sjón-tungumál-aðgerðarlíkan með tvöföldu kerfisskipulagi sem lýst er í upprunalegu GR00T N1 greininni: sjón-tungumálseining sem les myndavélarnar og leiðbeiningarnar, og dreifingarspennir sem breytir því í samfelldan búnt af hreyfistýringum. N1.7 leysti fyrri helminginn af hólmi. Eagle burðarásinn frá N1.6 er horfinn, skipt út fyrir nvidia/Cosmos-Reason2-2B á Qwen3-VL arkitektúr, og líkanið var forþjálfað á um það bil 20.000 klukkustundum af sjálfhverfum mannlegum myndböndum auk vélmennagagna. Eigin skrif NVIDIA gefa upp töluna 20.854 klukkustundir og greina frá því að með því að fara úr 1k í 20k klukkustundir meira en tvöfaldast meðaltal verkefnalokunar.

Seinni helmingurinn breyttist líka, á vegu sem skipta máli fyrir keyrsluna þína. Aðgerðarhausinn fór úr 32 dreifingarlögum í 16, fyrirséð aðgerðarbútur stækkaði úr 16 skrefum í 40, og hámarks ástands- og aðgerðarbreidd fór úr 29 í 132. Þessar þrjár tölur koma úr breytingaskrá í README geymslunnar; eigin kynningarfærsla NVIDIA lýsir enn kerfi 1 sem 32 laga DiT, svo þar sem þau tvö eru ósammála, treystu geymslunni sem þú ert að klóna. Aðgerðir eru sjálfgefið gefnar upp í hlutfallslegu enda-áhrifara rými, frávikum frá núverandi stöðu frekar en algildum markmiðum, sem er það sem gerir það að verkum að forþekking á meðferð sem lærð er úr mannlegum myndböndum getur yfirfærst í vélmennastýringu yfirleitt. Hausinn sjálfur er flæðisjöfnunar dreifingarspennir, sama fjölskylda og Pi0.5 en með annarri burðarás fyrir framan hann. Ef þú ert enn á fyrri kynslóðinni, N1.7 á móti N1.5 fjallar um hvort uppfærslan réttlæti endurgerð leiðslunnar þinnar.

Þessar síðustu þrjár raðir útskýra mest af þeim vonbrigðum sem fólk greinir frá. Fyrirsögnin 27.9 ms er TensorRT vél á H100 með einni myndavél og fjórum afhávaðaskrefum. Venjulegt PyTorch á sama korti er 85.8 ms, og líkanakortið setur bilið á 3.08x. Engin tala inniheldur þjónustulag, aðra myndavél eða netstökk. 152 ms á aðgerðarskref sem AY-Robots gefur upp fyrir þjónustað GR00T N1.7 er talan með þjónustu í lykkjunni, og almenn internetferð fram og til baka bætist ofan á það. Meira um þetta í lokin. Fyrir tölurnar við hlið annarra líkana, GR00T N1.7 á móti Pi0.5 og GR00T N1.7 á móti SmolVLA sýna þær hlið við hlið.

Hvað keyrslan þarf áður en þú slærð inn eitthvað

Skref 0: þættirnir sjálfir

Allt hér að neðan gerir ráð fyrir að þú hafir þegar tekið upp þætti. Ef ekki, þá er það hið raunverulega fyrsta skref og það er það sem ræður því hversu góð niðurstaðan getur orðið, því herminám getur ekki endurheimt upplýsingar sem ekki eru í gögnunum. Kvörðuðu báða armana fyrst, keyrðu síðan fylgjandann með leiðtogaarmi á meðan lerobot-record skrifar parquet skrárnar og myndavélarstraumana. Ef kvörðun er röng, lýsa liðgildin í gagnasafninu þínu örlítið öðruvísi vélmenni en því sem síðar mun framkvæma stefnuna, og engin þjálfun lagar það.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Ráð LeRobot er að taka upp að minnsta kosti 50 þætti með um 10 á hvern stað hlutar, halda myndavélunum föstum og halda griphegðun stöðugri. Bættu við breytileika síðar, ekki í upphafi. Þumalputtareglan sem vert er að muna: ef þú gætir ekki framkvæmt verkefnið sjálfur út frá myndavélarmyndunum einum saman, þá getur stefnan það ekki heldur. Fyrir uppsetningu sem er sértæk fyrir arminn, SO-100 byrjunarleiðbeiningar og SO-100 LeRobot síðan fjalla um tengi, kvörðun og myndavélarvísitölur. Á AY-Robots geturðu einnig gert þetta yfir internetið úr vafranum með því að nota fjarstýringu og tekið upp beint úr lotunni.

Skref 1: gagnasafnið verður að vera LeRobot v2.1

Þetta er ein algengasta hindrunin. Núverandi CODEBASE_VERSION á aðalgreininni er v3.0, svo allt sem þú tekur upp í dag með núverandi verkfærakeðju kemur út sem v3.0. Hleðslutæki GR00T gerir ráð fyrir v2. Geymslan er skýr um ástæðuna: mörg gagnasöfn uppstreymis eins og DROID, LIBERO og Bridge eru gefin út í v2, og innfæddur stuðningur við bæði er áætlaður en ekki sendur. Svo umbreytingin er á þína ábyrgð, og hún keyrir í eigin sýndarumhverfi af ákveðinni ástæðu: scripts/lerobot_conversion ber með sér eigið pyproject sem biður um Python 3.10 eða 3.11 og festir lerobot við eina git commit, á meðan Isaac-GR00T sjálft krefst Python 3.12. Settu upp breytirann frá rót geymslunnar og þú færð gr00t pakka í staðinn, sem eru mistökin sem README þess varar við. Ef þú ert nýr í sniðinu, þá útskýrir LeRobot gagnasafnið orðalistafærslan hvað er í raun og veru inni í einu slíku.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Uppbyggingin sem GR00T vill eftir umbreytingu er klassískt v2 skipulag: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, parquet skrár undir data/chunk-000/, MP4 skrár undir videos/chunk-000/observation.images./, og ein auka skrá sem staðlað LeRobot hefur ekki. Sú auka skrá er þar sem flestar eftirstandandi bilanir búa.

Skref 2: modality.json, tölurnar sex sem ráða öllu

Í LeRobot gagnasafni eru ástand vélmennisins og aðgerðin geymd sem flatar float32 fylki. Fyrir SO-100 hafa bæði lögun [6]: fimm armliðir og griparmi. Kynningargagnasafnið nefnir þá shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, en þessi nöfn búa í info.json og ekkert í parquet skránni segir hvaða vísir er hvaða. meta/modality.json gefur þessa kortlagningu, og GR00T mun ekki þjálfa án hennar. Hér er sú sem geymslan sendir fyrir SO-100, orðrétt.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Afritaðu það í umbreytt gagnasafn þitt á meta/modality.json og endurnefndu myndbandslyklana í það sem myndavélarnar þínar heita í raun. Ef þú tókst upp með einni yfirlitsmyndavél sem heitir top, þá er original_key observation.images.top og vinalega nafnið er það sem gagnastillingin þín mun vísa í. Þau tvö verða að vera sammála, og hvorugt þeirra athugar hitt fyrir þig. Tungumálaskýringin er verri, því sami lykillinn þarf að birtast á þremur stöðum.

Skref 3: gagnastillingin, hlutfallslegur armur og algjör gripur

Stillingar fyrir mótun (modality config) eru Python skrá frekar en JSON, því hún ákveður einnig hvernig hver aðgerðahópur er táknaður. Þetta er sá hluti N1.7 vinnuflæðisins sem var ekki til í sömu mynd í N1.5, og sá hluti sem vert er að lesa tvisvar. SO-100 stillingin sem fylgir spáir fyrir um fimm armliði sem RELATIVE hlutfallslegar (relative) breytingar frá núverandi ástandi og gripinn sem ABSOLUTE algilda (absolute) markstöðu, því tvíundar opnunar- eða lokunarmerki hegðar sér betur sem markmið en sem breyting.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Tvö smáatriði hér munu kosta þig heilan dag ef þú þekkir þau ekki. Í fyrsta lagi, action_configs er staðbundin: skjölun krefst sömu lengdar og sömu röðar og modality_keys, og þau eru skýr um afleiðingarnar af því að gera mistök, sem er að röng framsetning er notuð án viðvörunar. Griparinn þinn er þjálfaður sem breyting og armurinn þinn sem algilt markmið, og engin villuboð birtast. Í öðru lagi, register_modality_config staðfestir að merkið sé ekki þegar skráð, svo önnur NEW_EMBODIMENT stilling í sama Python ferli deyr með Embodiment tag ... already registered. Þú getur ekki flutt inn tvær slíkar í eitt skjal. Þriðja reglan er framfylgt síðar, við dreifingu: aðgerðin delta_indices verður að vera samliggjandi svið sem byrjar á núlli. Dreifður gluggi eins og [0, 4, 8] er hafnað, því allt niðurstreymis vísar í spáða hluta línulega og myndi annars framkvæma rangar raðir.

Skref 4: umhverfið

N1.7 færði geymsluna yfir á og Python 3.12. Gamla conda plús pip install -e . leiðin er enn til í samfelldum hluta README, en hún varar við því að GPU-háðir pakkar, þar á meðal flash-attn og TensorRT, gætu þurft handvirka uppsetningu. Notaðu uv nema þú hafir sérstaka ástæðu til að gera það ekki. Varðandi flash-attn, þá sparar eitt smáatriði rugling: þú munt sjá Installing flash-attn prentað út í hvert skipti sem þú keyrir uv run. Það er ekki að endurbyggja. uv er að endurstaðfesta URL-fastan hjólapakka sem er þegar í skyndiminni, og það tekur tvær eða þrjár sekúndur.

1. 1
   Settu upp git-lfs, klónaðu síðan með undireiningum

   git-lfs er nauðsynlegt, ekki valfrjálst. Án þess koma parquet skrárnar í demo_data/ niður sem bendistubbar, og kynningin mistekst á gagnasafni sem virðist vera til staðar í skráarlistanum.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Settu upp uv og samstilltu umhverfið

   Sjálfgefin uppsetning sækir GPU-háðir pakka, þar á meðal flash-attn og TensorRT. Á nýrri A100 eða H100 mynd er þetta lengsta einstaka skrefið, svo gerðu það áður en þú ferð að gefa öðru gaum.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Auðkenndu þig gegn Hugging Face

   Gerðu þetta áður en fyrsta þjálfunin hefst, ekki eftir að hún mistekst eftir átta mínútur.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Heilbrigðisathugun á meðfylgjandi SO-100 kynningargögnum

   Áður en þú snertir eigin upptöku skaltu keyra 2000 skref á demo_data/cube_to_bowl_5. Þetta eru fimm þættir, það klárast hratt, og það sannar umhverfið frekar en gögnin þín. Ef þessi keyrsla mistekst, mun ekkert sem þú gerir við gagnasafnið þitt hjálpa.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Skref 5: fínstillingar skipunin og raunveruleg sjálfgefin gildi fána hennar

Skiptu út kynningargagnasafninu fyrir þitt eigið og bættu við þeim stillingum sem þú raunverulega vilt. Hér fyrir neðan er full útgáfa sem geymslan notar í sinni eigin nýju-líkamsgerðar kennsluefni, þar á meðal stækkunar- og geymslupunktafánar sem stutta README dæmið sleppir. Þetta er í þröngum skilningi: tungumálsgrindin og sjónræni kóðarinn haldast frosnir, og það sem þjálfast er skjávarpinn og dreifingar aðgerðarhausinn.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Síðasta röðin er ekki innsláttarvilla. launch_finetune.py er tyro CLI sem er búið til úr dataclass, og sá dataclass hefur ekkert seed-svæði. README skjalið tekur sérstaklega fram 5 til 6 prósenta frávik milli keyrslna af völdum ónákvæmrar myndaukningar. Tvær keyrslur með eins flöggum munu ekki framleiða eins checkpoints, sem skiptir miklu máli þegar reynt er að ákveða hvort breyting á hyperparameter hafi hjálpað eða hvort þú hafir verið heppinn. Til samanburðar, sjálfgefinn trainer lerobot notar seed 1000, og LeRobot GR00T recipe sendir --seed=42 skýrt.

Hvað 20000 skrefa keyrsla kostar

GR00T N1.7 þarf 80 GB kort, svo kostnaðarspurningin hefur þröngt svar. Á AY-Robots keyrir groot1.7 trainerinn á A100 80 GB eða H100 80 GB flokki, þar sem keyrsla tekur 3 til 6 klukkustundir á 1.20 til 2.00 USD á klukkustund á spot market. Það er um það bil 4 til 12 USD fyrir sjálfgefna 20000 skrefa vinnu. Sama verkefni á SmolVLA eða ACT lendir á 24 GB korti á 0.30 til 0.60 USD á klukkustund og 1 til 3 USD á keyrslu. Það er raunverulega málamiðlunin: GR00T kostar um fjórum sinnum meira á tilraun, og þú getur ekki keyrt það á 4090 undir skrifborðinu þínu.

Lágmarkið 50-þáttur er lágmark, ekki markmið. Algengar spurningar NVIDIA sjálfs eru kröfumeiri: um það bil 100 ferlar fyrir einfalda staðsetningu og flutning, 500 eða fleiri fyrir flóknar eða margþrepa senur, og 100 til 500 fyrir fínlega meðhöndlun. Ef þú ert með 20 þætti, eyddu síðdeginu í upptökur frekar en kvöldinu í fínstillingu. leiðbeiningar um gagnasöfnun fjalla um hvað skilur gagnlegan þátt frá sóuðum, skráðu fyrsta gagnasafnið þitt er stutta útgáfan, og SO-100 gagnasöfnun er sú sem er sérstök fyrir arminn.

Skref 6: opinn lykkju mat áður en þú snertir arminn

Ekki setja nýjan eftirlitsstað á líkamlegan arm til að komast að því hvort þjálfunin virkaði. Keyrðu opna lykkju matið fyrst. Það spilar upptekinn þátt aftur, biður líkanið um aðgerðir í hverju skrefi og teiknar spá á móti raunverulegum gögnum með MSE og MAE. Það kostar ekkert og það grípur kortlagningarvillur frá skrefum 2 og 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Gagnasafnið neitar vísvitandi að birta mark-MSE fyrir sérsniðin gögn, og það er rétt ákvörðun: talan fer eftir aðgerðareiningum þínum, verkefni þínu og stærð gagnasafnsins, svo þröskuldur afritaður frá armi einhvers annars þýðir ekkert. Það sem er þýðingarmikið er þróunin. Hér er viðmiðunaraksturinn sem gagnasafnið skjalfestir á einum H100 með fimm þátta kynningargagnasafninu og 2000 skrefum.

Lögunin er merkið, ekki algildin. Villa ætti að minnka jafnt og þétt eftir því sem þjálfunarskref safnast upp. Meðaltal yfir alla fimm þjálfunarþættina, frekar en aðeins feril 0, sýndi að lokapunktur geymslunnar skoraði um það bil 7.5 MSE og 1.5 MAE, svo jafnvel viðmiðunaraksturinn lesst öðruvísi eftir því hvaða þætti þú meðaltalar. Skráðu þína eigin grunnlínu á óbreyttri kynningarskipan áður en þú breytir einhverju í þínum eigin gögnum: ef þú getur ekki endurtekið þekktan góðan akstur geturðu ekki greint uppsetningarvillu frá gagnamáli. Geymslan kortleggur einnig algeng einkenni við orsakir, og hvert þeirra er rekstrarlegt frekar en líkanagalla.

Hin leiðin: lerobot-train í stað Isaac-GR00T

Núverandi LeRobot útgáfa, 0.6.1 á PyPI síðan 3. ágúst 2026, býður upp á aðra og nokkuð ólíka leið til að fínstilla sömu grunnþyngdir. LeRobot sýnir GR00T N1.7 sem stefnugerð og þjálfar hana í gegnum sinn eigin lerobot-train inngangspunkt. Tvennt skiptir máli hér. LeRobot CLI er safn af stjórnskipanaskriftum, svo allt sem þú lest sem segir python lerobot/scripts/train.py er úrelt og mun ekki keyra. Og LeRobot fjarlægði GR00T N1.5 stuðning alfarið, hafnaði N1.5 eftirlitsstöðvum og stillingum með færslutilkynningu, svo ef þú þarft N1.5 í gegnum LeRobot verður þú að festa lerobot==0.5.1, síðustu útgáfuna sem styður það, gefin út 7. apríl 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Tvær leiðir til að fá sama gátpunkt

Að koma eftirlitsstöðinni aftur á handlegginn

Isaac-GR00T notar skiptingu milli miðlara og biðlara yfir ZMQ. Stefna keyrir á GPU, og þunnur biðlari á vélmennavélinni sendir athuganir og tekur á móti aðgerðabrotum. SO-100 dæmið er nógu fullkomið til að afrita: ræstu run_gr00t_server.py með eftirlitsstöðinni þinni og --embodiment-tag NEW_EMBODIMENT, keyrðu síðan eval_so100.py á vélmennahliðinni með raðtengi, vélmennaauðkenni, myndavélarvísitölum og tungumálaleiðbeiningum. Nöfn myndavélanna í þeirri skipun verða að passa við vinalegu nöfnin úr modality.json skránni þinni, ekki tölur stýrikerfisins.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Nú kemur heiðarlegi hlutinn um hvar stefnan keyrir, því þjálfun og þjónusta hafa mismunandi vélbúnaðarsögur. Fínstilling vill 40 GB eða meira. Ályktun gerir það ekki: README segir að það sé 16 GB eða meira og nefnir RTX 4090 sérstaklega, svo kort sem þú átt nú þegar getur þjónað gátpunkti sem það hefði aldrei getað framleitt. Það sem ræður því hvort stefnan virðist móttækileg er ekki VRAM, heldur hvar netþjónninn er staðsettur. Á AY-Robots er GR00T N1.7 eingöngu í skýinu, svo stjórnunarlykkjan greiðir almenna internetferð ofan á 152 ms á hverju aðgerðarskrefi, og aðeins SmolVLA og ACT keyra einnig staðbundið. Fyrir hæga val og staðsetningu er fjarlægur podur lifandi. Fyrir allt sem er viðbragðsgott er það ekki: stefnan verður hikandi á þann hátt sem lítur nákvæmlega út eins og þjálfunarbilun og er það ekki. ACT á 20 ms á hverju aðgerðarskrefi er líkanið sem þolir þéttustu lykkjuna, SmolVLA situr á 245 ms, og engin upphæð af stillingu á biðtíma kaupir til baka ferð sem þegar hefur verið eytt. Keyrðu fyrstu stefnu þína fer í gegnum þjónustuhliðina frá upphafi til enda.

Hvað fer í raun úrskeiðis

• GatedRepoError við fyrstu keyrslu. Þú hefur ekki fengið aðgang að nvidia/Cosmos-Reason2-2B, eða þú auðkenndir þig ekki. Þetta gerist eftir að GPU klukkan er þegar byrjuð.
• Gagnasafni hafnað við hleðslu. Næstum alltaf v3.0 gagnasafn. Umbreyttu því niður. Sjá gagnasafni hafnað sem v3.
• IndexError vegna ósamræmdra boolean vídda. Þú breyttir delta_indices og endurgerðir ekki tölfræðina.
• Minni klárast við lotu 32. Minnkaðu --global-batch-size og hækkaðu --gradient-accumulation-steps, eða minnkaðu --num-shards-per-epoch, sem stillingin mælir sérstaklega með þegar VRAM er takmarkað. Sjá minni klárast við þjálfun.
• Tap minnkar, stefna gerir ekkert. Engin staðfestingarskipting er sjálfgefin, svo hrein þjálfunarferill sannar mjög lítið. Þessi síða fjallar um greininguna.
• Virkar í þinni uppsetningu en hvergi annars staðar. Búist við með litlu gagnasafni sem tekið er upp við eina lýsingarskilyrði. NVIDIA mælir með litabreytingum (colour jitter augmentation) auk 20 til 50 þátta við mismunandi lýsingu. Meira hér.
• Griparinn lokast aldrei rétt. Athugaðu að griparinn sé ABSOLUTE og armliðirnir RELATIVE, í þeirri röð í action_configs. Griparinn lokast ekki listar aðrar orsakir.
• Myndavél dettur hljóðlaust út í miðri upptöku. Þátturinn vistar samt og myndbandslykillinn er enn til, þess vegna er þetta óþægilegt. Myndavél ekki greind fjallar um það.

Heildarvísitala bilana er á . Ef þú ert að velja á milli líkana frekar en að kemba eitt, þá hafa og viðmiðunartölur með heimildum, og er sá samanburður sem flestir þurfa í raun, því það er valið á milli líkans sem þú getur þjálfað á kortinu undir skrifborðinu þínu og líkans sem þú þarft að leigja 80 GB hnút til að fínstilla. Til að fá bakgrunn um hvers vegna þessi líkön hegða sér eins og þau gera, eru og þess virði að lesa fyrst. Og ef þú átt ekki arm ennþá, þá streymir líkamlegum SO-100 án skráningar.