Si të Trajnoni GR00T N1.7 në Setin Tuaj të të Dhënave SO-100

NVIDIA ofron një shembull fine-tuning pikërisht për krahun që ndoshta zotëroni. Brenda depoja Isaac-GR00T ekziston një dosje e quajtur demo_data/cube_to_bowl_5: pesë episode, 4,148 korniza në 30 fps, tashmë të shkruara si LeRobot v2.1, me një konfigurim modaliteti të përputhshëm nën examples/SO100/. I tij meta/info.json raporton robot_type: so101_follower, i cili në LeRobot është i njëjti klasë konfigurimi si so100_follower. Kjo është vërtet e dobishme, sepse do të thotë që shtegu i referencës për GR00T N1.7 në një gjashtë-gradë-lirie krah hobi mirëmbahet nga njerëzit që shkruan modelin. Nuk është një demo humanoide e zvogëluar, është i njëjti krah.

Lajmi i keq është distanca midis I recorded 60 episodes dhe the arm does the task. Ka rreth gjashtë vende ku ky pipeline dështon në heshtje dhe jo me zhurmë, dhe katër prej tyre ndodhen në skedarë që shumica e njerëzve nuk i hapin kurrë: meta/modality.json, konfigurimi i të dhënave Python, meta/relative_stats.json, dhe stringu i versionit të vetë datasetit. Ky udhëzues përshkruan rrugën manuale nga fillimi në fund me komandat reale, pastaj tregon të njëjtën punë si një formular në AY-Robots. Gjithçka më poshtë u kontrollua kundrejt degës kryesore të Isaac-GR00T që nga 20 gusht 2026 (linja e lëshimit n1.7) dhe lerobot 0.6.1, e publikuar në PyPI më 3 gusht 2026. Upstream lëviz shpejt, dhe aty ku një flag u riemërua, ky artikull e thekson.

Çfarë është në të vërtetë GR00T N1.7

GR00T N1.7 është një model vizion-gjuhë-veprim me paraqitjen me dy sisteme të përshkruar në punimin origjinal GR00T N1: një modul vizion-gjuhë që lexon kamerat dhe instruksionin, dhe një transformator difuzioni që e kthen këtë në një bllok komandash motorike të vazhdueshme. N1.7 zëvendësoi gjysmën e parë. Shtylla kurrizore Eagle nga N1.6 është hequr, zëvendësuar me nvidia/Cosmos-Reason2-2B në një arkitekturë Qwen3-VL, dhe modeli u paratrajnua në rreth 20,000 orë video njerëzore egocentrike mbi të dhënat e robotit. Shkrimi i vetë NVIDIA-s e vendos shifrën në 20,854 orë dhe raporton se kalimi nga 1 mijë në 20 mijë orë më shumë se dyfishon përfundimin mesatar të detyrave.

Gjysma e dytë ndryshoi gjithashtu, në mënyra që kanë rëndësi për ekzekutimin tuaj. Koka e veprimit ra nga 32 shtresa difuzioni në 16, copë veprimi u rrit nga 16 hapa në 40, dhe gjerësia maksimale e gjendjes dhe veprimit shkoi nga 29 në 132. Këto tre numra vijnë nga regjistri i ndryshimeve në README të depozitës; postimi i lançimit të vetë NVIDIA-s ende e përshkruan Sistemin 1 si një DiT me 32 shtresa, kështu që aty ku të dyja nuk pajtohen, besojini depozitës që jeni gati të klononi. Veprimet shprehen si parazgjedhje në një hapësirë relative fund-efektor, delta nga poza aktuale dhe jo objektiva absolute, gjë që lejon transferimin e parimeve të manipulimit të mësuara nga videoja njerëzore në kontrollin e robotit. Vetë koka është një transformator difuzioni përputhje-fluksi, e njëjta familje si Pi0.5 por me një shtyllë kurrizore tjetër përpara saj. Nëse jeni ende në gjeneratën e mëparshme, N1.7 kundrejt N1.5 mbulon nëse përmirësimi justifikon ripunimin e tubacionit tuaj.

Këto tre rreshta të fundit shpjegojnë pjesën më të madhe të zhgënjimit që raportojnë njerëzit. Titulli 27.9 ms është një motor TensorRT në një H100 me një kamerë dhe katër hapa denoisimi. PyTorch i thjeshtë në të njëjtën kartë është 85.8 ms, dhe karta e modelit e vendos hendekun në 3.08x. Asnjëri numër nuk përfshin një shtresë shërbimi, një kamerë të dytë ose një kërcim rrjeti. 152 ms për hap veprimi që AY-Robots citon për GR00T N1.7 të shërbyer është shifra me shërbim në qark, dhe një udhëtim vajtje-ardhje në internet publik qëndron mbi këtë. Më shumë për këtë në fund. Për numrat pranë modeleve të tjera, GR00T N1.7 kundrejt Pi0.5 dhe GR00T N1.7 kundrejt SmolVLA i paraqesin ato krah për krah.

Çfarë i duhet ekzekutimit para se të shkruani diçka

Hapi 0: vetë episodet

Gjithçka më poshtë supozon se ju tashmë keni regjistruar episode. Nëse nuk keni, ky është hapi i parë i vërtetë dhe është ai që vendos se sa i mirë mund të jetë rezultati, sepse mësimi imitues nuk mund të rikuperojë informacionin që nuk është në të dhëna. Kalibroni të dy krahët së pari, pastaj drejtoni ndjekësin me një krah udhëheqës ndërsa lerobot-record shkruan skedarët parquet dhe transmetimet e kamerës. Nëse kalibrimi është i çaktivizuar, vlerat e nyjeve në grupin tuaj të të dhënave përshkruajnë një robot paksa të ndryshëm nga ai që do të ekzekutojë më vonë politikën, dhe asnjë sasi trajnimi nuk e rregullon këtë.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

Këshilla e LeRobot është të regjistroni të paktën 50 episode me rreth 10 për vendndodhje objekti, t'i mbani kamerat fikse dhe të mbani sjelljen e kapjes konsistente. Shtoni variacion më vonë, jo në fillim. Rregulli i përgjithshëm që vlen të mbahet mend: nëse nuk mund ta bënit vetë detyrën vetëm nga imazhet e kamerës, politika nuk mundet gjithashtu. Për konfigurimin specifik të krahut, fillimi me SO-100 dhe faqja e LeRobot për SO-100 mbulojnë portat, kalibrimin dhe indekset e kamerës. Në AY-Robots mund ta bëni këtë edhe përmes internetit nga shfletuesi duke përdorur teleoperacionin dhe të regjistroni direkt nga sesioni.

Hapi 1: grupi i të dhënave duhet të jetë LeRobot v2.1

Ky është pengesa më e zakonshme. Versioni aktual i LeRobot CODEBASE_VERSION në degën kryesore është v3.0, kështu që çdo gjë që regjistroni sot me një zinxhir mjetesh aktual del si v3.0. Ngarkuesi i GR00T pret v2. Depoja është e qartë për arsyen: shumë grupe të dhënash upstream si DROID, LIBERO dhe Bridge janë publikuar në v2, dhe mbështetja vendase për të dyja është planifikuar por nuk është dërguar. Pra, konvertimi është në dorën tuaj, dhe ai ekzekutohet në virtualenv-in e tij për një arsye konkrete: scripts/lerobot_conversion mbart pyproject-in e tij që kërkon Python 3.10 ose 3.11 dhe fikson lerobot në një commit të caktuar git, ndërsa Isaac-GR00T vetë kërkon Python 3.12. Instaloni konvertuesin nga rrënja e depozitës dhe do të merrni paketën gr00t në vend të saj, gjë që është gabimi për të cilin paralajmëron README-ja e tij. Nëse jeni i ri me formatin, hyrja e fjalorit grupi i të dhënave LeRobot shpjegon se çfarë ndodhet në të vërtetë brenda njërit.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Struktura që GR00T dëshiron pas konvertimit është paraqitja klasike v2: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, skedarë parquet nën data/chunk-000/, skedarë MP4 nën videos/chunk-000/observation.images./, dhe një skedar shtesë që LeRobot standard nuk e ka. Ky skedar shtesë është vendi ku ndodhen shumica e dështimeve të mbetura.

Hapi 2: modality.json, gjashtë numrat që vendosin gjithçka

Në një grup të dhënash LeRobot, gjendja e robotit dhe veprimi ruhen si matrica të sheshta float32. Për një SO-100, të dyja kanë formën [6]: pesë nyje krahu dhe një kapëse. Grupi i të dhënave demo i emërton ato shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, por këta emra ndodhen në info.json dhe asgjë në skedarin parquet nuk tregon se cili indeks është cili. meta/modality.json ofron atë hartëzim, dhe GR00T nuk do të trajnohet pa të. Këtu është ai që depoja ofron për SO-100, fjalë për fjalë.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Kopjojeni në grupin tuaj të të dhënave të konvertuara në meta/modality.json dhe riemërtoni çelësat e videos sipas emrave aktualë të kamerave tuaja. Nëse keni regjistruar me një kamerë të vetme sipër kokës të quajtur top, atëherë original_key është observation.images.top dhe emri miqësor është ai që do të referojë konfigurimi juaj i të dhënave. Të dyja duhet të bien dakord, dhe asnjëra prej tyre nuk kontrollon tjetrën për ju. Shënimi i gjuhës është më i keq, sepse i njëjti çelës duhet të shfaqet në tre vende.

Hapi 3: konfigurimi i të dhënave, krahu relativ dhe kapësi absolut

Konfigurimi i modalitetit është një skedar Python dhe jo JSON, sepse ai gjithashtu vendos se si përfaqësohet çdo grup veprimi. Kjo është pjesa e rrjedhës së punës N1.7 që nuk ekzistonte në të njëjtën formë në N1.5, dhe pjesa që ia vlen të lexohet dy herë. Konfigurimi i dërguar SO-100 parashikon pesë nyjet e krahut si RELATIVE delta nga gjendja aktuale dhe kapësen si një ABSOLUTE pozicion objektiv, sepse një sinjal binar i hapur-ose-mbyllur sillet më mirë si objektiv sesa si delta.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Dy detaje këtu do t'ju kushtojnë një ditë nëse nuk i dini. Së pari, action_configs është pozicional: dokumentacioni kërkon të njëjtën gjatësi dhe të njëjtin rend si modality_keys, dhe ata janë të prerë për pasojën e gabimit, e cila është se përfaqësimi i gabuar aplikohet në heshtje. Kapësja juaj trajnohet si delta dhe krahu juaj si një objektiv absolut, dhe nuk ka asnjë mesazh gabimi. Së dyti, register_modality_config pohon se etiketa nuk është regjistruar tashmë, kështu që një konfigurim i dytë NEW_EMBODIMENT në të njëjtin proces Python vdes me Embodiment tag ... already registered. Nuk mund të importoni dy prej tyre në një skript. Një rregull i tretë zbatohet më vonë, në vendosje: veprimi delta_indices duhet të jetë diapazoni i vazhdueshëm që fillon nga zero. Një dritare e rrallë si [0, 4, 8] refuzohet, sepse çdo gjë në rrjedhën e poshtme indeksion bllokun e parashikuar linearisht dhe përndryshe do të ekzekutonte rreshtat e gabuar.

Hapi 4: ambienti

N1.7 e zhvendosi depozitën në dhe Python 3.12. Rruga e vjetër conda plus pip install -e . rruga ekziston ende në një seksion të palosur të README, por paralajmëron se varësitë e GPU-së, duke përfshirë flash-attn dhe TensorRT, mund të kërkojnë instalim manual. Përdorni uv nëse nuk keni një arsye specifike për të mos e bërë këtë. Në lidhje me flash-attn, një detaj shmang konfuzionin: do të shihni Installing flash-attn të printuar në çdo uv run. Nuk po rindërtohet. uv po rivalidion një 'wheel' të fiksuar me URL që është tashmë i ruajtur në cache, dhe kjo merr dy ose tre sekonda.

1. 1
   Instaloni git-lfs, pastaj klononi me submodule

   git-lfs është i nevojshëm, jo opsional. Pa të, skedarët parquet në demo_data/ shkarkohen si 'pointer stubs', dhe ekzekutimi i demonstrimit dështon në një grup të dhënash që duket i pranishëm në listën e skedarëve.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Instaloni uv dhe sinkronizoni ambientin

   Instalimi i paracaktuar tërheq varësitë e GPU-së, duke përfshirë flash-attn dhe TensorRT. Në një imazh të ri A100 ose H100, ky është hapi i vetëm më i gjatë, prandaj bëjeni këtë para se të filloni t'i kushtoni vëmendje ndonjë gjëje tjetër.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Autentifikohuni kundrejt Hugging Face

   Bëjeni këtë para lëshimit të parë të trajnimit, jo pasi të dështojë pas tetë minutash.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Kontrolli i funksionalitetit në të dhënat demo të SO-100 të dërguara

   Para se të prekni regjistrimin tuaj, ekzekutoni 2000 hapa në demo_data/cube_to_bowl_5. Janë pesë episode, përfundon shpejt dhe vërteton ambientin më shumë sesa të dhënat tuaja. Nëse ky ekzekutim dështon, asgjë që bëni me grupin tuaj të të dhënave nuk do të ndihmojë.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Hapi 5: komanda fine-tune dhe cilat janë vlerat e saj të paracaktuara

Zëvendësoni setin e të dhënave demo me tuajin dhe shtoni parametrat që dëshironi. Më poshtë është forma e plotë që depoja përdor në tutorialin e saj të ri-embodiment, duke përfshirë flamujt e augmentimit dhe checkpointing që shembulli i shkurtër README lë jashtë. Ky është në kuptimin e ngushtë: shtylla kurrizore e gjuhës dhe enkoderi vizual mbeten të ngrirë, dhe ajo që trajnohet është projektori dhe koka e veprimit të difuzionit.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Rreshti i fundit nuk është një gabim shtypi. launch_finetune.py është një CLI tyro i gjeneruar nga një dataclass, dhe ai dataclass nuk ka fushë seed. README veçmas thekson 5 deri në 6 për qind variacion midis ekzekutimeve të shkaktuara nga augmentimi jo-deterministik i imazhit. Dy ekzekutime me flamuj identikë nuk do të prodhojnë pika kontrolli identike, gjë që ka shumë rëndësi kur po përpiqeni të vendosni nëse një ndryshim i hiperparametrit ndihmoi apo nëse keni pasur fat. Për krahasim, trajneri i lerobot-it parazgjedhur ka seed 1000, dhe receta LeRobot GR00T kalon --seed=42 në mënyrë eksplicite.

Sa kushton një ekzekutim me 20000 hapa

GR00T N1.7 ka nevojë për një kartë 80 GB, kështu që pyetja e kostos ka një përgjigje të ngushtë. Në AY-Robots, trajneri groot1.7 ekzekutohet në nivelin A100 80 GB ose H100 80 GB, ku një ekzekutim zgjat 3 deri në 6 orë me 1.20 deri në 2.00 USD për orë në tregun spot. Kjo është afërsisht 4 deri në 12 USD për punën parazgjedhur me 20000 hapa. E njëjta detyrë në SmolVLA ose ACT bie në një kartë 24 GB me 0.30 deri në 0.60 USD për orë dhe 1 deri në 3 USD për ekzekutim. Ky është kompromisi i vërtetë: GR00T kushton rreth katër herë më shumë për përpjekje, dhe nuk mund ta ekzekutoni në 4090-ën nën tavolinën tuaj.

Minimumi prej 50-epizodash është një kufi i poshtëm, jo një objektiv. FAQ-ja e vetë NVIDIA-s është më kërkuese: rreth 100 trajektore për një marrje dhe vendosje të thjeshtë në një vendndodhje fikse, 500 ose më shumë për skena komplekse ose me shumë hapa, dhe 100 deri në 500 për manipulim të imët. Nëse jeni në 20 epizoda, kaloni pasditen duke regjistruar në vend që të kaloni mbrëmjen duke rregulluar. Udhëzuesi i mbledhjes së të dhënave mbulon atë që ndan një epizod të dobishëm nga një i humbur, regjistroni grupin tuaj të parë të të dhënave është versioni i shkurtër, dhe mbledhja e të dhënave SO-100 është ajo specifike për krahun.

Hapi 6: vlerësimi me qark të hapur para se të prekni krahun

Mos vendosni një pikë kontrolli të re në një krah fizik për të zbuluar nëse trajnimi funksionoi. Ekzekutoni së pari vlerësimin me qark të hapur. Ai riprodhon një episod të regjistruar, i kërkon modelit veprime në çdo hap dhe vizaton parashikimin kundrejt të dhënave reale me MSE dhe MAE. Nuk kushton asgjë dhe kap gabimet e hartëzimit nga hapat 2 dhe 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Depoja refuzon qëllimisht të publikojë një MSE të synuar për të dhënat e personalizuara, dhe ky është vendimi i duhur: numri varet nga njësitë tuaja të veprimit, detyra juaj dhe madhësia e grupit tuaj të të dhënave, kështu që një prag i kopjuar nga krahu i dikujt tjetër nuk do të thotë asgjë. Ajo që ka kuptim është tendenca. Këtu është ekzekutimi referencë që depoja dokumenton në një H100 të vetëm me grupin e të dhënave demo me pesë episode dhe 2000 hapa.

Forma është sinjali, jo vlerat absolute. Gabimi duhet të bjerë vazhdimisht ndërsa hapat e trajnimit grumbullohen. Mesatarisht në të gjitha pesë episodet e trajnimit, në vend të vetëm trajektores 0, pika e kontrollit përfundimtare e depozitës shënoi afërsisht 7.5 MSE dhe 1.5 MAE, kështu që edhe ekzekutimi i referencës lexohet ndryshe në varësi të episodeve që mesataroni. Regjistroni bazën tuaj në komandën demo të pamodifikuar përpara se të ndryshoni diçka në lidhje me të dhënat tuaja: nëse nuk mund të riprodhoni një ekzekutim të njohur si të mirë, nuk mund të dalloni një gabim konfigurimi nga një problem me të dhënat. Depozita gjithashtu harton simptomat e zakonshme me shkaqet, dhe secila prej tyre është operacionale dhe jo një gabim i modelit.

Rruga tjetër: lerobot-train në vend të Isaac-GR00T

Versioni aktual i LeRobot, 0.6.1 në PyPI që nga 3 gusht 2026, ofron një mënyrë të dytë dhe mjaft të ndryshme për të rregulluar të njëjtat pesha bazë. LeRobot ekspozon GR00T N1.7 si një lloj politike dhe e trajnon atë përmes pikës së hyrjes së vet lerobot-train. Dy gjëra kanë rëndësi këtu. CLI i LeRobot është një grup skriptesh konsolë, kështu që çdo gjë që lexoni që thotë python lerobot/scripts/train.py është e vjetëruar dhe nuk do të ekzekutohet. Dhe LeRobot hoqi plotësisht mbështetjen për GR00T N1.5, duke refuzuar pikat e kontrollit dhe konfigurimet e N1.5 me një shënim migrimi, kështu që nëse keni nevojë për N1.5 përmes LeRobot duhet të fiksoni lerobot==0.5.1, versioni i fundit që e mbështet atë, i publikuar më 7 prill 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Dy mënyra për të marrë të njëjtën pikë kontrolli

Kthimi i pikës së kontrollit në krah

Isaac-GR00T përdor një ndarje server-klient mbi ZMQ. Politika ekzekutohet në GPU, dhe një klient i hollë në makinën e robotit dërgon vëzhgime dhe merr pjesë veprimesh. Shembulli SO-100 është mjaft i plotë për t'u kopjuar: filloni run_gr00t_server.py me pikën tuaj të kontrollit dhe --embodiment-tag NEW_EMBODIMENT, pastaj ekzekutoni eval_so100.py në anën e robotit me portin serial, ID-në e robotit, indekset e kamerës dhe udhëzimin gjuhësor. Emrat e kamerave në atë komandë duhet të përputhen me emrat miqësorë nga modality.json juaj, jo me numrat e pajisjeve të OS-së.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Tani pjesa e sinqertë rreth vendit ku ekzekutohet politika, sepse trajnimi dhe shërbimi kanë histori të ndryshme harduerike. Fine-tuning kërkon 40 GB ose më shumë. Inferenca jo: README e vendos atë në 16 GB ose më shumë dhe emërton shprehimisht RTX 4090, kështu që një kartë që tashmë zotëroni mund të shërbejë një pikë kontrolli që nuk mund ta kishte prodhuar kurrë. Ajo që vendos nëse politika ndihet e përgjegjshme nuk është VRAM, është vendi ku ndodhet serveri. Në AY-Robots GR00T N1.7 është vetëm në cloud, kështu që cikli i kontrollit paguan një udhëtim vajtje-ardhje në internet publik mbi 152 ms për hap veprimi, dhe vetëm SmolVLA dhe ACT ekzekutohen gjithashtu lokalisht. Për marrje dhe vendosje të ngadaltë, një pod i largët është i mbijetueshëm. Për çdo gjë reaktive nuk është: politika bëhet hezituese në një mënyrë që duket saktësisht si një dështim trajnimi dhe nuk është i tillë. ACT me 20 ms për hap veprimi është modeli që toleron ciklin më të ngushtë, SmolVLA qëndron në 245 ms, dhe asnjë sasi e akordim i latencës nuk e kthen një udhëtim vajtje-ardhje që tashmë është shpenzuar. Ekzekutoni politikën tuaj të parë shpjegon anën e shërbimit nga fillimi në fund.

Çfarë shkon vërtet keq

• GatedRepoError në ekzekutimin e parë. Nuk ju është dhënë qasje në nvidia/Cosmos-Reason2-2B, ose nuk jeni autentifikuar. Kjo ndodh pasi ora e GPU-së ka filluar tashmë.
• Seti i të dhënave i refuzuar gjatë ngarkimit. Pothuajse gjithmonë një set të dhënash v3.0. Konvertojeni atë. Shih seti i të dhënave i refuzuar si v3.
• IndexError rreth dimensioneve boolean të papërputhura. Keni ndryshuar delta_indices dhe nuk keni rigjeneruar statistikat.
• Mungesë memorie në batch 32. Zvogëloni --global-batch-size dhe rrisni --gradient-accumulation-steps, ose zvogëloni --num-shards-per-epoch, të cilën konfigurimi e sugjeron shprehimisht kur VRAM është e kufizuar. Shih mungesë memorie gjatë trajnimit.
• Humbja bie, politika nuk bën asgjë. Nuk ka ndarje validimi si parazgjedhje, kështu që një kurbë trajnimi e pastër provon shumë pak. Kjo faqe mbulon diagnozën.
• Funksionon në konfigurimin tuaj dhe askund tjetër. E pritshme me një set të dhënash të vogël të filmuar në një kusht ndriçimi. NVIDIA rekomandon shtimin e dridhjes së ngjyrave plus 20 deri në 50 episode në ndriçime të ndryshme. Më shumë këtu.
• Kapësi nuk mbyllet kurrë siç duhet. Kontrolloni që veprimi i kapësit të jetë ABSOLUTE dhe nyjet e krahut RELATIVE, në atë rend në action_configs. Kapësi nuk mbyllet liston shkaqet e tjera.
• Një kamera ndalon së funksionuari në mes të regjistrimit. Episodi ende ruhet dhe çelësi i videos ende ekziston, prandaj kjo është e keqe. Kamera nuk detektohet e mbulon këtë.

Indeksi i plotë i mënyrave të dështimit gjendet në . Nëse jeni duke zgjedhur midis modeleve në vend që të rregulloni një, dhe kanë numra referencë me burime të bashkangjitura, dhe është krahasimi që shumica e njerëzve kanë nevojë, sepse është zgjedhja midis një modeli që mund ta trajnoni në kartën nën tavolinën tuaj dhe një modeli për të cilin duhet të merrni me qira një nyje 80 GB për ta rregulluar. Për sfondin se pse këto modele sillen në mënyrën si sillen, dhe vlejnë të lexohen së pari. Dhe nëse nuk keni ende një krah, transmeton një SO-100 fizik pa regjistrim.