Kako trenirati GR00T N1.7 na lastnem naboru podatkov SO-100

NVIDIA ponuja primer fine-tuninga za točno tisto roko, ki jo verjetno imate. Znotraj repozitorij Isaac-GR00T obstaja mapa z imenom demo_data/cube_to_bowl_5: pet epizod, 4.148 sličic pri 30 fps, že zapisanih kot LeRobot v2.1, z ujemajočo se konfiguracijo modalnosti pod examples/SO100/. Njegov meta/info.json poroča robot_type: so101_follower, ki je v LeRobotu enak konfiguracijski razred kot so100_follower. To je resnično uporabno, saj pomeni, da referenčno pot za GR00T N1.7 na šest-stopinj svobode hobi roko vzdržujejo ljudje, ki so napisali model. To ni pomanjšana humanoidna demonstracija, ampak ista roka.

Slaba novica je razdalja med I recorded 60 episodes in the arm does the task. Obstaja približno šest mest, kjer ta cevovod tiho odpove, namesto glasno, in štiri od njih so v datotekah, ki jih večina ljudi nikoli ne odpre: meta/modality.json, konfiguracija podatkov Python, meta/relative_stats.json, in lastna različica niza podatkov. Ta vodnik prikazuje ročno pot od začetka do konca z resničnimi ukazi, nato pa isto nalogo kot obrazec na AY-Robots. Vse spodaj je bilo preverjeno glede na glavno vejo Isaac-GR00T z dne 20. avgusta 2026 (linija izdaje n1.7) in lerobot 0.6.1, objavljen na PyPI 3. avgusta 2026. Upstream se hitro premika, in kjer je bila zastavica preimenovana, ta članek to navaja.

Kaj GR00T N1.7 dejansko je

GR00T N1.7 je vizualno-jezikovni-akcijski model z dvosistemsko zasnovo, opisano v izvirnem članku GR00T N1: vizualno-jezikovni modul, ki bere kamere in navodila, ter difuzijski transformator, ki to pretvori v blok neprekinjenih motornih ukazov. N1.7 je nadomestil prvo polovico. Hrbtenica Eagle iz N1.6 je izginila, zamenjana je bila za nvidia/Cosmos-Reason2-2B na arhitekturi Qwen3-VL, model pa je bil predhodno usposobljen na približno 20.000 urah egocentričnega človeškega videa poleg robotskih podatkov. NVIDIA-in lastni zapis navaja številko 20.854 ur in poroča, da prehod iz 1k na 20k ur več kot podvoji povprečno dokončanje naloge.

Druga polovica se je prav tako spremenila, na načine, ki so pomembni za vaše izvajanje. Glava akcije se je zmanjšala z 32 difuzijskih plasti na 16, predvideni akcijski blok se je povečal s 16 korakov na 40, največja širina stanja in akcije pa se je povečala z 29 na 132. Te tri številke izhajajo iz dnevnika sprememb v README repozitorija; NVIDIA-ina lastna objava ob zagonu še vedno opisuje Sistem 1 kot 32-plastni DiT, zato, kjer se podatki razlikujejo, zaupajte repozitoriju, ki ga boste klonirali. Akcije so privzeto izražene v relativnem končnem efektorju prostoru, kot delte od trenutne poze namesto absolutnih tarč, kar omogoča prenos manipulacijskih predznanj, naučenih iz človeškega videa, v robotsko krmiljenje. Sama glava je ujemanje toka difuzijski transformator, iz iste družine kot Pi0.5, vendar z drugačno hrbtenico pred njim. Če ste še vedno na prejšnji generaciji, N1.7 proti N1.5 obravnava, ali nadgradnja upravičuje prenovo vaše cevovodne arhitekture.

Te zadnje tri vrstice pojasnjujejo večino razočaranja, o katerem poročajo ljudje. Naslovnih 27.9 ms je motor TensorRT na H100 z eno kamero in štirimi koraki razšumljavanja. Čisti PyTorch na isti kartici je 85.8 ms, kartica modela pa navaja razliko pri 3.08x. Nobena številka ne vključuje strežnega sloja, druge kamere ali omrežnega skoka. 152 ms na akcijski korak, ki ga AY-Robots navaja za svoj streženi GR00T N1.7, je številka s strežbo v zanki, in javni internetni povratni poti se prištejejo k temu. Več o tem na koncu. Za številke poleg drugih modelov, GR00T N1.7 proti Pi0.5 in GR00T N1.7 proti SmolVLA jih postavlja drug ob drugega.

Kaj potrebuje zagon, preden karkoli vtipkate

Korak 0: same epizode

Vse spodaj predpostavlja, da že imate posnete epizode. Če jih nimate, je to pravi prvi korak in je tisti, ki odloča, kako dober bo rezultat, saj učenje z imitacijo ne more pridobiti informacij, ki niso v podatkih. Najprej kalibrirajte obe roki, nato poganjajte sledilca z vodilno roko medtem ko lerobot-record zapisuje parquet datoteke in video tokove kamer. Če kalibracija ni pravilna, vrednosti sklepov v vašem naboru podatkov opisujejo nekoliko drugačnega robota od tistega, ki bo kasneje izvajal politiko, in nobeno usposabljanje tega ne popravi.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRobotov lastni nasvet je, da posnamete vsaj 50 epizod, približno 10 za vsako lokacijo predmeta, kamere naj bodo fiksne, in prijemalno vedenje naj bo dosledno. Variacije dodajte kasneje, ne na začetku. Splošno pravilo, ki si ga je vredno zapomniti: če naloge ne bi mogli opraviti sami samo s slikami kamer, je ne more niti politika. Za nastavitev, specifično za roko, začetek dela z SO-100 in stran LeRobot za SO-100 pokrivata vrata, kalibracijo in indekse kamer. Na AY-Robots lahko to storite tudi preko interneta iz brskalnika z uporabo teleoperacije in snemate neposredno iz seje.

Korak 1: nabor podatkov mora biti LeRobot v2.1

To je najpogostejša ovira. Trenutna CODEBASE_VERSION na glavni veji je v3.0, zato se vse, kar danes posnamete s trenutnim naborom orodij, prikaže kot v3.0. GR00T-ov nalagalnik pričakuje v2. Repozitorij jasno pojasnjuje, zakaj: številni nadrejeni nabori podatkov, kot so DROID, LIBERO in Bridge, so objavljeni v v2, in izvorna podpora za oba je načrtovana, vendar še ni na voljo. Pretvorba je torej na vas in se izvaja v lastnem virtualnem okolju iz konkretnega razloga: scripts/lerobot_conversion vsebuje lasten pyproject, ki zahteva Python 3.10 ali 3.11 in pripne lerobot na en git commit, medtem ko Isaac-GR00T sam zahteva Python 3.12. Namestite pretvornik iz korena repozitorija in namesto tega dobite paket gr00t namesto tega, kar je napaka, na katero opozarja njegov README. Če ste novi v formatu, nabor podatkov LeRobot v glosarju pojasnjuje, kaj je dejansko v njem.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Struktura, ki jo GR00T želi po pretvorbi, je klasična postavitev v2: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, datoteke parquet pod data/chunk-000/, datoteke MP4 pod videos/chunk-000/observation.images./, in ena dodatna datoteka, ki je standardni LeRobot nima. Ta dodatna datoteka je tista, kjer se nahaja večina preostalih napak.

Korak 2: modality.json, šest številk, ki odločajo o vsem

V naboru podatkov LeRobot sta stanje robota in dejanje shranjena kot ploski nizi float32. Za SO-100 imata oba obliko [6]: pet sklepov roke in prijemalo. Demonstracijski nabor podatkov jih imenuje shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, vendar ta imena živijo v info.json in nič v datoteki parquet ne pove, kateri indeks je kateri. meta/modality.json zagotavlja to preslikavo, in GR00T se brez nje ne bo učil. Tukaj je tista, ki jo repozitorij dobavlja za SO-100, dobesedno.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Kopirajte ga v svoj pretvorjeni nabor podatkov na meta/modality.json in preimenujte video ključe v imena, ki jih dejansko uporabljajo vaše kamere. Če ste snemali z eno samo nadglavno kamero z imenom top, potem je original_key observation.images.top in prijazno ime je tisto, na kar se bo sklicevala vaša konfiguracija podatkov. Oboje se mora ujemati in nobeno od njiju ne preverja drugega namesto vas. Jezikovna anotacija je slabša, ker se mora isti ključ pojaviti na treh mestih.

Korak 3: konfiguracija podatkov, relativna roka in absolutni prijemalnik

Konfiguracija modalnosti je datoteka Python in ne JSON, ker določa tudi, kako je predstavljena vsaka skupina dejanj. To je del delovnega toka N1.7, ki v enaki obliki ni obstajal v N1.5, in del, ki ga je vredno prebrati dvakrat. Priložena konfiguracija SO-100 napoveduje pet sklepov roke kot RELATIVE delte od trenutnega stanja in prijemalo kot ABSOLUTE ciljno pozicijo, ker se binarni signal odprto-ali-zaprto obnaša bolje kot cilj kot pa kot delta.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Dve podrobnosti vas bosta stali dan, če ju ne poznate. Prvič, action_configs je pozicijski: dokumentacija zahteva enako dolžino in enak vrstni red kot modality_keys, in jasno opozarja na posledice napačnega vnosa, kar pomeni, da se napačna predstavitev uporabi tiho. Vaše prijemalo se trenira kot delta in vaša roka kot absolutni cilj, in ni sporočila o napaki. Drugič, register_modality_config potrjuje, da oznaka še ni registrirana, zato druga konfiguracija NEW_EMBODIMENT v istem procesu Python umre z Embodiment tag ... already registered. V en sam skript ne morete uvoziti dveh takšnih konfiguracij. Tretje pravilo se uveljavlja kasneje, pri uvajanju: akcija delta_indices mora biti neprekinjen razpon, ki se začne pri nič. Redko okno, kot je [0, 4, 8], je zavrnjeno, ker vse nadaljnje komponente linearno indeksirajo napovedani del in bi sicer izvedle napačne vrstice.

Korak 4: okolje

N1.7 je repozitorij premaknil na in Python 3.12. Stara pot conda plus pip install -e . pot še vedno obstaja v strnjenem delu datoteke README, vendar opozarja, da bodo odvisnosti GPU, vključno s flash-attn in TensorRT, morda potrebovale ročno namestitev. Uporabite uv, razen če imate poseben razlog, da ga ne. Kar zadeva flash-attn, ena podrobnost preprečuje zmedo: videli boste Installing flash-attn natisnjeno ob vsakem uv run. Ne gradi se ponovno. uv ponovno preverja URL-pripet wheel, ki je že predpomnjen, in to traja dve ali tri sekunde.

1. 1
   Namestite git-lfs, nato klonirajte s podmoduli

   git-lfs je obvezen, ne izbiren. Brez njega se datoteke parquet v demo_data/ prenesejo kot kazalčni nastavki, in demo zagon ne uspe na naboru podatkov, ki je videti prisoten v seznamu datotek.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Namestite uv in sinhronizirajte okolje

   Privzeta namestitev potegne odvisnosti GPU, vključno s flash-attn in TensorRT. Na sveži sliki A100 ali H100 je to najdaljši posamezni korak, zato to storite, preden se posvetite čemur koli drugemu.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Avtentikacija proti Hugging Face

   To storite pred prvim zagonom usposabljanja, ne potem, ko ne uspe po osmih minutah.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Preverjanje delovanja na priloženih demo podatkih SO-100

   Preden se dotaknete lastnega posnetka, zaženite 2000 korakov na demo_data/cube_to_bowl_5. To je pet epizod, konča se hitro in dokazuje okolje namesto vaših podatkov. Če ta zagon ne uspe, vam nič, kar storite z vašim naborom podatkov, ne bo pomagalo.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Korak 5: ukaz za fino uglasitev in dejanske privzete vrednosti njegovih zastavic

Zamenjajte predstavitveni nabor podatkov s svojim in dodajte nastavitve, ki jih dejansko želite. Spodaj je celotna oblika, ki jo repozitorij uporablja v svoji vadnici za novo utelešenje, vključno z zastavicami za razširitev in shranjevanje kontrolnih točk, ki jih kratek primer v README izpušča. To je v ožjem smislu: jezikovna hrbtenica in vizualni kodirnik ostajata zamrznjena, trenirata pa se projektor in difuzijska glava za dejanja.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Zadnja vrstica ni tipkarska napaka. launch_finetune.py je CLI orodje tyro, generirano iz podatkovnega razreda, in ta podatkovni razred nima polja za seme (seed). Datoteka README ločeno navaja 5 do 6 odstotkov variance med izvajanjem, ki jo povzroča nedeterministična augmentacija slik. Dva zagona z enakimi zastavicami ne bosta ustvarila enakih kontrolnih točk, kar je zelo pomembno, ko poskušate ugotoviti, ali je sprememba hiperparametra pomagala ali ste imeli srečo. Za primerjavo, lerobot-ov lastni trener privzeto uporablja seme 1000, in recept LeRobot GR00T eksplicitno posreduje --seed=42 eksplicitno.

Koliko stane zagon z 20000 koraki

GR00T N1.7 potrebuje 80 GB kartico, zato je vprašanje stroškov omejeno. Na AY-Robots se trener groot1.7 izvaja na nivoju A100 80 GB ali H100 80 GB, kjer zagon traja 3 do 6 ur po ceni 1.20 do 2.00 USD na uro na promptnem trgu. To je približno 4 do 12 USD za privzeto nalogo z 20000 koraki. Ista naloga na SmolVLA ali ACT se izvaja na 24 GB kartici po ceni 0.30 do 0.60 USD na uro in 1 do 3 USD na zagon. To je prava kompromisna odločitev: GR00T stane približno štirikrat več na poskus, in ne morete ga zagnati na kartici 4090 pod svojo mizo.

Minimalno število epizod 50-epizod je spodnja meja, ne cilj. NVIDIA-ina lastna pogosta vprašanja so zahtevnejša: približno 100 trajektorij za preprosto pobiranje in odlaganje na fiksni lokaciji, 500 ali več za kompleksne ali večstopenjske scene ter 100 do 500 za fino manipulacijo. Če imate 20 epizod, raje preživite popoldne s snemanjem kot večer z uglaševanjem. vodnik za zbiranje podatkov zajema, kaj loči uporabno epizodo od zapravljene, posnemite svoj prvi nabor podatkov je kratka različica, in SO-100 zbiranje podatkov je tista, specifična za roko.

Korak 6: evalvacija odprte zanke, preden se dotaknete roke

Ne postavljajte svežega kontrolne točke na fizično roko, da bi ugotovili, ali je usposabljanje delovalo. Najprej zaženite odprtozančno evalvacijo. Ponovi posneto epizodo, model vpraša za dejanja na vsakem koraku in izriše napoved v primerjavi z resničnimi podatki z MSE in MAE. Ne stane nič in ujame napake pri preslikavi iz korakov 2 in 3.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Repozitorij namerno zavrača objavo ciljnega MSE za podatke po meri, in to je pravilna odločitev: številka je odvisna od vaših akcijskih enot, vaše naloge in velikosti vašega nabora podatkov, zato prag, kopiran z roke nekoga drugega, ne pomeni nič. Pomemben je trend. Tukaj je referenčni zagon, ki ga repozitorij dokumentira na enem H100 s petepizodnim demo naborom podatkov in 2000 koraki.

Oblika je signal, ne absolutne vrednosti. Napaka bi morala enakomerno padati, ko se koraki usposabljanja kopičijo. Povprečeno čez vseh pet epizod usposabljanja namesto samo trajektorije 0, je končna kontrolna točka repozitorija dosegla približno 7.5 MSE in 1.5 MAE, tako da se celo referenčni zagon bere drugače, odvisno od tega, katere epizode povprečite. Zabeležite svojo izhodiščno vrednost z nespremenjenim demo ukazom, preden spremenite karkoli v svojih podatkih: če ne morete reproducirati znanega dobrega zagona, ne morete ločiti napake v nastavitvi od težave s podatki. Repozitorij prav tako preslikuje pogoste simptome v vzroke, in vsak od njih je operativen in ne napaka modela.

Druga pot: lerobot-train namesto Isaac-GR00T

Trenutna izdaja LeRobot, 0.6.1 na PyPI od 3. avgusta 2026, ponuja drugi in precej drugačen način za fino nastavitev istih osnovnih uteži. LeRobot izpostavlja GR00T N1.7 kot tip politike in ga usposablja preko lastne vstopne točke lerobot-train. Tukaj sta pomembni dve stvari. LeRobot CLI je nabor konzolnih skript, zato je vse, kar preberete, da pravi python lerobot/scripts/train.py, zastarelo in se ne bo izvedlo. In LeRobot je v celoti odstranil podporo za GR00T N1.5, zavračajoč kontrolne točke in konfiguracije N1.5 z opombo o migraciji, tako da če potrebujete N1.5 preko LeRobot, morate pripeti lerobot==0.5.1, zadnjo izdajo, ki jo podpira, objavljeno 7. aprila 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Dva načina za pridobitev iste kontrolne točke

Prenos kontrolne točke nazaj na roko

Isaac-GR00T uporablja delitev strežnik-odjemalec preko ZMQ. Politika se izvaja na GPU-ju, tanek odjemalec na robotskem stroju pa pošilja opazovanja in prejema dele dejanj. Primer SO-100 je dovolj popoln za kopiranje: zaženite run_gr00t_server.py z vašo kontrolno točko in --embodiment-tag NEW_EMBODIMENT, nato zaženite eval_so100.py na robotski strani s serijskim priključkom, ID-jem robota, indeksi kamere in jezikovnim navodilom. Imena kamer v tem ukazu se morajo ujemati s prijaznimi imeni iz vašega modality.json, ne pa s številkami naprav OS.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Sedaj pa iskreni del o tem, kje se politika izvaja, saj imata usposabljanje in strežba različne zgodbe o strojni opremi. Fino nastavljanje zahteva 40 GB ali več. Inferenca ne: README navaja 16 GB ali več in izrecno omenja RTX 4090, tako da lahko kartica, ki jo že imate, streže kontrolno točko, ki je nikoli ne bi mogla ustvariti. Kar odloča, ali se politika zdi odzivna, ni VRAM, temveč kje se nahaja strežnik. Na AY-Robots je GR00T N1.7 samo v oblaku, zato kontrolna zanka plača povratno potovanje prek javnega interneta poleg 152 ms na korak dejanja, in samo SmolVLA in ACT se izvajata tudi lokalno. Za počasno pobiranje in odlaganje je oddaljeni pod preživetven. Za karkoli reaktivnega pa ne: politika postane neodločna na način, ki je videti natanko kot napaka pri usposabljanju, pa ni. ACT pri 20 ms na korak dejanja je model, ki tolerira najtesnejšo zanko, SmolVLA je pri 245 ms, in nobena količina nastavitev zakasnitve ne povrne povratnega potovanja, ki je že bilo porabljeno. Zaženite svojo prvo politiko podrobno opisuje strežniško stran.

Kaj gre dejansko narobe

• GatedRepoError ob prvem zagonu. Nimate dostopa do nvidia/Cosmos-Reason2-2B ali se niste avtenticirali. To se zgodi, ko se je ura GPU-ja že zagnala.
• Zbirka podatkov zavrnjena ob nalaganju. Skoraj vedno gre za zbirko podatkov v3.0. Pretvorite jo v nižjo različico. Glejte zbirka podatkov zavrnjena kot v3.
• IndexError glede neujemajočih se booleovih dimenzij. Spremenili ste delta_indices in niste ponovno generirali statistik.
• Zmanjka pomnilnika pri paketu 32. Zmanjšajte --global-batch-size in povečajte --gradient-accumulation-steps, ali zmanjšajte --num-shards-per-epoch, kar konfiguracija izrecno predlaga, ko je VRAM omejen. Glejte zmanjka pomnilnika med usposabljanjem.
• Izguba pada, politika ne dela nič. Privzeto ni validacijske razdelitve, zato čista krivulja usposabljanja dokazuje zelo malo. Ta stran pokriva diagnozo.
• Deluje v vaši nastavitvi in nikjer drugje. Pričakuje se pri majhni zbirki podatkov, posneti pod eno svetlobno pogoji. NVIDIA priporoča razširitev z barvnim nihanjem (colour jitter augmentation) plus 20 do 50 epizod pod različnimi svetlobnimi pogoji. Več tukaj.
• Prijemalo se nikoli ne zapre pravilno. Preverite, ali je akcija prijemala ABSOLUTNA in sklepi roke RELATIVNI, v tem vrstnem redu v action_configs. Prijemalo se ne zapre navaja druge vzroke.
• Kamera se tiho izklopi med snemanjem. Epizoda se še vedno shrani in video ključ še vedno obstaja, zato je to še posebej neprijetno. Kamera ni zaznana to pokriva.

Celoten indeks načinov odpovedi se nahaja na . Če izbirate med modeli namesto da bi odpravljali napake pri enem, in imata priložene referenčne številke z viri, in je primerjava, ki jo večina ljudi dejansko potrebuje, saj gre za izbiro med modelom, ki ga lahko trenirate na kartici pod svojo mizo, in tistim, za katerega morate najeti 80 GB vozlišče za fino uglaševanje. Za ozadje, zakaj se ti modeli obnašajo tako, kot se, sta in vredna branja. In če še nimate roke, pretaka fizični SO-100 brez prijave.