Kuidas treenida GR00T N1.7 oma SO-100 andmestikul

NVIDIA tarnib peenhäälestuse näite täpselt sellele robotkäele, mis teil tõenäoliselt on. Sees Isaac-GR00T repositooriumis on kaust nimega demo_data/cube_to_bowl_5: viis episoodi, 4148 kaadrit 30 kaadrit sekundis, juba kirjutatud LeRobot v2.1 formaadis, sobiva modaalsuse konfiguratsiooniga asukohas examples/SO100/. Selle meta/info.json teatab robot_type: so101_follower, mis LeRobotis on sama konfiguratsiooniklass nagu so100_follower. See on tõeliselt kasulik, sest see tähendab, et viitetee GR00T N1.7 jaoks kuue-vabadusastmega hobirobotkäel on hooldatud mudeli loojate poolt. See ei ole vähendatud humanoidi demo, see on sama robotkäsi.

Halb uudis on vahemaa I recorded 60 episodes ja the arm does the task. Selles töövoos on umbes kuus kohta, kus see vaikselt, mitte valjuhäälselt ebaõnnestub, ja neli neist asuvad failides, mida enamik inimesi kunagi ei ava: meta/modality.json, Pythoni andmekonfiguratsioon, meta/relative_stats.json, ja andmestiku enda versioonistring. See juhend läbib käsitsi tee algusest lõpuni reaalsete käskudega, seejärel näitab sama tööd vormina AY-Robots. Kõik allolev kontrolliti Isaac-GR00T põhiharu vastu seisuga 20. august 2026 (n1.7-release haru) ja lerobot 0.6.1 vastu, mis avaldati PyPI-s 3. augustil 2026. Ülesvoolu areng on kiire, ja kui mõni lipp nimetati ümber, on see artiklis märgitud.

Mis GR00T N1.7 tegelikult on

GR00T N1.7 on nägemis-keele-tegevuse mudel kahesüsteemse paigutusega, mida on kirjeldatud algses GR00T N1 artiklis: nägemis-keele moodul, mis loeb kaameraid ja juhiseid, ning difusioonitransformer, mis muudab selle pidevateks mootorikäskude plokiks. N1.7 asendas esimese poole. N1.6 Eagle'i selgroog on kadunud, asendatud nvidia/Cosmos-Reason2-2B Qwen3-VL arhitektuuril, ja mudel oli eelkoolitatud ligikaudu 20 000 tunni egotsentrilise inimvideo peal lisaks robotandmetele. NVIDIA enda kirjutis märgib arvuks 20 854 tundi ja teatab, et 1k-lt 20k tunnile minnes kahekordistub keskmine ülesannete täitmine enam kui kaks korda.

Ka teine pool muutus viisil, mis on teie käitamise jaoks oluline. Tegevuspea langes 32 difusioonikihilt 16-le, ennustatud tegevusplokk kasvas 16 sammult 40-le ning maksimaalne oleku ja tegevuse laius kasvas 29-lt 132-le. Need kolm numbrit pärinevad hoidla README muudatuste logist; NVIDIA enda käivituspostitus kirjeldab endiselt Süsteem 1 kui 32-kihilist DiT-d, seega kui need kaks on vastuolus, usaldage hoidlat, mida te kloonima hakkate. Tegevused on vaikimisi väljendatud suhtelises lõppefektori ruumis, deltasid praegusest poosist, mitte absoluutseid sihtmärke, mis võimaldab inimvideost õpitud manipulatsiooniprioriteedid robotjuhtimisse üle kanda. Pea ise on voolu sobitamise difusioonitransformer, sama perekond nagu Pi0.5, kuid erineva selgrooga selle ees. Kui olete endiselt eelmise põlvkonna peal, siis N1.7 versus N1.5 käsitleb, kas uuendus õigustab teie torujuhtme ümbertegemist.

Need kolm viimast rida selgitavad enamiku pettumustest, millest inimesed teatavad. Pealkirjas olev 27.9 ms on TensorRT mootor H100-l ühe kaamera ja nelja müra eemaldamise sammuga. Tavaline PyTorch samal kaardil on 85.8 ms ja mudelikaart märgib vaheks 3.08x. Kumbki number ei sisalda teeninduskihti, teist kaamerat ega võrguhüpet. AY-Robotsi poolt oma teenindatava GR00T N1.7 jaoks pakutud 152 ms tegevussammu kohta on see näitaja koos teenindusega ahelas, ja sellele lisandub avaliku interneti edasi-tagasi reis. Sellest lähemalt lõpus. Teiste mudelite numbrite kohta, GR00T N1.7 versus Pi0.5 ja GR00T N1.7 versus SmolVLA esitavad need kõrvuti.

Mida jooks vajab enne, kui midagi trükid

Samm 0: episoodid ise

Kõik alljärgnev eeldab, et olete juba episoode salvestanud. Kui te seda teinud ei ole, on see tegelik esimene samm ja see on see, mis otsustab, kui hea tulemus saab olla, sest imitatsioonõpe ei suuda taastada teavet, mida andmetes ei ole. Kalibreerige esmalt mõlemad käed, seejärel juhtige järgijat juhtkäega samal ajal kui lerobot-record kirjutab parquet-failid ja kaamera vooged. Kui kalibreerimine on vale, kirjeldavad teie andmestiku liigendväärtused veidi teistsugust robotit kui see, mis hiljem poliitikat täidab, ja ükski treening ei paranda seda.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRoboti enda soovitus on salvestada vähemalt 50 episoodi, umbes 10 objekti asukoha kohta, hoida kaamerad fikseerituna ja hoida haaramiskäitumine järjepidevana. Lisage variatsioone hiljem, mitte alguses. Meelespidamist väärt rusikareegel: kui te ei suutnud ülesannet ise ainult kaamerakujutiste põhjal täita, siis poliitika ei suuda seda samuti. Käe-spetsiifilise seadistuse jaoks SO-100 alustamine ja SO-100 LeRoboti leht käsitlevad porte, kalibreerimist ja kaamera indekseid. AY-Robotsil saate seda teha ka interneti kaudu brauserist, kasutades teleoperatsiooni ja salvestada otse sessioonist.

1. samm: andmestik peab olema LeRobot v2.1

See on kõige levinum takistus. LeRoboti praegune CODEBASE_VERSION peaharus on v3.0, nii et kõik, mida täna praeguse tööriistaketiga salvestate, väljub versioonina v3.0. GR00T-i laadur eeldab v2. Repositoorium selgitab selgelt, miks: paljud ülesvoolu andmestikud, nagu DROID, LIBERO ja Bridge, on avaldatud v2-s ning mõlema natiivne tugi on planeeritud, kuid pole veel välja antud. Seega on teisendamine teie ülesanne ja see töötab omaette virtuaalkeskkonnas konkreetsel põhjusel: scripts/lerobot_conversion sisaldab oma pyproject-faili, mis nõuab Python 3.10 või 3.11 ja seob lerobot'i ühe git-kommitiga, samas kui Isaac-GR00T ise nõuab Python 3.12. Installige teisendaja repositooriumi juurkaustast ja saate gr00t paketi asemel, mis on viga, mille eest selle README hoiatab. Kui olete formaadiga uus, selgitab LeRoboti andmestik sõnastiku kirje, mis tegelikult selle sees on.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

Struktuur, mida GR00T pärast teisendust soovib, on klassikaline v2 paigutus: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, parkettfailid kaustas data/chunk-000/, MP4-failid kaustas videos/chunk-000/observation.images./, ja üks lisafail, mida standardne LeRobot ei oma. See lisafail on koht, kus elab enamik ülejäänud tõrkeid.

2. samm: modality.json, kuus numbrit, mis otsustavad kõik

LeRoboti andmestikus salvestatakse roboti olek ja tegevus lamedate float32 massiividena. SO-100 puhul on mõlema kuju [6]: viis käeliigest ja haarats. Demoandmestik nimetab neid shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, kuid need nimed asuvad failis info.json ja parkettfailis pole öeldud, milline indeks on milline. meta/modality.json pakub seda vastendust ja GR00T ilma selleta ei treeni. Siin on see, mida hoidla SO-100 jaoks pakub, sõna-sõnalt.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Kopeerige see oma teisendatud andmestikku asukohas meta/modality.json ja nimetage videovõtmed ümber vastavalt sellele, kuidas teie kaamerad tegelikult nimetatud on. Kui salvestasite ühe laekaameraga nimega top, siis original_key on observation.images.top ja sõbralik nimi on see, millele teie andmekonfiguratsioon viitab. Need kaks peavad kokku langema ja kumbki neist ei kontrolli teist teie eest. Keele annotatsioon on hullem, sest sama võti peab esinema kolmes kohas.

Samm 3: andmekonfiguratsioon, suhteline käsi ja absoluutne haarats

Modaalsuse konfiguratsioon on Pythoni fail, mitte JSON, sest see otsustab ka, kuidas iga tegevusgrupp on esindatud. See on N1.7 töövoo osa, mida N1.5-s samal kujul ei eksisteerinud, ja osa, mida tasub kaks korda lugeda. Kaasasolev SO-100 konfiguratsioon ennustab viit käe liigest kui RELATIVE deltasid praegusest olekust ja haaratsit kui ABSOLUTE sihtpositsiooni, sest binaarne avatud-või-suletud signaal käitub paremini sihtmärgina kui deltana.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Kaks detaili siin maksavad teile päeva, kui te neid ei tea. Esiteks, action_configs on positsiooniline: dokumendid nõuavad sama pikkust ja sama järjekorda nagu modality_keys, ja nad on otsekohesed selle kohta, mis juhtub, kui see valesti läheb: vale esitusviis rakendatakse vaikselt. Teie haarats treenitakse deltana ja teie käsi absoluutse sihtmärgina, ja veateadet ei ole. Teiseks, register_modality_config kinnitab, et silt ei ole veel registreeritud, nii et teine NEW_EMBODIMENT konfiguratsioon samas Pythoni protsessis sureb veaga Embodiment tag ... already registered. Te ei saa kahte neist ühte skripti importida. Kolmas reegel jõustatakse hiljem, juurutamisel: tegevuse delta_indices peab olema pidev vahemik, mis algab nullist. Hõre aken nagu [0, 4, 8] lükatakse tagasi, sest kõik allavoolu olevad süsteemid indekseerivad ennustatud tükki lineaarselt ja muidu täidaksid valed read.

Samm 4: keskkond

N1.7 viis hoidla üle aadressile ja Python 3.12-le. Vana conda pluss pip install -e . tee on endiselt olemas README kokkuvolditud osas, kuid see hoiatab, et GPU sõltuvused, sealhulgas flash-attn ja TensorRT, võivad vajada käsitsi installimist. Kasutage uv-d, välja arvatud juhul, kui teil on konkreetne põhjus seda mitte teha. Flash-attn osas säästab üks detail segadust: näete Installing flash-attn prinditakse iga uv run. See ei ehita uuesti. uv valideerib uuesti URL-iga kinnitatud paketi, mis on juba vahemällu salvestatud, ja see võtab kaks või kolm sekundit.

1. 1
   Installige git-lfs, seejärel kloonige alamoodulitega

   git-lfs on kohustuslik, mitte valikuline. Ilma selleta laaditakse demo_data/ kaustas olevad parquet-failid alla viitena ja demo käivitamine ebaõnnestub andmestiku puhul, mis faililoendis näib olevat olemas.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   Installige uv ja sünkroonige keskkond

   Vaikimisi install tõmbab kaasa GPU sõltuvused, sealhulgas flash-attn ja TensorRT. Värskel A100 või H100 kujutisel on see pikim üksik samm, seega tehke see enne, kui hakkate millelegi muule tähelepanu pöörama.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Autentimine Hugging Face'i vastu

   Tehke seda enne esimest treeningu käivitamist, mitte pärast seda, kui see kaheksa minuti pärast ebaõnnestub.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Tervisekontroll kaasasolevate SO-100 demoandmete peal

   Enne oma salvestuse puudutamist käivitage 2000 sammu demo_data/cube_to_bowl_5 peal. See on viis episoodi, see lõpeb kiiresti ja see tõestab keskkonda, mitte teie andmeid. Kui see käivitus ebaõnnestub, ei aita miski, mida te oma andmestikuga teete.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

5. samm: peenhäälestuse käsk ja selle lippude tegelikud vaikeväärtused

Asenda demoandmestik enda omaga ja lisa tegelikult soovitud seaded. Allpool on täielik vorm, mida hoidla kasutab oma uue kehastuse õpetuses, sealhulgas laienduse ja kontrollpunktide lipud, mis lühikesest README näitest välja jäävad. See on kitsamas mõttes: keeleline selgroog ja visuaalne kodeerija jäävad külmutatuks ning treenitakse projektorit ja difusiooni tegevuspead.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

See viimane rida ei ole trükiviga. launch_finetune.py on tyro CLI, mis on genereeritud andmeklassist, ja sellel andmeklassil puudub seemnevälja (seed field). README märgib eraldi 5–6-protsendilist varieeruvust käivituste vahel, mis on põhjustatud mitte-deterministlikust pilditöötlusest. Kaks identsete lippudega käivitust ei anna identseid kontrollpunkte, mis on väga oluline, kui proovite otsustada, kas hüperparameetri muutus aitas või teil lihtsalt vedas. Võrdluseks, leroboti enda treeneri vaikesäte on seeme 1000, ja LeRobot GR00T retsept edastab --seed=42 selgesõnaliselt.

Mida maksab 20000-sammuline käivitus

GR00T N1.7 vajab 80 GB kaarti, seega on kuluküsimusel kitsas vastus. AY-Robots platvormil töötab groot1.7 treener A100 80 GB või H100 80 GB tasemel, kus käivitus võtab 3 kuni 6 tundi hinnaga 1.20 kuni 2.00 USD tunnis spot-turul. See on ligikaudu 4 kuni 12 USD vaikimisi 20000-sammulise töö eest. Sama ülesanne SmolVLA või ACT puhul maandub 24 GB kaardil hinnaga 0.30 kuni 0.60 USD tunnis ja 1 kuni 3 USD käivituse kohta. See ongi tegelik kompromiss: GR00T maksab umbes neli korda rohkem katse kohta ja te ei saa seda käivitada oma laua all oleval 4090-l.

50-episoodi miinimum on alampiir, mitte siht. NVIDIA enda KKK on nõudlikum: umbes 100 trajektoori lihtsa fikseeritud asukohaga haaramise ja paigutamise jaoks, 500 või enam keerukate või mitmeastmeliste stseenide jaoks, ja 100 kuni 500 peene manipulatsiooni jaoks. Kui teil on 20 episoodi, veetke pärastlõuna salvestades, mitte õhtul häälestades. andmete kogumise juhend käsitleb, mis eristab kasulikku episoodi raisatud episoodist, salvesta oma esimene andmestik on lühiversioon ja SO-100 andmete kogumine on käe-spetsiifiline.

Samm 6: avatud ahelaga hindamine enne, kui kätt puudutate

Ärge pange värsket kontrollpunkti füüsilisele käele, et teada saada, kas treening õnnestus. Käivitage esmalt avatud ahela hindamine. See esitab uuesti salvestatud episoodi, küsib mudelilt igal sammul tegevusi ja joonistab ennustuse võrdluseks tegeliku olukorraga, kasutades MSE-d ja MAE-d. See ei maksa midagi ja püüab kinni sammude 2 ja 3 kaardistamisvead.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Hoidla keeldub tahtlikult avaldamast kohandatud andmete siht-MSE-d ja see on õige otsus: number sõltub teie tegevusühikutest, ülesandest ja andmestiku suurusest, seega kellegi teise käest kopeeritud lävi ei tähenda midagi. Oluline on trend. Siin on viiterun, mille hoidla dokumenteerib ühel H100-l viie episoodi demoandmestiku ja 2000 sammuga.

Kuju on signaal, mitte absoluutväärtused. Viga peaks pidevalt langema, kui treeningusammud kogunevad. Keskmistatuna kõigi viie treeningepisoodi, mitte ainult trajektoori 0 põhjal, saavutas hoidla lõplik kontrollpunkt ligikaudu 7.5 MSE ja 1.5 MAE, seega isegi võrdlusjooks annab erinevaid tulemusi sõltuvalt sellest, milliseid episoode keskmistate. Salvestage oma baasjoon muutmata demo käsu abil enne, kui muudate midagi oma andmetes: kui te ei suuda korrata teadaolevalt head jooksu, ei saa te eristada seadistusviga andmeprobleemist. Hoidla kaardistab ka levinud sümptomid põhjustega ja igaüks neist on operatiivne, mitte mudeli viga.

Teine tee: lerobot-train Isaac-GR00T asemel

Praegune LeRoboti versioon, 0.6.1 PyPI-s alates 3. augustist 2026, pakub teist ja üsna erinevat viisi samade baaskaalude peenhäälestamiseks. LeRobot eksponeerib GR00T N1.7 poliitikatüübina ja treenib seda oma lerobot-train sisenemispunkti kaudu. Siin on olulised kaks asja. LeRoboti CLI on konsooliskriptide komplekt, seega kõik, mida loete ja mis ütleb python lerobot/scripts/train.py on aegunud ega tööta. Ja LeRobot eemaldas GR00T N1.5 toe täielikult, lükates N1.5 kontrollpunktid ja konfiguratsioonid tagasi migratsioonimärkusega, nii et kui vajate N1.5 LeRoboti kaudu, peate määrama lerobot==0.5.1, viimase versiooni, mis seda toetab, avaldatud 7. aprillil 2026.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Kaks viisi sama kontrollpunkti saamiseks

Kontrollpunkti tagasi robotkäele saamine

Isaac-GR00T kasutab serveri-kliendi jaotust üle ZMQ. Poliitika töötab GPU-l ja õhuke klient robotmasinas saadab vaatlusi ning võtab vastu tegevusplokke. SO-100 näide on piisavalt täielik kopeerimiseks: käivita run_gr00t_server.py oma kontrollpunktiga ja --embodiment-tag NEW_EMBODIMENT, seejärel käivita eval_so100.py roboti poolel koos jadapordi, roboti ID, kaamera indeksite ja keelejuhisega. Selles käsus olevad kaameranimed peavad vastama teie modality.json faili sõbralikele nimedele, mitte operatsioonisüsteemi seadmenumbritele.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Nüüd aus osa sellest, kus poliitika töötab, sest treeningul ja teenindamisel on erinevad riistvaralood. Peenhäälestus vajab 40 GB või rohkem. Järeldus mitte: README märgib selle 16 GB või rohkem ja nimetab selgesõnaliselt RTX 4090, nii et kaart, mis teil juba on, saab teenindada kontrollpunkti, mida see poleks kunagi suutnud toota. See, mis otsustab, kas poliitika tundub reageeriv, ei ole VRAM, vaid see, kus server asub. AY-Robots GR00T N1.7 on ainult pilvepõhine, seega maksab juhtimissilmus avaliku interneti edasi-tagasi reisi lisaks 152 ms-le tegevussammu kohta, ja ainult SmolVLA ja ACT töötavad ka lokaalselt. Aeglaseks valimiseks ja paigutamiseks on kaugpod ellujääv. Reaktiivsete asjade puhul mitte: poliitika muutub kõhklevaks viisil, mis näeb välja täpselt nagu treeningu ebaõnnestumine, kuid seda ei ole. ACT 20 ms tegevussammu kohta on mudel, mis talub kõige tihedamat silmust, SmolVLA on 245 ms ja ükski latentsuse häälestamine ei osta tagasi juba kulutatud edasi-tagasi reisi. Käivita oma esimene poliitika juhendab teeninduspoole algusest lõpuni.

Mis tegelikult valesti läheb

• GatedRepoError esimesel käivitamisel. Teile pole antud juurdepääsu nvidia/Cosmos-Reason2-2B-le või te ei autentinud end. See juhtub pärast seda, kui GPU kell on juba käivitunud.
• Andmestik laadimisel tagasi lükatud. Peaaegu alati v3.0 andmestik. Teisendage see vanemaks versiooniks. Vaadake andmestik tagasi lükatud kui v3.
• IndexError sobimatute boolean-mõõtmete kohta. Te muutsite delta_indices'i ja ei genereerinud statistikat uuesti.
• Mälu otsas pakis 32. Vähendage --global-batch-size ja suurendage --gradient-accumulation-steps või vähendage --num-shards-per-epoch, mida konfiguratsioon VRAM-i piirangu korral selgesõnaliselt soovitab. Vaadake mälu otsas treeningu ajal.
• Kadu langeb, poliitika ei tee midagi. Vaikimisi puudub valideerimisjaotus, seega puhas treeningkurv tõestab väga vähe. See leht käsitleb diagnoosi.
• Töötab teie seadistuses ja mitte kusagil mujal. Ootuspärane väikese andmestikuga, mis on filmitud ühes valgustingimuses. NVIDIA soovitab värvivärina augmentatsiooni pluss 20 kuni 50 episoodi erinevates valgustingimustes. Rohkem siin.
• Haarats ei sulgu kunagi korralikult. Kontrollige, et haaratsi tegevus on ABSOLUUTNE ja käe liigendid RELATIIVSED, selles järjekorras action_configs'is. Haarats ei sulgu loetleb teised põhjused.
• Kaamera katkeb salvestamise ajal vaikselt. Episood salvestub endiselt ja videovõti on endiselt olemas, mistõttu see on ebameeldiv. Kaamerat ei tuvastatud käsitleb seda.

Kõigi vearežiimide register asub . Kui valite mudelite vahel, mitte ei silu ühte, siis ja sisaldavad võrdlusandmeid koos allikatega, ja on võrdlus, mida enamik inimesi tegelikult vajab, sest see on valik mudeli vahel, mida saate treenida oma laua all oleval kaardil, ja mudeli vahel, mille peenhäälestamiseks peate rentima 80 GB sõlme. Taustaks selle kohta, miks need mudelid nii käituvad, on ja väärivad esmalt lugemist. Ja kui teil veel kätt pole, siis edastab füüsilise SO-100 ilma registreerimiseta.