GR00T N1.7 Kendi SO-100 Veri Kümenizde Nasıl Eğitilir

NVIDIA, muhtemelen sahip olduğunuz kol için tam olarak bir ince ayar örneği sunar. İçinde Isaac-GR00T deposu adında bir klasör bulunur: demo_data/cube_to_bowl_5: beş bölüm, 30 fps'de 4.148 kare, LeRobot v2.1 olarak yazılmış ve altında eşleşen bir modalite yapılandırmasıyla birlikte examples/SO100/. Onun meta/info.json şunu bildirir: robot_type: so101_follower, LeRobot'ta so100_follower ile aynı yapılandırma sınıfıdır. Bu gerçekten faydalıdır, çünkü GR00T N1.7 için referans yolunun altı-serbestlik dereceli hobi kolunda, modeli yazan kişiler tarafından sürdürüldüğü anlamına gelir. Bu, küçültülmüş bir insansı demo değil, aynı koldur.

Kötü haber şu ki, 60 bölüm kaydettim ile kol görevi yapıyor arasındaki mesafe oldukça fazladır. Bu işlem hattının yüksek sesle değil, sessizce başarısız olduğu yaklaşık altı yer vardır ve bunların dördü çoğu kişinin asla açmadığı dosyalarda bulunur: meta/modality.json, Python veri yapılandırması, meta/relative_stats.json ve veri kümesinin kendi sürüm dizesi. Bu kılavuz, gerçek komutlarla manuel yolu baştan sona anlatır, ardından aynı işi AY-Robots üzerinde bir form olarak gösterir. Aşağıdaki her şey, 20 Ağustos 2026 itibarıyla Isaac-GR00T ana dalına (n1.7-release hattı) ve 3 Ağustos 2026'da PyPI'da yayınlanan lerobot 0.6.1'e göre kontrol edilmiştir. Üst akış hızlı hareket eder ve bir bayrak yeniden adlandırıldığında bu makale bunu belirtir.

GR00T N1.7 aslında nedir

GR00T N1.7, orijinal GR00T N1 makalesinde açıklanan çift sistemli düzene sahip bir görsel-dil-eylem modeli: kameraları ve talimatı okuyan bir görsel-dil modülü ve bunu sürekli motor komutları yığınına dönüştüren bir difüzyon transformatörüdür. N1.7 ilk yarıyı değiştirdi. N1.6'daki Eagle omurgası kaldırıldı ve yerine nvidia/Cosmos-Reason2-2B Qwen3-VL mimarisi üzerine kuruldu ve model, robot verilerine ek olarak yaklaşık 20.000 saatlik egosantrik insan videosu üzerinde önceden eğitildi. NVIDIA'nın kendi yazısında bu rakam 20.854 saat olarak belirtiliyor ve 1k'dan 20k saate çıkmanın ortalama görev tamamlama süresini iki kattan fazla artırdığı rapor ediliyor.

İkinci yarı da, çalışmanız için önemli olan şekillerde değişti. Eylem başlığı 32 difüzyon katmanından 16'ya düştü, tahmin edilen eylem öbeği 16 adımdan 40'a çıktı ve maksimum durum ve eylem genişliği 29'dan 132'ye yükseldi. Bu üç sayı, depo README'sindeki değişiklik günlüğünden alınmıştır; NVIDIA'nın kendi lansman gönderisi hala Sistem 1'i 32 katmanlı bir DiT olarak tanımlamaktadır, bu nedenle ikisi arasında bir anlaşmazlık olduğunda, klonlamak üzere olduğunuz depoya güvenin. Eylemler varsayılan olarak göreceli bir uç efektör uzayında, mutlak hedefler yerine mevcut pozdan deltalar olarak ifade edilir, bu da insan videosundan öğrenilen manipülasyon ön bilgilerinin robot kontrolüne aktarılmasını sağlar. Başlığın kendisi bir akış eşleştirme difüzyon transformatörüdür, Pi0.5 ile aynı aileden ancak önünde farklı bir omurga ile. Hala önceki nesildeyseniz, N1.7'nin N1.5'e karşı yükseltmenin boru hattınızı yeniden yapmaya değip değmeyeceğini kapsar.

Son üç satır, insanların bildirdiği hayal kırıklığının çoğunu açıklıyor. Manşet 27.9 ms, tek bir kamera ve dört gürültü giderme adımıyla H100 üzerinde çalışan bir TensorRT motorudur. Aynı karttaki düz PyTorch 85.8 ms'dir ve model kartı farkı 3.08 kat olarak belirtir. Bu sayılardan hiçbiri bir sunum katmanı, ikinci bir kamera veya bir ağ atlaması içermez. AY-Robots'un sunduğu GR00T N1.7 için belirttiği eylem adımı başına 152 ms, döngüde sunumun da dahil olduğu rakamdır ve bunun üzerine bir de genel internet gidiş-dönüş süresi eklenir. Bununla ilgili daha fazla bilgi sonda. Diğer modellerin yanındaki sayılar için, GR00T N1.7'nin Pi0.5'e karşı ve GR00T N1.7'nin SmolVLA'ya karşı karşılaştırmaları onları yan yana sergiler.

Herhangi bir şey yazmadan önce çalıştırmanın ihtiyaç duydukları

Adım 0: Bölümlerin kendisi

Aşağıdaki her şey, kaydedilmiş bölümleriniz olduğunu varsayar. Eğer yoksa, asıl ilk adım budur ve sonucun ne kadar iyi olabileceğini belirleyen de budur, çünkü taklit öğrenme veride olmayan bilgiyi kurtaramaz. Önce her iki kolu da kalibre edin, ardından takipçiyi bir lider kol ile sürün, bu sırada lerobot-record parquet dosyalarını ve kamera akışlarını yazar. Eğer kalibrasyon kapalıysa, veri setinizdeki eklem değerleri, daha sonra politikayı uygulayacak robottan biraz farklı bir robotu tanımlar ve hiçbir eğitim miktarı bunu düzeltemez.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRobot'un kendi tavsiyesi, her nesne konumu için yaklaşık 10 olmak üzere en az 50 bölüm kaydetmek, kameraları sabit tutmak ve kavrama davranışını tutarlı tutmaktır. Varyasyonu daha sonra ekleyin, başlangıçta değil. Unutulması gereken genel kural: Eğer görevi sadece kamera görüntülerinden kendiniz yapamıyorsanız, politika da yapamaz. Kola özel kurulum için, SO-100 başlangıç ve SO-100 LeRobot sayfası portları, kalibrasyonu ve kamera indekslerini kapsar. AY-Robots üzerinde bunu internet üzerinden tarayıcı kullanarak teleoperasyon ile yapabilir ve doğrudan oturumdan kaydedebilirsiniz.

Adım 1: veri kümesi LeRobot v2.1 olmalıdır

Bu, en yaygın engeldir. LeRobot'un mevcut CODEBASE_VERSION ana dalındaki v3.0, bu nedenle bugün güncel bir araç zinciriyle kaydettiğiniz her şey v3.0 olarak çıkar. GR00T'un yükleyicisi v2 bekler. Depo nedenini açıkça belirtir: DROID, LIBERO ve Bridge gibi birçok yukarı akış veri kümesi v2'de yayınlanmıştır ve her ikisi için de yerel destek planlanmış ancak henüz gönderilmemiştir. Bu nedenle dönüştürme size aittir ve somut bir nedenle kendi sanal ortamında çalışır: scripts/lerobot_conversion Python 3.10 veya 3.11 isteyen ve lerobot'u tek bir git commit'ine sabitleyen kendi pyproject'ini taşırken, Isaac-GR00T'un kendisi Python 3.12 gerektirir. Dönüştürücüyü depo kökünden yüklerseniz, bunun yerine gr00t paketini alırsınız ki bu, README'sinin uyardığı hatadır. Biçime yeniyseniz, LeRobot veri kümesi sözlük girişi, içinde ne olduğunu açıklar.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

GR00T'un dönüşümden sonra istediği yapı klasik v2 düzenidir: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, data/chunk-000/ altında parquet dosyaları, videos/chunk-000/observation.images./ altında MP4 dosyaları ve standart LeRobot'un sahip olmadığı fazladan bir dosya. Kalan hataların çoğu bu fazladan dosyada bulunur.

Adım 2: modality.json, her şeyi belirleyen altı sayı

Bir LeRobot veri kümesinde, robot durumu ve eylem düz float32 dizileri olarak saklanır. Bir SO-100 için her ikisi de şu şekle sahiptir: [6]: beş kol eklemi ve bir tutucu. Demo veri kümesi bunları şöyle adlandırır: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, ancak bu isimler şurada bulunur: info.json ve parquet dosyasında hangi indeksin ne olduğu belirtilmez. meta/modality.json bu eşlemeyi sağlar ve GR00T bu olmadan eğitim yapmaz. İşte deponun SO-100 için sağladığı, kelimesi kelimesine olanı.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

Dönüştürülmüş veri setinize kopyalayın: meta/modality.json ve video anahtarlarını kameralarınızın gerçek adlarına göre yeniden adlandırın. Eğer tek bir tepe kamerasıyla kayıt yaptıysanız, adı top, o zaman original_key şudur: observation.images.top ve kolay ad, veri yapılandırmanızın referans alacağı addır. İkisi birbiriyle uyumlu olmalı ve hiçbiri diğerini sizin için kontrol etmez. Dil açıklaması daha da kötü, çünkü aynı anahtarın üç yerde görünmesi gerekiyor.

Adım 3: veri yapılandırması, göreceli kol ve mutlak tutucu

Modalite yapılandırması, her eylem grubunun nasıl temsil edildiğine de karar verdiği için JSON yerine bir Python dosyasıdır. Bu, N1.7 iş akışının N1.5'te aynı biçimde bulunmayan ve iki kez okunmaya değer kısmıdır. Gönderilen SO-100 yapılandırması, beş kol eklemini RELATIVE mevcut durumdan göreli deltalar ve tutucuyu ABSOLUTE mutlak hedef konum olarak tahmin eder, çünkü ikili açık-kapalı sinyali bir delta yerine hedef olarak daha iyi davranır.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

Buradaki iki ayrıntıyı bilmezseniz size bir güne mal olur. Birincisi, action_configs konumsaldır: belgeler, modality_keys ile aynı uzunlukta ve aynı sırada olmasını gerektirir ve yanlış yapmanın sonucu hakkında açıkça belirtirler ki bu, yanlış temsilin sessizce uygulanmasıdır. Tutucunuz bir delta olarak, kolunuz ise mutlak bir hedef olarak eğitilir ve hiçbir hata mesajı olmaz. İkincisi, register_modality_config etiketin zaten kayıtlı olmadığını doğrular, bu nedenle aynı Python sürecindeki ikinci bir NEW_EMBODIMENT yapılandırması Embodiment tag ... already registered hatasıyla sonlanır. Bunlardan ikisini tek bir betiğe aktaramazsınız. Üçüncü bir kural daha sonra, dağıtım sırasında uygulanır: eylem delta_indices sıfırdan başlayan bitişik bir aralık olmalıdır. [0, 4, 8] gibi seyrek bir pencere reddedilir, çünkü aşağı akışta her şey tahmin edilen bloğu doğrusal olarak indeksler ve aksi takdirde yanlış satırları yürütür.

Adım 4: ortam

N1.7 depoyu şuraya taşıdı: ve Python 3.12'ye. Eski conda artı pip install -e . yolu hala README'nin daraltılmış bir bölümünde mevcut, ancak flash-attn ve TensorRT dahil GPU bağımlılıklarının manuel kurulum gerektirebileceği konusunda uyarıyor. Özel bir nedeniniz yoksa uv kullanın. flash-attn cephesinde, bir ayrıntı karışıklığı önler: her Installing flash-attn çıktısını göreceksiniz. uv run. Yeniden derlenmiyor. uv, zaten önbelleğe alınmış bir URL'ye sabitlenmiş bir tekerleği yeniden doğruluyor ve bu iki veya üç saniye sürüyor.

1. 1
   git-lfs'yi kurun, ardından alt modüllerle klonlayın

   git-lfs zorunludur, isteğe bağlı değildir. Onsuz demo_data/ içindeki parquet dosyaları işaretçi taslakları olarak iner ve demo çalıştırması, dosya listesinde mevcut görünen bir veri kümesinde başarısız olur.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   uv'yi kurun ve ortamı senkronize edin

   Varsayılan kurulum, flash-attn ve TensorRT dahil GPU bağımlılıklarını çeker. Yeni bir A100 veya H100 görüntüsünde bu, en uzun tek adımdır, bu yüzden başka hiçbir şeye dikkat etmeye başlamadan önce bunu yapın.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Hugging Face'e karşı kimlik doğrulayın

   Bunu ilk eğitim başlatmasından önce yapın, sekiz dakika sonra başarısız olduktan sonra değil.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   Gönderilen SO-100 demo verileri üzerinde sağlamlık kontrolü

   Kendi kaydınıza dokunmadan önce, demo_data/cube_to_bowl_5 üzerinde 2000 adım çalıştırın. Bu beş bölümdür, hızlı biter ve verilerinizden ziyade ortamı kanıtlar. Bu çalıştırma başarısız olursa, veri kümenize yapacağınız hiçbir şey yardımcı olacaktır.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

Adım 5: ince ayar komutu ve bayraklarının gerçek varsayılan değerleri

Demo veri setini kendinizinkiyle değiştirin ve istediğiniz ayarları ekleyin. Aşağıda, depoda kendi yeni-gövdeleme eğitiminde kullanılan, kısa README örneğinin atladığı artırma ve kontrol noktası bayraklarını içeren tam biçim bulunmaktadır. Bu, dar anlamda: dil omurgası ve görsel kodlayıcı donmuş kalır ve eğitilen şey projektör ve difüzyon eylem başlığıdır.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

Bu son satır bir yazım hatası değildir. launch_finetune.py bir veri sınıfından oluşturulmuş bir tyro CLI'dır ve bu veri sınıfının bir seed alanı yoktur. README, deterministik olmayan görüntü artırmanın neden olduğu çalıştırmalar arasında %5 ila %6'lık bir varyans olduğunu ayrıca belirtir. Aynı bayraklara sahip iki çalıştırma, aynı kontrol noktalarını üretmeyecektir; bu, bir hiperparametre değişikliğinin yardımcı olup olmadığını veya şanslı olup olmadığınızı belirlemeye çalışırken çok önemlidir. Karşılaştırma için, lerobot'un kendi eğiticisi varsayılan olarak seed 1000 kullanır ve LeRobot GR00T tarifi --seed=42 açıkça geçirir.

20000 adımlık bir çalıştırmanın maliyeti nedir

GR00T N1.7, 80 GB'lık bir karta ihtiyaç duyar, bu nedenle maliyet sorusunun dar bir cevabı vardır. AY-Robots'ta groot1.7 eğiticisi, A100 80 GB veya H100 80 GB katmanında çalışır; burada bir çalıştırma, spot piyasada saatte 1.20 ila 2.00 USD karşılığında 3 ila 6 saat sürer. Bu, varsayılan 20000 adımlık iş için yaklaşık 4 ila 12 USD'dir. Aynı görev SmolVLA veya ACT saatte 0.30 ila 0.60 USD ve çalıştırma başına 1 ila 3 USD karşılığında 24 GB'lık bir kartta çalışır. Gerçek takas budur: GR00T deneme başına yaklaşık dört kat daha pahalıdır ve onu masanızın altındaki 4090'da çalıştıramazsınız.

50-bölüm minimumu bir tabandır, bir hedef değil. NVIDIA'nın kendi SSS'i daha talepkardır: basit, sabit konumlu bir alma ve yerleştirme için yaklaşık 100 yörünge, karmaşık veya çok adımlı sahneler için 500 veya daha fazla ve hassas manipülasyon için 100 ila 500. Eğer 20 bölümde takılı kaldıysanız, akşam ayarlama yapmak yerine öğleden sonrayı kayıt yaparak geçirin. veri toplama rehberi faydalı bir bölümü boşa harcanmış bir bölümden neyin ayırdığını kapsar, ilk veri setinizi kaydedin kısa versiyonudur ve SO-100 veri toplama kola özel olandır.

Adım 6: Kola dokunmadan önce açık döngü değerlendirmesi

Eğitimin işe yarayıp yaramadığını öğrenmek için fiziksel bir kola yeni bir kontrol noktası yüklemeyin. Önce açık döngü değerlendirmesini çalıştırın. Kaydedilmiş bir bölümü tekrar oynatır, modelden her adımda eylemler ister ve tahmini gerçek değere karşı MSE ve MAE ile çizer. Hiçbir maliyeti yoktur ve 2. ve 3. adımlardaki eşleme hatalarını yakalar.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

Depo, özel veriler için hedef bir MSE yayınlamayı kasıtlı olarak reddeder ve bu doğru bir karardır: çünkü bu sayı eylem birimlerinize, görevinize ve veri kümenizin boyutuna bağlıdır, bu nedenle başkasının kolundan kopyalanan bir eşik hiçbir anlam ifade etmez. Anlamlı olan eğilimdir. İşte deponun tek bir H100 üzerinde, beş bölümlük demo veri kümesi ve 2000 adımla belgelediği referans çalıştırma.

Şekil sinyaldir, mutlak değerler değil. Hata, eğitim adımları biriktikçe istikrarlı bir şekilde düşmelidir. Yalnızca yörünge 0 yerine beş eğitim bölümünün tamamı üzerinden ortalama alındığında, deponun son kontrol noktası yaklaşık 7.5 MSE ve 1.5 MAE puanı aldı, bu nedenle referans çalıştırması bile hangi bölümleri ortaladığınıza bağlı olarak farklı okunur. Kendi verilerinizde herhangi bir değişiklik yapmadan önce değiştirilmemiş demo komutunda kendi temel hattınızı kaydedin: bilinen iyi bir çalıştırmayı yeniden üretemiyorsanız, bir kurulum hatasını bir veri sorunundan ayırt edemezsiniz. Depo ayrıca yaygın semptomları nedenlerle eşleştirir ve bunların her biri bir model hatası yerine operasyoneldir.

Diğer yol: Isaac-GR00T yerine lerobot-train

LeRobot'un 3 Ağustos 2026'dan beri PyPI'da bulunan mevcut sürümü 0.6.1, aynı temel ağırlıkları ince ayar yapmak için ikinci ve oldukça farklı bir yol sunar. LeRobot, GR00T N1.7'yi bir politika türü olarak sunar ve kendi lerobot-train giriş noktası aracılığıyla eğitir. Burada iki şey önemlidir. LeRobot CLI bir konsol betikleri kümesidir, bu nedenle python lerobot/scripts/train.py diyen herhangi bir şey güncel değildir ve çalışmayacaktır. Ve LeRobot, GR00T N1.5 desteğini tamamen kaldırdı, N1.5 kontrol noktalarını ve yapılandırmalarını bir geçiş notuyla reddetti, bu nedenle LeRobot aracılığıyla N1.5'e ihtiyacınız varsa, onu destekleyen son sürüm olan ve 7 Nisan 2026'da yayınlanan lerobot==0.5.1 sürümünü sabitlemeniz gerekir.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

Aynı kontrol noktasını elde etmenin iki yolu

Kontrol Noktasını Kola Geri Yükleme

Isaac-GR00T, ZMQ üzerinden bir sunucu-istemci ayrımı kullanır. Politika GPU üzerinde çalışır ve robot makinesindeki ince bir istemci gözlemleri gönderir ve eylem parçalarını alır. SO-100 örneği kopyalamak için yeterince eksiksizdir: run_gr00t_server.py dosyasını kontrol noktanız ve --embodiment-tag NEW_EMBODIMENT ile başlatın, ardından robot tarafında seri port, robot kimliği, kamera indeksleri ve dil talimatı ile eval_so100.py dosyasını çalıştırın. Bu komuttaki kamera adları, işletim sistemi cihaz numaralarıyla değil, modality.json dosyanızdaki kullanıcı dostu adlarla eşleşmelidir.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

Politikanın nerede çalıştığına dair dürüst kısım şimdi geliyor, çünkü eğitim ve sunum farklı donanım hikayelerine sahip. İnce ayar 40 GB veya daha fazlasını ister. Çıkarım istemez: README bunu 16 GB veya daha fazla olarak belirtir ve RTX 4090'ı açıkça adlandırır, bu nedenle zaten sahip olduğunuz bir kart, asla üretemeyeceği bir kontrol noktasını sunabilir. Politikanın duyarlı hissedip hissetmediğini belirleyen VRAM değil, sunucunun nerede bulunduğudur. AY-Robots GR00T N1.7 yalnızca bulut tabanlıdır, bu nedenle kontrol döngüsü, eylem adımı başına 152 ms'nin üzerine bir genel internet gidiş-dönüş süresi öder ve yalnızca SmolVLA ve ACT yerel olarak da çalışır. Yavaş alma ve yerleştirme için uzak bir pod idare edilebilir. Ancak reaktif herhangi bir şey için bu mümkün değildir: politika, tam olarak bir eğitim hatası gibi görünen ancak öyle olmayan bir şekilde tereddütlü hale gelir. Eylem adımı başına 20 ms ile ACT, en sıkı döngüyü tolere eden modeldir, SmolVLA 245 ms'de yer alır ve hiçbir miktarda gecikme ayarı zaten harcanmış bir gidiş-dönüş süresini geri kazandıramaz. İlk politikanızı çalıştırın sunum tarafını baştan sona anlatır.

Gerçekte ne yanlış gidiyor

• İlk çalıştırmada GatedRepoError. nvidia/Cosmos-Reason2-2B'ye erişim izniniz verilmemiş veya kimlik doğrulaması yapmamışsınız. Bu, GPU saati zaten başladıktan sonra gerçekleşir.
• Yüklemede veri kümesi reddedildi. Neredeyse her zaman bir v3.0 veri kümesidir. Daha düşük bir sürüme dönüştürün. Bkz. v3 olarak reddedilen veri kümesi.
• Uyuşmayan boolean boyutları hakkında IndexError. delta_indices'i değiştirdiniz ve istatistikleri yeniden oluşturmadınız.
• 32. toplu işlemde bellek yetersizliği. --global-batch-size değerini azaltın ve --gradient-accumulation-steps değerini artırın veya VRAM sınırlı olduğunda yapılandırmanın açıkça önerdiği --num-shards-per-epoch değerini azaltın. Bkz. eğitim sırasında bellek yetersizliği.
• Kayıp düşüyor, politika hiçbir şey yapmıyor. Varsayılan olarak bir doğrulama ayrımı yoktur, bu nedenle temiz bir eğitim eğrisi çok az şey kanıtlar. Bu sayfa teşhisi kapsar.
• Sizin kurulumunuzda çalışıyor ve başka hiçbir yerde çalışmıyor. Tek bir aydınlatma koşulunda çekilmiş küçük bir veri kümesiyle beklenen bir durumdur. NVIDIA, renk titremesi artırma ve farklı aydınlatmalarda 20 ila 50 bölüm önermektedir. Daha fazlası burada.
• Tutucu asla düzgün kapanmıyor. action_configs'te tutucu eyleminin ABSOLUTE ve kol eklemlerinin RELATIVE olduğundan emin olun, bu sırayla. Tutucu kapanmıyor diğer nedenleri listeler.
• Bir kamera kayıt sırasında sessizce düşüyor. Bölüm hala kaydediliyor ve video anahtarı hala mevcut, bu yüzden bu durum can sıkıcı. Kamera algılanmadı bunu kapsar.

Tüm hata modları dizini şurada bulunur: . Bir modeli hata ayıklamak yerine modeller arasında seçim yapıyorsanız, ve ekli kaynaklarla karşılaştırma sayılarına sahiptir ve çoğu insanın gerçekten ihtiyaç duyduğu karşılaştırmadır, çünkü masanızın altındaki kartta eğitebileceğiniz bir model ile ince ayar yapmak için 80 GB'lık bir düğüm kiralamanız gereken bir model arasındaki seçimdir. Bu modellerin neden bu şekilde davrandığına dair arka plan için, ve önce okunmaya değerdir. Ve henüz bir kola sahip değilseniz, kayıtsız fiziksel bir SO-100 yayınlar.