چگونه GR00T N1.7 را روی مجموعه داده SO-100 خودتان آموزش دهیم

NVIDIA یک مثال تنظیم دقیق (fine-tuning) را دقیقاً برای بازویی که احتمالاً شما دارید، ارائه می‌دهد. داخل مخزن Isaac-GR00T پوشه‌ای به نام demo_data/cube_to_bowl_5: پنج اپیزود، ۴,۱۴۸ فریم با سرعت ۳۰ فریم بر ثانیه، که قبلاً به فرمت LeRobot v2.1 نوشته شده‌اند، با یک پیکربندی مدالیته (modality config) منطبق در زیر examples/SO100/ قرار دارد. فایل meta/info.json آن گزارش می‌دهد robot_type: so101_follower، که در LeRobot همان کلاس پیکربندی است که so100_follower. این واقعاً مفید است، زیرا به این معنی است که مسیر مرجع برای GR00T N1.7 روی یک بازوی سرگرمی شش-درجه آزادی توسط افرادی که مدل را نوشتند، نگهداری می‌شود. این یک دمو انسانی کوچک‌شده نیست، بلکه همان بازو است.

خبر بد این است که فاصله بین I recorded 60 episodes و the arm does the task. حدود شش نقطه وجود دارد که این پایپ‌لاین به جای اینکه با صدای بلند شکست بخورد، بی‌صدا از کار می‌افتد، و چهار مورد از آنها در فایل‌هایی قرار دارند که اکثر مردم هرگز باز نمی‌کنند: meta/modality.json، پیکربندی داده پایتون، meta/relative_stats.json، و رشته نسخه خود مجموعه داده. این راهنما مسیر دستی را از ابتدا تا انتها با دستورات واقعی طی می‌کند، سپس همین کار را به صورت یک فرم در AY-Robots نشان می‌دهد. تمام موارد زیر در تاریخ ۲۰ آگوست ۲۰۲۶ (خط انتشار n1.7) با شاخه اصلی Isaac-GR00T و lerobot 0.6.1 که در ۳ آگوست ۲۰۲۶ در PyPI منتشر شد، بررسی شده است. توسعه‌دهندگان به سرعت پیش می‌روند، و در صورتی که نام یک پرچم (flag) تغییر کرده باشد، این مقاله به آن اشاره می‌کند.

GR00T N1.7 واقعاً چیست

GR00T N1.7 یک مدل بینایی-زبان-عمل با طرح‌بندی دو سیستمی که در مقاله اصلی GR00T N1 توصیف شده است: یک ماژول بینایی-زبان که دوربین‌ها و دستورالعمل را می‌خواند، و یک ترانسفورمر انتشار که آن را به یک قطعه از دستورات حرکتی پیوسته تبدیل می‌کند. N1.7 نیمه اول را جایگزین کرد. ستون فقرات Eagle از N1.6 حذف شده و با nvidia/Cosmos-Reason2-2B بر روی معماری Qwen3-VL جایگزین شده است، و مدل بر روی تقریباً 20,000 ساعت ویدیوی انسانی از دید اول شخص، علاوه بر داده‌های ربات، از پیش آموزش داده شده است. گزارش خود NVIDIA این رقم را 20,854 ساعت اعلام می‌کند و گزارش می‌دهد که افزایش از 1k به 20k ساعت، میانگین تکمیل وظیفه را بیش از دو برابر می‌کند.

نیمه دوم نیز تغییر کرده است، به روش‌هایی که برای اجرای شما اهمیت دارد. سر عمل از 32 لایه انتشار به 16 لایه کاهش یافت، بسته عملیاتی از 16 گام به 40 گام افزایش یافت، و حداکثر عرض حالت و عمل از 29 به 132 رسید. این سه عدد از گزارش تغییرات در README مخزن آمده‌اند؛ پست راه‌اندازی خود NVIDIA همچنان سیستم 1 را به عنوان یک DiT 32 لایه توصیف می‌کند، بنابراین در جایی که این دو با هم اختلاف دارند، به مخزنی که قصد کلون کردن آن را دارید اعتماد کنید. اعمال به طور پیش‌فرض در یک فضای نسبی اند-افکتور بیان می‌شوند، یعنی دلتاها از وضعیت فعلی به جای اهداف مطلق، که همین امر باعث می‌شود اولویت‌های دستکاری آموخته شده از ویدیوی انسانی به کنترل ربات منتقل شوند. خود سر یک تطبیق جریان ترانسفورمر انتشار است، همان خانواده Pi0.5 اما با یک ستون فقرات متفاوت در جلوی آن. اگر هنوز از نسل قبلی استفاده می‌کنید، N1.7 در برابر N1.5 بررسی می‌کند که آیا ارتقاء، بازسازی پایپ‌لاین شما را توجیه می‌کند یا خیر.

آن سه ردیف آخر بیشتر ناامیدی‌هایی را که مردم گزارش می‌دهند توضیح می‌دهند. عنوان 27.9 میلی‌ثانیه مربوط به یک موتور TensorRT بر روی H100 با یک دوربین و چهار گام حذف نویز است. PyTorch ساده بر روی همان کارت 85.8 میلی‌ثانیه است، و کارت مدل این شکاف را 3.08 برابر نشان می‌دهد. هیچ یک از این اعداد شامل لایه سرویس‌دهی، دوربین دوم یا پرش شبکه نمی‌شود. 152 میلی‌ثانیه در هر گام عمل که AY-Robots برای GR00T N1.7 سرو شده خود اعلام می‌کند، رقمی است که با سرویس‌دهی در حلقه محاسبه شده است، و یک رفت و برگشت اینترنتی عمومی نیز بر روی آن قرار می‌گیرد. جزئیات بیشتر در این مورد در انتها آمده است. برای اعداد مربوط به مدل‌های دیگر، GR00T N1.7 در برابر Pi0.5 و GR00T N1.7 در برابر SmolVLA آن‌ها را در کنار هم قرار می‌دهند.

آنچه اجرا قبل از هرگونه تایپ نیاز دارد

گام ۰: خود اپیزودها

تمام موارد زیر فرض می‌کنند که شما قبلاً اپیزودهایی را ضبط کرده‌اید. اگر این کار را نکرده‌اید، این اولین گام واقعی است و گامی است که تعیین می‌کند نتیجه چقدر می‌تواند خوب باشد، زیرا یادگیری تقلیدی نمی‌تواند اطلاعاتی را که در داده‌ها نیستند بازیابی کند. ابتدا هر دو بازو را کالیبره کنید، سپس بازوی دنبال‌کننده را با یک بازوی رهبر در حالی که lerobot-record فایل‌های پارکت و جریان‌های دوربین را می‌نویسد. اگر کالیبراسیون نادرست باشد، مقادیر مفصلی در مجموعه داده شما رباتی کمی متفاوت از رباتی که بعداً سیاست را اجرا خواهد کرد، توصیف می‌کنند و هیچ مقدار آموزشی این مشکل را برطرف نمی‌کند.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

توصیه خود LeRobot این است که حداقل ۵۰ اپیزود با حدود ۱۰ اپیزود برای هر مکان شیء ضبط کنید، دوربین‌ها را ثابت نگه دارید و رفتار گرفتن را ثابت نگه دارید. تغییرات را بعداً اضافه کنید، نه در ابتدا. قانون کلی که ارزش به خاطر سپردن دارد: اگر خودتان نمی‌توانستید کار را تنها از تصاویر دوربین انجام دهید، سیاست نیز نمی‌تواند. برای تنظیمات خاص بازو، شروع کار با SO-100 و صفحه LeRobot برای SO-100 پورت‌ها، کالیبراسیون و شاخص‌های دوربین را پوشش می‌دهند. در AY-Robots می‌توانید این کار را از طریق اینترنت و از مرورگر با استفاده از تله‌اپریشن انجام دهید و مستقیماً از جلسه ضبط کنید.

گام ۱: مجموعه داده باید LeRobot v2.1 باشد

این رایج‌ترین مانع است. نسخه فعلی LeRobot CODEBASE_VERSION در شاخه اصلی v3.0 است، بنابراین هر چیزی که امروز با ابزار فعلی ضبط کنید، به صورت v3.0 خواهد بود. لودر GR00T انتظار v2 را دارد. مخزن به وضوح دلیل آن را بیان می‌کند: بسیاری از مجموعه‌داده‌های بالادستی مانند DROID، LIBERO و Bridge در v2 منتشر شده‌اند و پشتیبانی بومی از هر دو برنامه‌ریزی شده اما هنوز ارائه نشده است. بنابراین تبدیل بر عهده شماست و به یک دلیل مشخص در محیط مجازی خود اجرا می‌شود: scripts/lerobot_conversion دارای pyproject مخصوص به خود است که به Python 3.10 یا 3.11 نیاز دارد و lerobot را به یک کامیت گیت خاص محدود می‌کند، در حالی که Isaac-GR00T خود به Python 3.12 نیاز دارد. مبدل را از ریشه مخزن نصب کنید و در عوض بسته gr00t را دریافت می‌کنید که اشتباهی است که README آن در موردش هشدار می‌دهد. اگر با این فرمت ناآشنا هستید، مدخل واژه‌نامه مجموعه داده LeRobot توضیح می‌دهد که واقعاً چه چیزی در آن وجود دارد.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

ساختاری که GR00T پس از تبدیل می‌خواهد، طرح‌بندی کلاسیک v2 است: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, فایل‌های parquet در زیر data/chunk-000/, فایل‌های MP4 در زیر videos/chunk-000/observation.images./, و یک فایل اضافی که LeRobot استاندارد آن را ندارد. این فایل اضافی جایی است که بیشتر خطاهای باقی‌مانده در آن قرار دارند.

گام ۲: modality.json، شش عددی که همه چیز را تعیین می‌کنند

در یک مجموعه داده LeRobot، وضعیت ربات و عمل به صورت آرایه‌های float32 مسطح ذخیره می‌شوند. برای یک SO-100، هر دو دارای شکل [6] هستند: پنج مفصل بازو و یک گریپر. مجموعه داده نمایشی آن‌ها را shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos نام‌گذاری می‌کند، اما این نام‌ها در info.json قرار دارند و هیچ چیز در فایل parquet نمی‌گوید کدام شاخص مربوط به چیست. meta/modality.json این نگاشت را فراهم می‌کند، و GR00T بدون آن آموزش نخواهد دید. در اینجا نمونه‌ای که مخزن برای SO-100 ارائه می‌دهد، عیناً آورده شده است.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

آن را در مجموعه داده تبدیل شده خود در meta/modality.json کپی کنید و کلیدهای ویدئو را به هر نامی که دوربین‌های شما واقعاً دارند تغییر دهید. اگر با یک دوربین سقفی به نام top ضبط کرده‌اید، آنگاه original_key برابر است با observation.images.top و نام دوستانه هر چیزی است که پیکربندی داده شما به آن ارجاع می‌دهد. این دو باید با هم مطابقت داشته باشند و هیچ یک از آنها دیگری را برای شما بررسی نمی‌کند. حاشیه‌نویسی زبان بدتر است، زیرا همان کلید باید در سه مکان ظاهر شود.

گام 3: پیکربندی داده، بازوی نسبی و گریپر مطلق

پیکربندی مدالیته به جای JSON یک فایل پایتون است، زیرا نحوه نمایش هر گروه عملیاتی را نیز تعیین می‌کند. این بخشی از گردش کار N1.7 است که در N1.5 به همین شکل وجود نداشت و بخشی است که ارزش دو بار خواندن را دارد. پیکربندی SO-100 ارائه شده، پنج مفصل بازو را به صورت دلتاهای RELATIVE از حالت فعلی و گریپر را به عنوان یک موقعیت هدف ABSOLUTE پیش‌بینی می‌کند، زیرا یک سیگنال باینری باز یا بسته به عنوان هدف بهتر از دلتا عمل می‌کند.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

دو جزئیات در اینجا وجود دارد که اگر آنها را ندانید، یک روز از وقت شما را خواهد گرفت. اول، action_configs موقعیتی است: مستندات همان طول و همان ترتیب را برای modality_keys الزامی می‌کنند، و در مورد عواقب اشتباه گرفتن آن صریح هستند، که این است که نمایش اشتباه به صورت بی‌صدا اعمال می‌شود. گریپر شما به عنوان دلتا و بازوی شما به عنوان یک هدف مطلق آموزش می‌بیند و هیچ پیام خطایی وجود ندارد. دوم، register_modality_config تأیید می‌کند که تگ قبلاً ثبت نشده است، بنابراین یک پیکربندی NEW_EMBODIMENT دوم در همان فرآیند پایتون با خطای Embodiment tag ... already registered از کار می‌افتد. شما نمی‌توانید دو مورد از اینها را در یک اسکریپت وارد کنید. قانون سوم بعداً، در زمان استقرار، اعمال می‌شود: delta_indices عمل باید محدوده پیوسته ای باشد که از صفر شروع می‌شود. یک پنجره پراکنده مانند [0, 4, 8] رد می‌شود، زیرا هر چیزی در پایین‌دست، بخش پیش‌بینی شده را به صورت خطی ایندکس می‌کند و در غیر این صورت ردیف‌های اشتباه را اجرا می‌کند.

گام ۴: محیط

N1.7 مخزن را به و پایتون 3.12 منتقل کرد. مسیر قدیمی کاندای به همراه pip install -e . هنوز در بخش جمع‌شده README وجود دارد، اما هشدار می‌دهد که وابستگی‌های GPU از جمله flash-attn و TensorRT ممکن است نیاز به نصب دستی داشته باشند. از uv استفاده کنید مگر اینکه دلیل خاصی برای عدم استفاده از آن داشته باشید. در مورد flash-attn، یک جزئیات از سردرگمی جلوگیری می‌کند: شما خواهید دید Installing flash-attn در هر بار اجرای uv run چاپ می‌شود. این به معنای بازسازی نیست. uv در حال اعتبارسنجی مجدد یک wheel پین‌شده به URL است که قبلاً کش شده است و این کار دو یا سه ثانیه طول می‌کشد.

1. 1
   git-lfs را نصب کنید، سپس با زیرماژول‌ها کلون کنید

   git-lfs الزامی است، نه اختیاری. بدون آن، فایل‌های parquet در demo_data/ به صورت اشاره‌گرهای ناقص دانلود می‌شوند و اجرای دمو بر روی مجموعه‌داده‌ای که در لیست فایل‌ها موجود به نظر می‌رسد، با شکست مواجه می‌شود.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   uv را نصب و محیط را همگام‌سازی کنید

   نصب پیش‌فرض، وابستگی‌های GPU از جمله flash-attn و TensorRT را دانلود می‌کند. در یک ایمیج تازه A100 یا H100، این طولانی‌ترین مرحله است، بنابراین قبل از اینکه به چیز دیگری توجه کنید، آن را انجام دهید.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   احراز هویت در برابر Hugging Face

   این کار را قبل از اولین راه‌اندازی آموزش انجام دهید، نه بعد از اینکه هشت دقیقه بعد با شکست مواجه شد.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   بررسی سلامت بر روی داده‌های دمو SO-100 ارائه شده

   قبل از دست زدن به ضبط خودتان، ۲۰۰۰ گام را روی demo_data/cube_to_bowl_5 اجرا کنید. این شامل پنج اپیزود است، سریع تمام می‌شود و محیط را تأیید می‌کند نه داده‌های شما را. اگر این اجرا با شکست مواجه شود، هیچ کاری که با مجموعه‌داده خود انجام دهید کمکی نخواهد کرد.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

گام 5: دستور fine-tune و مقادیر پیش‌فرض واقعی پرچم‌های آن

مجموعه داده نمایشی را با مجموعه داده خودتان جایگزین کنید و تنظیمات مورد نظر خود را اضافه کنید. در ادامه، فرم کامل دستوری که مخزن در آموزش new-embodiment خود استفاده می‌کند، آورده شده است، شامل پرچم‌های افزایش داده (augmentation) و نقطه‌بازرسی (checkpointing) که در مثال کوتاه README حذف شده‌اند. این به معنای محدود است: ستون فقرات زبانی و رمزگذار بصری ثابت می‌مانند، و آنچه آموزش می‌بیند، پروژکتور و سر عمل انتشار (diffusion action head) است.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

آن ردیف آخر اشتباه تایپی نیست. launch_finetune.py یک CLI tyro است که از یک dataclass تولید شده است، و آن dataclass فیلد seed ندارد. فایل README به طور جداگانه به 5 تا 6 درصد واریانس بین اجراها اشاره می‌کند که ناشی از افزایش غیرقطعی تصویر است. دو اجرا با پرچم‌های یکسان، نقاط بازرسی یکسانی تولید نخواهند کرد، که هنگام تلاش برای تصمیم‌گیری در مورد اینکه آیا تغییر یک هایپرپارامتر کمک کرده است یا فقط شانس آورده‌اید، اهمیت زیادی دارد. برای مقایسه، trainer خود lerobot به طور پیش‌فرض از seed 1000 استفاده می‌کند، و دستورالعمل LeRobot GR00T به صراحت --seed=42 را ارسال می‌کند.

هزینه یک اجرای 20000 مرحله‌ای

GR00T N1.7 به یک کارت 80 گیگابایتی نیاز دارد، بنابراین سوال هزینه پاسخ محدودی دارد. در AY-Robots، trainer groot1.7 روی رده A100 80 GB یا H100 80 GB اجرا می‌شود، جایی که یک اجرا 3 تا 6 ساعت طول می‌کشد با هزینه 1.20 تا 2.00 USD در ساعت در بازار لحظه‌ای. این تقریباً 4 تا 12 USD برای کار پیش‌فرض 20000 مرحله‌ای است. همین کار روی SmolVLA یا ACT روی یک کارت 24 گیگابایتی با هزینه 0.30 تا 0.60 USD در ساعت و 1 تا 3 USD در هر اجرا انجام می‌شود. این همان بده‌بستان واقعی است: GR00T تقریباً چهار برابر بیشتر در هر تلاش هزینه دارد، و شما نمی‌توانید آن را روی 4090 زیر میز خود اجرا کنید.

حداقل ۵۰ اپیزود حداقل است، نه یک هدف. سوالات متداول خود NVIDIA سخت‌گیرانه‌تر است: تقریباً ۱۰۰ مسیر برای یک عملیات ساده برداشتن و قرار دادن در مکان ثابت، ۵۰۰ یا بیشتر برای صحنه‌های پیچیده یا چند مرحله‌ای، و ۱۰۰ تا ۵۰۰ برای دستکاری دقیق. اگر در ۲۰ اپیزود هستید، بعدازظهر را به ضبط اختصاص دهید تا اینکه شب را به تنظیم بپردازید. راهنمای جمع‌آوری داده توضیح می‌دهد که چه چیزی یک اپیزود مفید را از یک اپیزود هدر رفته جدا می‌کند، اولین مجموعه داده خود را ضبط کنید نسخه کوتاه است، و جمع‌آوری داده SO-100 نسخه مخصوص بازو است.

گام ۶: ارزیابی حلقه باز قبل از دست زدن به بازو

یک چک‌پوینت جدید را مستقیماً روی یک بازوی فیزیکی قرار ندهید تا بفهمید آیا آموزش موفق بوده است یا خیر. ابتدا ارزیابی حلقه باز را اجرا کنید. این ارزیابی یک اپیزود ضبط شده را بازپخش می‌کند، در هر مرحله از مدل برای اقدامات درخواست می‌کند و پیش‌بینی را در برابر حقیقت زمینی با MSE و MAE رسم می‌کند. این کار هیچ هزینه‌ای ندارد و خطاهای نگاشت از مراحل ۲ و ۳ را شناسایی می‌کند.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

مخزن عمداً از انتشار یک MSE هدف برای داده‌های سفارشی خودداری می‌کند، و این تصمیم درستی است: این عدد به واحدهای عملیاتی شما، وظیفه شما و اندازه مجموعه داده شما بستگی دارد، بنابراین یک آستانه کپی شده از بازوی شخص دیگری بی‌معنی است. آنچه معنی‌دار است، روند است. در اینجا اجرای مرجعی که مخزن روی یک H100 با مجموعه داده دمو پنج اپیزودی و ۲۰۰۰ گام مستند کرده است، آورده شده است.

شکل سیگنال است، نه مقادیر مطلق. خطا باید به طور پیوسته کاهش یابد، همانطور که گام‌های آموزشی انباشته می‌شوند. با میانگین‌گیری از هر پنج اپیزود آموزشی به جای فقط مسیر 0، نقطه بازرسی نهایی مخزن تقریباً 7.5 MSE و 1.5 MAE امتیاز کسب کرد، بنابراین حتی اجرای مرجع نیز بسته به اینکه کدام اپیزودها را میانگین می‌گیرید، متفاوت خوانده می‌شود. قبل از اینکه چیزی در مورد داده‌های خود تغییر دهید، خط مبنای خود را با دستور دمو بدون تغییر ثبت کنید: اگر نمی‌توانید یک اجرای شناخته‌شده و خوب را بازتولید کنید، نمی‌توانید اشتباه راه‌اندازی را از مشکل داده تشخیص دهید. مخزن همچنین علائم رایج را به علل آن‌ها نگاشت می‌کند، و هر یک از آن‌ها عملیاتی هستند تا یک اشکال مدل.

مسیر دیگر: lerobot-train به جای Isaac-GR00T

نسخه فعلی LeRobot، 0.6.1 در PyPI از 3 آگوست 2026، راه دوم و کاملاً متفاوتی را برای تنظیم دقیق همان وزن‌های پایه ارائه می‌دهد. LeRobot، GR00T N1.7 را به عنوان یک نوع سیاست (policy type) معرفی می‌کند و آن را از طریق نقطه ورودی lerobot-train خود آموزش می‌دهد. دو نکته در اینجا اهمیت دارد. CLI مربوط به LeRobot مجموعه‌ای از اسکریپت‌های کنسول است، بنابراین هر چیزی که می‌خوانید و می‌گوید python lerobot/scripts/train.py منسوخ شده است و اجرا نخواهد شد. و LeRobot پشتیبانی از GR00T N1.5 را به طور کامل حذف کرد و نقاط بازرسی و تنظیمات N1.5 را با یک یادداشت مهاجرت رد کرد، بنابراین اگر به N1.5 از طریق LeRobot نیاز دارید، باید lerobot==0.5.1 را پین (pin) کنید، آخرین نسخه‌ای که از آن پشتیبانی می‌کند و در 7 آوریل 2026 منتشر شده است.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

دو راه برای به دست آوردن یک نقطه بازرسی

بازگرداندن نقطه بازرسی به بازو

Isaac-GR00T از تقسیم سرور-کلاینت بر روی ZMQ استفاده می‌کند. سیاست روی GPU اجرا می‌شود، و یک کلاینت سبک روی دستگاه ربات مشاهدات را ارسال کرده و قطعات عمل را دریافت می‌کند. مثال SO-100 به اندازه کافی کامل است که بتوان آن را کپی کرد: run_gr00t_server.py را با نقطه بازرسی خود و --embodiment-tag NEW_EMBODIMENT شروع کنید، سپس eval_so100.py را در سمت ربات با پورت سریال، شناسه ربات، شاخص‌های دوربین و دستور زبان اجرا کنید. نام‌های دوربین در آن دستور باید با نام‌های دوستانه از modality.json شما مطابقت داشته باشند، نه با شماره‌های دستگاه سیستم عامل.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

اکنون بخش صادقانه در مورد محل اجرای سیاست، زیرا آموزش و سرویس‌دهی داستان‌های سخت‌افزاری متفاوتی دارند. Fine-tuning به 40 GB یا بیشتر نیاز دارد. استنتاج اینطور نیست: README آن را 16 GB یا بیشتر ذکر می‌کند و به صراحت از RTX 4090 نام می‌برد، بنابراین کارتی که از قبل دارید می‌تواند یک checkpoint را سرویس‌دهی کند که هرگز نمی‌توانست تولید کند. آنچه تعیین می‌کند که آیا سیاست پاسخگو به نظر می‌رسد VRAM نیست، بلکه محل قرارگیری سرور است. در AY-Robots، GR00T N1.7 فقط ابری است، بنابراین حلقه کنترل علاوه بر 152 ms در هر گام عملیاتی، هزینه یک رفت و برگشت اینترنتی عمومی را نیز می‌پردازد، و فقط SmolVLA و ACT نیز به صورت محلی اجرا می‌شوند. برای عملیات کند برداشتن و قرار دادن، یک پاد از راه دور قابل تحمل است. برای هر چیز واکنشی اینطور نیست: سیاست به گونه‌ای مردد می‌شود که دقیقاً شبیه یک شکست آموزشی به نظر می‌رسد و اینطور نیست. ACT با 20 ms در هر گام عملیاتی مدلی است که تنگ‌ترین حلقه را تحمل می‌کند، SmolVLA در 245 ms قرار دارد، و هیچ مقدار از تنظیم تأخیر نمی‌تواند یک رفت و برگشت را که قبلاً صرف شده است، جبران کند. اولین سیاست خود را اجرا کنید بخش سرویس‌دهی را به طور کامل توضیح می‌دهد.

چه چیزی واقعاً اشتباه پیش می‌رود

• خطای GatedRepoError در اولین اجرا. شما به nvidia/Cosmos-Reason2-2B دسترسی ندارید، یا احراز هویت نکرده‌اید. این اتفاق پس از شروع به کار ساعت GPU رخ می‌دهد.
• مجموعه داده هنگام بارگذاری رد شد. تقریباً همیشه یک مجموعه داده v3.0 است. آن را به نسخه پایین‌تر تبدیل کنید. به رد شدن مجموعه داده به عنوان v3 مراجعه کنید.
• خطای IndexError در مورد ابعاد بولی نامنظم. شما delta_indices را تغییر داده‌اید و آمار را بازسازی نکرده‌اید.
• کمبود حافظه در بچ 32. --global-batch-size را کاهش دهید و --gradient-accumulation-steps را افزایش دهید، یا --num-shards-per-epoch را کاهش دهید، که پیکربندی به صراحت در صورت محدودیت VRAM پیشنهاد می‌کند. به کمبود حافظه در طول آموزش مراجعه کنید.
• کاهش Loss، عدم عملکرد policy. به طور پیش‌فرض تقسیم اعتبارسنجی وجود ندارد، بنابراین یک منحنی آموزش تمیز چیز زیادی را ثابت نمی‌کند. این صفحه تشخیص را پوشش می‌دهد.
• فقط در تنظیمات شما کار می‌کند و نه جای دیگر. این انتظار با یک مجموعه داده کوچک که تحت یک شرایط نوری فیلم‌برداری شده است، وجود دارد. NVIDIA افزایش رنگ (colour jitter augmentation) به علاوه 20 تا 50 اپیزود در نورپردازی‌های مختلف را توصیه می‌کند. اطلاعات بیشتر اینجا.
• گریپر هرگز به درستی بسته نمی‌شود. بررسی کنید که عمل گریپر ABSOLUTE و مفاصل بازو RELATIVE باشند، به همین ترتیب در action_configs. گریپر بسته نمی‌شود سایر علل را فهرست می‌کند.
• یک دوربین در حین ضبط بی‌صدا از کار می‌افتد. اپیزود همچنان ذخیره می‌شود و کلید ویدیو همچنان وجود دارد، به همین دلیل این مورد ناخوشایند است. دوربین شناسایی نشد آن را پوشش می‌دهد.

فهرست کامل حالت‌های خرابی در قرار دارد. اگر در حال انتخاب بین مدل‌ها هستید تا اشکال‌زدایی یک مدل، و دارای اعداد بنچمارک با منابع پیوست شده هستند، و مقایسه‌ای است که اکثر مردم واقعاً به آن نیاز دارند، زیرا این انتخاب بین مدلی است که می‌توانید روی کارت زیر میز خود آموزش دهید و مدلی که باید یک گره 80 GB را برای fine-tune اجاره کنید. برای اطلاعات پس‌زمینه در مورد اینکه چرا این مدل‌ها به این شکل رفتار می‌کنند، و ارزش خواندن اولیه را دارند. و اگر هنوز بازوی ربات ندارید، یک SO-100 فیزیکی را بدون نیاز به ثبت‌نام پخش می‌کند.