உங்கள் சொந்த SO-100 தரவுத்தொகுப்பில் GR00T N1.7 ஐ எவ்வாறு பயிற்சி செய்வது

NVIDIA ஆனது நீங்கள் வைத்திருக்கும் கைக்குத் தேவையான ஃபைன்-ட்யூனிங் உதாரணத்தை வழங்குகிறது. Isaac-GR00T களஞ்சியத்தில் demo_data/cube_to_bowl_5 என்றொரு கோப்புறை உள்ளது: ஐந்து எபிசோடுகள், 30 fps இல் 4,148 பிரேம்கள், ஏற்கனவே LeRobot v2.1 ஆக எழுதப்பட்டு, அதனுடன் பொருந்தக்கூடிய மாடாலிட்டி கான்பிக் examples/SO100/ இல் உள்ளது. அதன் meta/info.json ஆனது robot_type: so101_follower என்று தெரிவிக்கிறது, இது LeRobot இல் so100_follower அதே கான்பிக் கிளாஸ் ஆகும். இது மிகவும் பயனுள்ளது, ஏனெனில் இது ஆறு-டிகிரி-ஆஃப்-ஃப்ரீடம் ஹாபி கைக்கு GR00T N1.7 அதற்கான குறிப்புப் பாதை மாதிரியை எழுதியவர்களால் பராமரிக்கப்படுகிறது என்பதைக் குறிக்கிறது. இது ஒரு ஹியூமனாய்டு டெமோவின் சிறிய பதிப்பு அல்ல, இது அதே கை.

மோசமான செய்தி என்னவென்றால், நான் 60 எபிசோடுகளைப் பதிவு செய்தேன் மற்றும் கை வேலையைச் செய்கிறது இவற்றுக்கு இடையேயான தூரம். இந்த பைப்லைன் சத்தமாக இல்லாமல் அமைதியாகத் தோல்வியடையும் சுமார் ஆறு இடங்கள் உள்ளன, அவற்றில் நான்கு கோப்புகளில் உள்ளன, பெரும்பாலான மக்கள் அவற்றை ஒருபோதும் திறப்பதில்லை: meta/modality.json, பைதான் தரவு கான்பிக், meta/relative_stats.json, மற்றும் தரவுத்தொகுப்பின் சொந்த பதிப்பு சரம். இந்த வழிகாட்டி உண்மையான கட்டளைகளுடன் கைமுறை வழியை முழுமையாகக் காட்டுகிறது, பின்னர் அதே வேலையை ஒரு படிவமாக AY-Robots இல் காட்டுகிறது. கீழே உள்ள அனைத்தும் 20 ஆகஸ்ட் 2026 நிலவரப்படி (n1.7-வெளியீட்டு வரிசை) Isaac-GR00T முதன்மை கிளையுடனும், 3 ஆகஸ்ட் 2026 அன்று PyPI இல் வெளியிடப்பட்ட lerobot 0.6.1 உடனும் சரிபார்க்கப்பட்டது. அப்டேட் வேகமாக நகர்கிறது, மேலும் ஒரு கொடி மறுபெயரிடப்பட்டிருந்தால் இந்த கட்டுரை அதைக் குறிப்பிடுகிறது.

GR00T N1.7 உண்மையில் என்ன

GR00T N1.7 ஒரு பார்வை-மொழி-செயல் மாதிரி ஆகும், இது அசல் GR00T N1 ஆய்வுக் கட்டுரை இல் விவரிக்கப்பட்டுள்ள இரட்டை-அமைப்பு தளவமைப்பைக் கொண்டுள்ளது: கேமராக்கள் மற்றும் அறிவுறுத்தல்களைப் படிக்கும் ஒரு பார்வை-மொழி தொகுதி, மற்றும் அதை தொடர்ச்சியான மோட்டார் கட்டளைகளின் தொகுப்பாக மாற்றும் ஒரு டிஃப்யூஷன் டிரான்ஸ்ஃபார்மர். N1.7 முதல் பாதியை மாற்றியது. N1.6 இலிருந்து வந்த Eagle பேக்போன் நீக்கப்பட்டு, Qwen3-VL கட்டமைப்பில் nvidia/Cosmos-Reason2-2B உடன் மாற்றப்பட்டது, மேலும் இந்த மாதிரி ரோபோ தரவுகளுக்கு மேல் சுமார் 20,000 மணிநேர அகநிலை மனித வீடியோவில் முன்-பயிற்சி அளிக்கப்பட்டது. NVIDIA இன் சொந்த அறிக்கை இந்த எண்ணிக்கையை 20,854 மணிநேரம் என்று குறிப்பிடுகிறது மற்றும் 1k இலிருந்து 20k மணிநேரத்திற்கு செல்வது சராசரி பணி நிறைவை இருமடங்கிற்கும் மேலாக அதிகரிக்கிறது என்று தெரிவிக்கிறது.

இரண்டாம் பாதியும் உங்கள் இயக்கத்திற்கு முக்கியமான வழிகளில் மாறியது. செயல் தலைப்பு 32 டிஃப்யூஷன் அடுக்குகளிலிருந்து 16 ஆகக் குறைந்தது, கணிக்கப்பட்ட செயல் துண்டு 16 படிகளிலிருந்து 40 ஆக வளர்ந்தது, மேலும் அதிகபட்ச நிலை மற்றும் செயல் அகலம் 29 இலிருந்து 132 ஆக அதிகரித்தது. இந்த மூன்று எண்களும் களஞ்சிய README இல் உள்ள மாற்றப் பதிவிலிருந்து வந்தவை; NVIDIA இன் சொந்த வெளியீட்டுப் பதிவு இன்னும் சிஸ்டம் 1 ஐ 32-அடுக்கு DiT ஆக விவரிக்கிறது, எனவே இரண்டும் வேறுபடும் இடங்களில், நீங்கள் குளோன் செய்யவிருக்கும் களஞ்சியத்தை நம்புங்கள். செயல்கள் இயல்பாக ஒரு சார்பு இறுதி-செயல்பாட்டாளர் இடத்தில் வெளிப்படுத்தப்படுகின்றன, தற்போதைய போஸிலிருந்து வரும் டெல்டாக்கள் முழுமையான இலக்குகளை விட, இது மனித வீடியோவிலிருந்து கற்றுக்கொண்ட கையாளுதல் முன்னுரிமைகளை ரோபோ கட்டுப்பாட்டிற்கு மாற்ற அனுமதிக்கிறது. தலைப்பு ஒரு ஓட்ட-பொருத்தம் டிஃப்யூஷன் டிரான்ஸ்ஃபார்மர் ஆகும், இது Pi0.5 போன்ற அதே குடும்பத்தைச் சேர்ந்தது, ஆனால் அதற்கு முன்னால் ஒரு வேறுபட்ட பேக்போன் உள்ளது. நீங்கள் இன்னும் முந்தைய தலைமுறையில் இருந்தால், N1.7 மற்றும் N1.5 மேம்படுத்தல் உங்கள் பைப்லைனை மீண்டும் செய்ய நியாயப்படுத்துகிறதா என்பதை உள்ளடக்கியது.

அந்த கடைசி மூன்று வரிசைகள் மக்கள் தெரிவிக்கும் பெரும்பாலான ஏமாற்றத்தை விளக்குகின்றன. தலைப்புச் செய்தியான 27.9 ms என்பது ஒரு H100 இல் ஒரு கேமரா மற்றும் நான்கு டிநாய்ஸிங் படிகளுடன் கூடிய TensorRT எஞ்சின் ஆகும். அதே கார்டில் உள்ள சாதாரண PyTorch 85.8 ms ஆகும், மேலும் மாதிரி அட்டை இந்த இடைவெளியை 3.08x ஆகக் காட்டுகிறது. எந்த எண்ணும் ஒரு சர்விங் லேயர், இரண்டாவது கேமரா அல்லது ஒரு நெட்வொர்க் ஹாப் ஆகியவற்றை உள்ளடக்கவில்லை. AY-Robots அதன் GR00T N1.7 க்கு மேற்கோள் காட்டும் ஒரு செயல் படிக்கு 152 ms என்பது சர்விங் சுழற்சியில் உள்ள எண்ணிக்கை ஆகும், மேலும் ஒரு பொது-இணைய ரவுண்ட் ட்ரிப் அதற்கு மேல் அமைகிறது. இது பற்றி இறுதியில் மேலும். மற்ற மாடல்களுக்கு அடுத்த எண்களுக்கு, GR00T N1.7 மற்றும் Pi0.5 மற்றும் GR00T N1.7 மற்றும் SmolVLA ஆகியவற்றை அருகருகே வைக்கின்றன.

நீங்கள் எதையும் தட்டச்சு செய்வதற்கு முன் ரன் தேவைப்படுவது என்ன

படி 0: எபிசோடுகள்

கீழே உள்ள அனைத்தும் நீங்கள் ஏற்கனவே பதிவுசெய்யப்பட்ட எபிசோடுகளைக் கொண்டிருக்கிறீர்கள் என்று கருதுகிறது. உங்களிடம் இல்லையென்றால், அதுவே உண்மையான முதல் படி, மேலும் அதுவே முடிவின் தரத்தை தீர்மானிக்கும், ஏனெனில் அனுபவக் கற்றல் தரவுகளில் இல்லாத தகவல்களை மீட்டெடுக்க முடியாது. முதலில் இரண்டு கைகளையும் அளவீடு செய்யுங்கள், பின்னர் பின்தொடர்பவரை ஒரு தலைமை கை கொண்டு இயக்கவும், அதே நேரத்தில் lerobot-record பார்கெட் கோப்புகளையும் கேமரா ஸ்ட்ரீம்களையும் எழுதுகிறது. அளவீடு சரியாக இல்லாவிட்டால், உங்கள் தரவுத்தொகுப்பில் உள்ள கூட்டு மதிப்புகள், பின்னர் கொள்கையை செயல்படுத்தும் ரோபோவை விட சற்று வித்தியாசமான ரோபோவை விவரிக்கின்றன, மேலும் எந்த அளவு பயிற்சியும் அதை சரிசெய்யாது.

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/cube-into-bowl \
    --dataset.num_episodes=60 \
    --dataset.single_task="put the cube in the yellow bowl" \
    --display_data=true

LeRobot இன் சொந்த ஆலோசனை என்னவென்றால், ஒவ்வொரு பொருள் இருப்பிடத்திற்கும் சுமார் 10 எபிசோடுகள் வீதம் குறைந்தது 50 எபிசோடுகளைப் பதிவு செய்ய வேண்டும், கேமராக்களை நிலையாக வைத்திருக்க வேண்டும், மேலும் பிடிப்பு நடத்தையை சீராக வைத்திருக்க வேண்டும். தொடக்கத்தில் அல்ல, பின்னர் மாறுபாடுகளைச் சேர்க்கவும். நினைவில் கொள்ள வேண்டிய ஒரு பொதுவான விதி: கேமரா படங்களை மட்டும் பயன்படுத்தி உங்களால் பணியைச் செய்ய முடியாவிட்டால், கொள்கை அதையும் செய்ய முடியாது. கை-குறிப்பிட்ட அமைப்பிற்கு, SO-100 தொடங்குதல் மற்றும் SO-100 LeRobot பக்கம் போர்ட்கள், அளவீடு மற்றும் கேமரா குறியீடுகளை உள்ளடக்கியது. AY-Robots இல் நீங்கள் இணையம் வழியாக உலாவியில் இருந்து தொலைசெயல்பாடு பயன்படுத்தி இதைச் செய்யலாம் மற்றும் அமர்விலிருந்து நேரடியாகப் பதிவு செய்யலாம்.

படி 1: தரவுத்தொகுப்பு LeRobot v2.1 ஆக இருக்க வேண்டும்

இதுவே மிகவும் பொதுவான ஒரு தடை. LeRobot இன் தற்போதைய CODEBASE_VERSION மெயின் கிளையில் v3.0, எனவே தற்போதைய டூல்செயின் மூலம் நீங்கள் இன்று பதிவு செய்யும் எதுவும் v3.0 ஆக வெளிவரும். GR00T இன் லோடர் v2 ஐ எதிர்பார்க்கிறது. பல அப்ஸ்ட்ரீம் தரவுத்தொகுப்புகளான DROID, LIBERO மற்றும் Bridge ஆகியவை v2 இல் வெளியிடப்பட்டுள்ளன, மேலும் இரண்டிற்கும் சொந்த ஆதரவு திட்டமிடப்பட்டுள்ளது ஆனால் இன்னும் வெளியிடப்படவில்லை என்பதே இதற்கான காரணம். எனவே மாற்றும் பொறுப்பு உங்களுடையது, மேலும் இது ஒரு குறிப்பிட்ட காரணத்திற்காக அதன் சொந்த விர்ச்சுவல்என்வ்வில் இயங்குகிறது: scripts/lerobot_conversion அதன் சொந்த பைபிராஜெக்ட்டைக் கொண்டுள்ளது, இது பைதான் 3.10 அல்லது 3.11 ஐக் கேட்கிறது மற்றும் லெரோபோட்டை ஒரு கிட் கமிட்டிற்குப் பிணைக்கிறது, அதே நேரத்தில் Isaac-GR00T க்கு பைதான் 3.12 தேவைப்படுகிறது. களஞ்சியத்தின் ரூட்டிலிருந்து கன்வெர்ட்டரை நிறுவினால், உங்களுக்கு gr00t தொகுப்பு கிடைக்கும், இது அதன் README எச்சரிக்கும் தவறு. நீங்கள் இந்த வடிவத்திற்கு புதியவராக இருந்தால், LeRobot தரவுத்தொகுப்பு கலைச்சொல் உள்ளீடு உண்மையில் உள்ளே என்ன இருக்கிறது என்பதை விளக்குகிறது.

# from the Isaac-GR00T repo root
cd scripts/lerobot_conversion
uv venv
source .venv/bin/activate
uv pip install -e . --verbose

# pulls the dataset from the Hub and writes a v2.1 copy into the default cache
python convert_v3_to_v2.py --repo-id <your-hf-user>/<your-dataset>

# or, back in the repo root, keep it next to the SO-100 example
uv run --project scripts/lerobot_conversion \
  python scripts/lerobot_conversion/convert_v3_to_v2.py \
  --repo-id <your-hf-user>/<your-dataset> \
  --root examples/SO100/my_dataset_lerobot

மாற்றத்திற்குப் பிறகு GR00T விரும்பும் அமைப்பு கிளாசிக் v2 தளவமைப்பு ஆகும்: meta/info.json, meta/episodes.jsonl, meta/tasks.jsonl, parquet கோப்புகள் கீழ் data/chunk-000/, MP4 கோப்புகள் கீழ் videos/chunk-000/observation.images./, மற்றும் நிலையான LeRobot இல் இல்லாத ஒரு கூடுதல் கோப்பு. அந்த கூடுதல் கோப்பில்தான் மீதமுள்ள பெரும்பாலான பிழைகள் உள்ளன.

படி 2: modality.json, அனைத்தையும் தீர்மானிக்கும் ஆறு எண்கள்

ஒரு LeRobot தரவுத்தொகுப்பில் ரோபோ நிலை மற்றும் செயல்பாடு தட்டையான float32 வரிசைகளாக சேமிக்கப்படுகின்றன. ஒரு SO-100 க்கு, இரண்டுமே வடிவம் கொண்டுள்ளன [6]: ஐந்து கை மூட்டுகள் மற்றும் ஒரு கிரிப்பர். டெமோ தரவுத்தொகுப்பு அவற்றுக்கு பெயரிடுகிறது shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos, ஆனால் அந்த பெயர்கள் info.json இல் உள்ளன, மேலும் parquet கோப்பில் எந்த குறியீடு எது என்று எதுவும் குறிப்பிடப்படவில்லை. meta/modality.json அந்த மேப்பிங்கை வழங்குகிறது, மேலும் அது இல்லாமல் GR00T பயிற்சி பெறாது. SO-100 க்காக களஞ்சியம் அனுப்பும் ஒன்று இங்கே, அப்படியே.

{
  "state": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "action": {
    "single_arm": {
      "start": 0,
      "end": 5
    },
    "gripper": {
      "start": 5,
      "end": 6
    }
  },
  "video": {
    "front": {
      "original_key": "observation.images.front"
    },
    "wrist": {
      "original_key": "observation.images.wrist"
    }
  },
  "annotation": {
    "human.task_description": {
      "original_key": "task_index"
    }
  }
}

உங்கள் மாற்றப்பட்ட தரவுத்தொகுப்பில் நகலெடுக்கவும் meta/modality.json மற்றும் வீடியோ கீகளை உங்கள் கேமராக்களின் உண்மையான பெயர்களுக்கு மாற்றவும். நீங்கள் ஒரே ஒரு மேல்நிலை கேமராவுடன் பதிவு செய்திருந்தால், அதன் பெயர் top, அப்போது original_key என்பது observation.images.top மற்றும் பயனர் நட்பு பெயர் உங்கள் தரவு உள்ளமைவு குறிப்பிடும் பெயராகும். இரண்டும் ஒத்துப்போக வேண்டும், மேலும் உங்களுக்காக ஒன்று மற்றொன்றைச் சரிபார்க்காது. மொழி குறிப்பு இன்னும் மோசமானது, ஏனெனில் அதே கீ மூன்று இடங்களில் தோன்ற வேண்டும்.

படி 3: தரவு உள்ளமைவு, சார்பு கை மற்றும் முழுமையான கிரிப்பர்

மோடாலிட்டி கான்பிக் (modality config) என்பது JSON கோப்பு அல்லாமல் ஒரு பைதான் கோப்பாகும், ஏனெனில் இது ஒவ்வொரு செயல் குழுவும் எவ்வாறு குறிப்பிடப்படுகிறது என்பதையும் தீர்மானிக்கிறது. இது N1.7 பணிப்பாய்வின் ஒரு பகுதியாகும், இது N1.5 இல் அதே வடிவத்தில் இல்லை, மேலும் இருமுறை படிக்க வேண்டிய பகுதியாகும். அனுப்பப்பட்ட SO-100 கான்பிக், ஐந்து கை மூட்டுகளை தற்போதைய நிலையிலிருந்து சார்பு (RELATIVE) டெல்டாக்களாகவும், கிரிப்பரை முழுமையான (ABSOLUTE) இலக்கு நிலையாகவும் கணிக்கிறது, ஏனெனில் ஒரு பைனரி திறந்த அல்லது மூடிய சிக்னல் டெல்டாவை விட இலக்காக சிறப்பாக செயல்படும்.

from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
    ActionConfig, ActionFormat, ActionRepresentation, ActionType, ModalityConfig,
)

so100_config = {
    "video": ModalityConfig(
        delta_indices=[0],                       # current frame only
        modality_keys=["front", "wrist"],        # must match modality.json
    ),
    "state": ModalityConfig(
        delta_indices=[0],
        modality_keys=["single_arm", "gripper"],
    ),
    "action": ModalityConfig(
        delta_indices=list(range(0, 16)),        # predict 16 future steps
        modality_keys=["single_arm", "gripper"],
        action_configs=[
            ActionConfig(rep=ActionRepresentation.RELATIVE,   # arm joints
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
            ActionConfig(rep=ActionRepresentation.ABSOLUTE,   # gripper
                         type=ActionType.NON_EEF,
                         format=ActionFormat.DEFAULT),
        ],
    ),
    "language": ModalityConfig(
        delta_indices=[0],
        modality_keys=["annotation.human.task_description"],
    ),
}

register_modality_config(so100_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)

இங்குள்ள இரண்டு விவரங்கள் உங்களுக்குத் தெரியாவிட்டால் ஒரு நாள் வீணாகிவிடும். முதலாவதாக, action_configs என்பது நிலை சார்ந்ததாகும்: ஆவணங்கள் modality_keys உடன் அதே நீளத்தையும் அதே வரிசையையும் கோருகின்றன, மேலும் அதை தவறாகப் பெறுவதன் விளைவு குறித்து அவை வெளிப்படையாகக் கூறுகின்றன, அதாவது தவறான பிரதிநிதித்துவம் அமைதியாகப் பயன்படுத்தப்படுகிறது. உங்கள் கிரிப்பர் ஒரு டெல்டாவாகவும் உங்கள் கை ஒரு முழுமையான இலக்காகவும் பயிற்சி அளிக்கப்படுகிறது, மேலும் எந்த பிழை செய்தியும் இருக்காது. இரண்டாவதாக, register_modality_config ஆனது குறிச்சொல் ஏற்கனவே பதிவு செய்யப்படவில்லை என்பதை உறுதிப்படுத்துகிறது, எனவே அதே பைதான் செயல்முறையில் இரண்டாவது NEW_EMBODIMENT கான்பிக் Embodiment tag ... already registered உடன் நின்றுவிடும். நீங்கள் இரண்டை ஒரு ஸ்கிரிப்டில் இறக்குமதி செய்ய முடியாது. மூன்றாவது விதி பின்னர், வரிசைப்படுத்தலின் போது செயல்படுத்தப்படுகிறது: செயல் delta_indices பூஜ்ஜியத்தில் தொடங்கும் தொடர்ச்சியான வரம்பாக இருக்க வேண்டும். [0, 4, 8] போன்ற ஒரு அரிய சாளரம் நிராகரிக்கப்படுகிறது, ஏனெனில் கீழ்நிலை அனைத்தும் கணிக்கப்பட்ட பகுதியை நேரியல் முறையில் குறியிடும், இல்லையெனில் தவறான வரிசைகளை செயல்படுத்தும்.

படி 4: சூழல்

N1.7 களஞ்சியத்தை இதற்கு மாற்றியது மற்றும் Python 3.12 க்கு. பழைய conda உடன் pip install -e . பாதை README இன் சுருக்கப்பட்ட பிரிவில் இன்னும் உள்ளது, ஆனால் flash-attn மற்றும் TensorRT உள்ளிட்ட GPU சார்புகள் கைமுறையாக நிறுவப்பட வேண்டியிருக்கலாம் என்று எச்சரிக்கிறது. உங்களுக்கு ஒரு குறிப்பிட்ட காரணம் இல்லாவிட்டால் uv ஐப் பயன்படுத்தவும். flash-attn விஷயத்தில், ஒரு விவரம் குழப்பத்தைத் தவிர்க்கிறது: நீங்கள் காண்பீர்கள் Installing flash-attn ஒவ்வொரு uv run இல் அச்சிடப்படும். இது மீண்டும் உருவாக்கப்படவில்லை. uv ஏற்கனவே கேச் செய்யப்பட்ட URL-இணைக்கப்பட்ட வீலை மீண்டும் சரிபார்க்கிறது, இதற்கு இரண்டு அல்லது மூன்று வினாடிகள் ஆகும்.

1. 1
   git-lfs ஐ நிறுவி, பின்னர் துணை தொகுதிகளுடன் குளோன் செய்யவும்

   git-lfs கட்டாயமானது, விருப்பத்தேர்வு அல்ல. இது இல்லாமல் demo_data/ இல் உள்ள parquet கோப்புகள் பாயிண்டர் ஸ்டப்களாக பதிவிறக்கப்படும், மேலும் கோப்புப் பட்டியலில் இருக்கும் ஒரு தரவுத்தொகுப்பில் டெமோ ரன் தோல்வியடையும்.

   bash

   sudo apt install git-lfs && git lfs install
   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T

2. 2
   uv ஐ நிறுவி சூழலை ஒத்திசைக்கவும்

   இயல்புநிலை நிறுவல் flash-attn மற்றும் TensorRT உள்ளிட்ட GPU சார்புகளைப் பதிவிறக்குகிறது. புதிய A100 அல்லது H100 இமேஜில் இது மிக நீண்ட ஒற்றை படியாகும், எனவே வேறு எதற்கும் கவனம் செலுத்துவதற்கு முன் இதைச் செய்யுங்கள்.

   bash

   curl -LsSf https://astral.sh/uv/install.sh | sh
   sudo apt-get update && sudo apt-get install -y ffmpeg
   uv sync --python 3.12
   uv run python -c "import gr00t; print('GR00T installed successfully')"

3. 3
   Hugging Face உடன் அங்கீகரிக்கவும்

   முதல் பயிற்சி தொடங்குவதற்கு முன் இதைச் செய்யுங்கள், எட்டு நிமிடங்களுக்குப் பிறகு தோல்வியடைந்த பிறகு அல்ல.

   bash

   uv run huggingface-cli login   # or: export HF_TOKEN=<your_token>

4. 4
   வழங்கப்பட்ட SO-100 டெமோ தரவில் ஒரு நம்பகத்தன்மை சரிபார்ப்பு

   உங்கள் சொந்த பதிவைத் தொடுவதற்கு முன், demo_data/cube_to_bowl_5 இல் 2000 படிகளை இயக்கவும். இது ஐந்து எபிசோடுகள், இது வேகமாக முடிவடைகிறது, மேலும் இது உங்கள் தரவை விட சூழலை நிரூபிக்கிறது. இந்த ரன் தோல்வியடைந்தால், உங்கள் தரவுத்தொகுப்பிற்கு நீங்கள் செய்யும் எதுவும் உதவாது.

   bash

   CUDA_VISIBLE_DEVICES=0 uv run python \
       gr00t/experiment/launch_finetune.py \
       --base-model-path nvidia/GR00T-N1.7-3B \
       --dataset-path demo_data/cube_to_bowl_5 \
       --embodiment-tag NEW_EMBODIMENT \
       --modality-config-path examples/SO100/so100_config.py \
       --num-gpus 1 \
       --output-dir /tmp/test_finetune \
       --max-steps 2000 \
       --global-batch-size 32 \
       --dataloader-num-workers 4

படி 5: ஃபைன்-ட்யூன் கட்டளை மற்றும் அதன் கொடிகள் உண்மையில் இயல்புநிலையாக என்ன

டெமோ தரவுத்தொகுப்பை உங்களுடையதாக மாற்றி, நீங்கள் உண்மையில் விரும்பும் கட்டுப்பாடுகளைச் சேர்க்கவும். கீழே உள்ளவை, களஞ்சியம் அதன் சொந்த புதிய-உருவாக்கப் பயிற்சியில் பயன்படுத்தும் முழு வடிவமாகும், இதில் சுருக்கமான README எடுத்துக்காட்டில் விடுபட்ட விரிவாக்கம் மற்றும் சரிபார்ப்பு கொடிகள் அடங்கும். இது குறுகிய அர்த்தத்தில்: மொழி முதுகெலும்பு மற்றும் காட்சி குறியாக்கி உறைந்தே இருக்கும், மேலும் பயிற்சி பெறுவது ப்ரொஜெக்டர் மற்றும் டிஃப்யூஷன் ஆக்‌ஷன் ஹெட் ஆகும்.

export NUM_GPUS=1
CUDA_VISIBLE_DEVICES=0 uv run python \
    gr00t/experiment/launch_finetune.py \
    --base-model-path nvidia/GR00T-N1.7-3B \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --modality-config-path examples/SO100/so100_config.py \
    --num-gpus $NUM_GPUS \
    --output-dir /tmp/so100 \
    --save-total-limit 5 \
    --save-steps 2000 \
    --max-steps 20000 \
    --use-wandb \
    --global-batch-size 32 \
    --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08 \
    --dataloader-num-workers 4

அந்த கடைசி வரி அச்சுப்பிழை அல்ல. launch_finetune.py என்பது ஒரு டேட்டாகிளாஸிலிருந்து (dataclass) உருவாக்கப்பட்ட ஒரு டைரோ CLI ஆகும், மேலும் அந்த டேட்டாகிளாஸில் சீட் (seed) புலம் இல்லை. சீரற்ற பட மேம்பாட்டினால் ஏற்படும் இயக்கங்களுக்கு இடையில் 5 முதல் 6 சதவீதம் மாறுபாடு இருப்பதாக README தனித்தனியாகக் குறிப்பிடுகிறது. ஒரே மாதிரியான ஃபிளாக்குகளுடன் (flags) இரண்டு இயக்கங்கள் ஒரே மாதிரியான செக்பாயிண்ட்களை (checkpoints) உருவாக்காது, இது ஒரு ஹைப்பர்பாராமீட்டர் (hyperparameter) மாற்றம் உதவியதா அல்லது நீங்கள் அதிர்ஷ்டசாலியா என்பதை தீர்மானிக்க முயற்சிக்கும்போது மிகவும் முக்கியமானது. ஒப்பிடுகையில், லெரோபோட்டின் (lerobot) சொந்த பயிற்சியாளர் இயல்பாக சீட் 1000 ஐப் பயன்படுத்துகிறார், மேலும் லெரோபோட் GR00T செய்முறை --seed=42 ஐ வெளிப்படையாக அனுப்புகிறது.

20000-படி இயக்கத்தின் செலவு என்ன

GR00T N1.7 க்கு 80 GB கார்டு தேவை, எனவே செலவு கேள்விக்கு ஒரு குறுகிய பதில் உள்ளது. AY-Robots இல், groot1.7 பயிற்சியாளர் A100 80 GB அல்லது H100 80 GB அடுக்கில் இயங்குகிறது, அங்கு ஒரு இயக்கம் ஸ்பாட் மார்க்கெட்டில் (spot market) ஒரு மணி நேரத்திற்கு 1.20 முதல் 2.00 USD என்ற விகிதத்தில் 3 முதல் 6 மணிநேரம் ஆகும். இயல்புநிலை 20000-படி வேலைக்கு இது தோராயமாக 4 முதல் 12 USD ஆகும். அதே பணி ஸ்மோல்விஎல்ஏ அல்லது ஏசிடி இல் ஒரு மணி நேரத்திற்கு 0.30 முதல் 0.60 USD மற்றும் ஒரு இயக்கத்திற்கு 1 முதல் 3 USD என்ற விகிதத்தில் 24 GB கார்டில் இயங்குகிறது. இதுதான் உண்மையான சமரசம்: GR00T ஒரு முயற்சிக்கு சுமார் நான்கு மடங்கு அதிகமாக செலவாகிறது, மேலும் அதை உங்கள் மேசைக்கு அடியில் உள்ள 4090 இல் இயக்க முடியாது.

50-எபிசோட் குறைந்தபட்சம் ஒரு தளம், இலக்கு அல்ல. NVIDIA இன் FAQ மேலும் கோருகிறது: ஒரு எளிய நிலையான இடத்தைத் தேர்ந்தெடுத்து வைப்பதற்கு தோராயமாக 100 தடங்கள், சிக்கலான அல்லது பல-படி காட்சிகளுக்கு 500 அல்லது அதற்கு மேற்பட்டவை, மற்றும் நுட்பமான கையாளுதலுக்கு 100 முதல் 500 வரை. நீங்கள் 20 எபிசோடுகளில் இருந்தால், மாலையில் சரிசெய்வதற்குப் பதிலாக மதியம் பதிவு செய்வதில் செலவிடுங்கள். தரவு சேகரிப்பு வழிகாட்டி ஒரு பயனுள்ள எபிசோடை வீணான ஒன்றிலிருந்து எது பிரிக்கிறது என்பதை விளக்குகிறது, உங்கள் முதல் தரவுத்தொகுப்பை பதிவு செய்யவும் என்பது சுருக்கமான பதிப்பு, மற்றும் SO-100 தரவு சேகரிப்பு என்பது கை-குறிப்பிட்ட ஒன்று.

படி 6: கையைத் தொடுவதற்கு முன் திறந்த-சுற்று மதிப்பீடு

புதிய செக்பாயிண்ட் ஒரு இயற்பியல் கையில் வைத்து பயிற்சி வேலை செய்ததா என்று கண்டறிய வேண்டாம். முதலில் ஓப்பன்-லூப் மதிப்பீட்டை இயக்கவும். இது பதிவுசெய்யப்பட்ட ஒரு எபிசோடை மீண்டும் இயக்குகிறது, ஒவ்வொரு படியிலும் மாதிரிக்கு செயல்களைக் கேட்கிறது, மேலும் MSE மற்றும் MAE உடன் கணிப்பை உண்மைக்கு எதிராக வரைகிறது. இதற்கு செலவு இல்லை, மேலும் இது படி 2 மற்றும் 3 இல் உள்ள மேப்பிங் தவறுகளைக் கண்டறிகிறது.

uv run python gr00t/eval/open_loop_eval.py \
    --dataset-path ./my_dataset_lerobot \
    --embodiment-tag NEW_EMBODIMENT \
    --model-path /tmp/so100/checkpoint-20000 \
    --traj-ids 0 \
    --execution-horizon 16 \
    --steps 400 \
    --modality-keys single_arm gripper

கஸ்டம் தரவுகளுக்கான இலக்கு MSE ஐ வெளியிட களஞ்சியம் வேண்டுமென்றே மறுக்கிறது, அது சரியான முடிவுதான்: இந்த எண் உங்கள் செயல் அலகுகள், உங்கள் பணி மற்றும் உங்கள் தரவுத்தொகுப்பின் அளவைப் பொறுத்தது, எனவே வேறொருவரின் கையிலிருந்து நகலெடுக்கப்பட்ட ஒரு வரம்பு அர்த்தமற்றது. முக்கியமானது போக்குதான். ஐந்து-எபிசோட் டெமோ தரவுத்தொகுப்பு மற்றும் 2000 படிகளுடன் ஒரு H100 இல் களஞ்சியம் ஆவணப்படுத்தும் குறிப்பு ஓட்டம் இங்கே உள்ளது.

வடிவம் தான் சிக்னல், தனிப்பட்ட மதிப்புகள் அல்ல. பிழை சீராக குறைய வேண்டும், ஏனெனில் குவிகின்றன. ட்ராஜெக்டரி 0-ஐ மட்டும் கணக்கில் கொள்ளாமல், ஐந்து பயிற்சி எபிசோடுகள் அனைத்திலும் சராசரியாக, ரெப்போவின் இறுதி செக்பாயிண்ட் தோராயமாக 7.5 MSE மற்றும் 1.5 MAE மதிப்பெண் பெற்றது. எனவே, நீங்கள் எந்த எபிசோடுகளை சராசரியாக எடுக்கிறீர்கள் என்பதைப் பொறுத்து குறிப்பு ஓட்டம் கூட வித்தியாசமாகப் படிக்கப்படுகிறது. உங்கள் சொந்த தரவில் எதையும் மாற்றுவதற்கு முன், மாற்றப்படாத டெமோ கட்டளையில் உங்கள் சொந்த அடிப்படை அளவை பதிவு செய்யவும்: அறியப்பட்ட-நல்ல ஓட்டத்தை உங்களால் மீண்டும் உருவாக்க முடியாவிட்டால், ஒரு அமைப்பு பிழையை தரவு சிக்கலில் இருந்து உங்களால் வேறுபடுத்தி அறிய முடியாது. இந்த களஞ்சியம் பொதுவான அறிகுறிகளை காரணங்களுடன் இணைக்கிறது, மேலும் அவை அனைத்தும் ஒரு மாதிரி பிழை (model bug) என்பதை விட செயல்பாட்டு ரீதியானவை.

மற்றொரு வழி: Isaac-GR00T க்கு பதிலாக lerobot-train

PyPI இல் 3 ஆகஸ்ட் 2026 முதல் கிடைக்கும் தற்போதைய LeRobot வெளியீடு, 0.6.1, அதே அடிப்படை எடைகளை (base weights) ஃபைன்-ட்யூன் செய்ய இரண்டாவது மற்றும் முற்றிலும் மாறுபட்ட வழியை வழங்குகிறது. LeRobot, GR00T N1.7 ஐ ஒரு கொள்கை வகையாக (policy type) வெளிப்படுத்துகிறது மற்றும் அதன் சொந்த lerobot-train நுழைவுப் புள்ளி (entry point) வழியாக பயிற்சி அளிக்கிறது. இங்கு இரண்டு விஷயங்கள் முக்கியமானவை. LeRobot CLI என்பது கன்சோல் ஸ்கிரிப்ட்களின் தொகுப்பாகும், எனவே python lerobot/scripts/train.py என்று நீங்கள் படிக்கும் எதுவும் காலாவதியானது மற்றும் இயங்காது. மேலும் LeRobot, GR00T N1.5 ஆதரவை முழுமையாக நீக்கிவிட்டது, N1.5 செக்பாயிண்ட்கள் மற்றும் உள்ளமைவுகளை (configs) ஒரு இடம்பெயர்வு குறிப்புடன் (migration note) நிராகரித்தது. எனவே, LeRobot வழியாக N1.5 உங்களுக்குத் தேவைப்பட்டால், நீங்கள் lerobot==0.5.1 ஐப் பயன்படுத்த வேண்டும், இது அதை ஆதரிக்கும் கடைசி வெளியீடு, 7 ஏப்ரல் 2026 அன்று வெளியிடப்பட்டது.

pip install "lerobot[groot]" "lerobot[training]"
hf auth login

lerobot-train \
  --dataset.repo_id=$HF_USER/$DATASET_NAME \
  --dataset.image_transforms.enable=true \
  --policy.type=groot \
  --policy.device=cuda \
  --policy.base_model_path=nvidia/GR00T-N1.7-3B \
  --policy.embodiment_tag=new_embodiment \
  --policy.chunk_size=16 \
  --policy.n_action_steps=16 \
  --policy.use_relative_actions=true \
  --policy.relative_exclude_joints='["gripper"]' \
  --policy.use_bf16=true \
  --seed=42 \
  --batch_size=64 \
  --steps=20000 \
  --save_freq=5000 \
  --output_dir=$OUTPUT_DIR

அதே செக்பாயிண்டைப் பெற இரண்டு வழிகள்

செக்பாயிண்ட்டை மீண்டும் கைக்கு மாற்றுதல்

Isaac-GR00T ஆனது ZMQ வழியாக ஒரு சர்வர்-கிளையன்ட் பிரிவைப் பயன்படுத்துகிறது. கொள்கையானது GPU இல் இயங்குகிறது, மேலும் ரோபோ இயந்திரத்தில் உள்ள ஒரு மெல்லிய கிளையன்ட் அவதானிப்புகளை அனுப்பி, செயல் துண்டுகளைப் பெறுகிறது. SO-100 உதாரணம் நகலெடுக்க போதுமானது: தொடங்கவும் run_gr00t_server.py உங்கள் செக்பாயிண்ட் மற்றும் --embodiment-tag NEW_EMBODIMENT, பின்னர் இயக்கவும் eval_so100.py ரோபோ பக்கத்தில் சீரியல் போர்ட், ரோபோ ஐடி, கேமரா குறியீடுகள் மற்றும் மொழி அறிவுறுத்தலுடன். அந்தக் கட்டளையில் உள்ள கேமரா பெயர்கள் உங்கள் modality.json இலிருந்து வரும் நட்புப் பெயர்களுடன் பொருந்த வேண்டும், OS சாதன எண்களுடன் அல்ல.

# GPU side
uv run python gr00t/eval/run_gr00t_server.py \
  --model-path /tmp/so100/checkpoint-20000 \
  --embodiment-tag NEW_EMBODIMENT \
  --device cuda:0 \
  --host 0.0.0.0 --port 5555

# robot side, from gr00t/eval/real_robot/SO100
uv run --no-sync python eval_so100.py \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM2 \
  --robot.id=orange_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 6, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy_host=localhost --policy_port=5555 \
  --lang_instruction="put the cube in the yellow bowl"

இப்போது கொள்கை எங்கு இயங்குகிறது என்பது பற்றிய உண்மையான பகுதி, ஏனெனில் பயிற்சி மற்றும் சேவைக்கு வெவ்வேறு வன்பொருள் கதைகள் உள்ளன. Fine-tuning க்கு 40 GB அல்லது அதற்கு மேல் தேவை. Inference க்கு தேவையில்லை: README அதை 16 GB அல்லது அதற்கு மேல் என்று குறிப்பிடுகிறது மற்றும் RTX 4090 ஐ வெளிப்படையாகக் குறிப்பிடுகிறது, எனவே உங்களிடம் ஏற்கனவே உள்ள ஒரு கார்டு ஒருபோதும் உருவாக்க முடியாத ஒரு checkpoint ஐ சேவை செய்ய முடியும். கொள்கை பதிலளிக்கிறதா என்பதை தீர்மானிப்பது VRAM அல்ல, அது சர்வர் எங்கு அமர்ந்திருக்கிறது என்பதுதான். AY-Robots இல் GR00T N1.7 கிளவுட்-மட்டுமே, எனவே கட்டுப்பாட்டு சுழற்சி ஒவ்வொரு செயல் படிக்கும் 152 ms க்கு மேல் ஒரு பொது-இணைய ரவுண்ட் டிரிப் செலுத்துகிறது, மேலும் SmolVLA மற்றும் ACT ஆகியவையும் உள்ளூரில் இயங்குகின்றன. மெதுவான pick and place க்கு ஒரு ரிமோட் பாட் சமாளிக்கக்கூடியது. எந்தவொரு எதிர்வினைக்கும் இது பொருந்தாது: கொள்கை ஒரு பயிற்சி தோல்வி போல் தோன்றும் விதத்தில் தயங்குகிறது, ஆனால் அது தோல்வி அல்ல. ஒவ்வொரு செயல் படிக்கும் 20 ms இல் ACT ஆனது மிகக் குறுகிய சுழற்சியை பொறுத்துக்கொள்ளும் மாதிரி, SmolVLA 245 ms இல் உள்ளது, மேலும் எந்த அளவு latency சரிசெய்தல் ஏற்கனவே செலவழிக்கப்பட்ட ஒரு ரவுண்ட் டிரிப்பை மீண்டும் வாங்காது. உங்கள் முதல் கொள்கையை இயக்கவும் சேவைப் பக்கத்தை முழுமையாக விளக்குகிறது.

உண்மையில் என்ன தவறு நடக்கிறது

• முதல் ஓட்டத்தில் GatedRepoError. உங்களுக்கு nvidia/Cosmos-Reason2-2B அணுகல் வழங்கப்படவில்லை, அல்லது நீங்கள் அங்கீகரிக்கவில்லை. GPU கடிகாரம் ஏற்கனவே தொடங்கிய பிறகு இது நிகழ்கிறது.
• ஏற்றும்போது தரவுத்தொகுப்பு நிராகரிக்கப்பட்டது. கிட்டத்தட்ட எப்போதும் ஒரு v3.0 தரவுத்தொகுப்பு. அதை மாற்றவும். v3 ஆக நிராகரிக்கப்பட்ட தரவுத்தொகுப்பு என்பதைப் பார்க்கவும்.
• பொருந்தாத பூலியன் பரிமாணங்கள் பற்றிய IndexError. நீங்கள் delta_indices ஐ மாற்றி, புள்ளிவிவரங்களை மீண்டும் உருவாக்கவில்லை.
• பேட்ச் 32 இல் நினைவகம் இல்லை. --global-batch-size ஐக் குறைத்து --gradient-accumulation-steps ஐ அதிகரிக்கவும், அல்லது --num-shards-per-epoch ஐக் குறைக்கவும், இது VRAM குறைவாக இருக்கும்போது உள்ளமைவு வெளிப்படையாக பரிந்துரைக்கிறது. பயிற்சியின் போது நினைவகம் இல்லை என்பதைப் பார்க்கவும்.
• இழப்பு குறைகிறது, கொள்கை எதுவும் செய்யவில்லை. இயல்பாக சரிபார்ப்புப் பிரிவு இல்லை, எனவே ஒரு சுத்தமான பயிற்சி வளைவு மிகக் குறைவாகவே நிரூபிக்கிறது. இந்த பக்கம் நோயறிதலை உள்ளடக்கியது.
• உங்கள் அமைப்பில் மட்டுமே வேலை செய்கிறது, வேறு எங்கும் இல்லை. ஒரு ஒளி நிலையில் படமாக்கப்பட்ட ஒரு சிறிய தரவுத்தொகுப்புடன் எதிர்பார்க்கப்படுகிறது. NVIDIA வண்ண ஜிட்டர் அதிகரிப்பு மற்றும் வெவ்வேறு விளக்குகளில் 20 முதல் 50 எபிசோட்களை பரிந்துரைக்கிறது. மேலும் இங்கே.
• கிரிப்பர் ஒருபோதும் சரியாக மூடப்படவில்லை. action_configs இல் கிரிப்பர் செயல் ABSOLUTE ஆகவும், கை மூட்டுகள் RELATIVE ஆகவும் உள்ளதா என்பதை அந்த வரிசையில் சரிபார்க்கவும். கிரிப்பர் மூடப்படவில்லை மற்ற காரணங்களை பட்டியலிடுகிறது.
• பதிவு செய்யும் போது ஒரு கேமரா அமைதியாக வெளியேறுகிறது. எபிசோட் இன்னும் சேமிக்கப்படுகிறது மற்றும் வீடியோ கீ இன்னும் உள்ளது, அதனால்தான் இது மோசமானது. கேமரா கண்டறியப்படவில்லை அதை உள்ளடக்கியது.

தோல்வி முறைகளின் முழு குறியீடும் இங்கே உள்ளது . நீங்கள் ஒரு மாதிரியை பிழைத்திருத்துவதற்குப் பதிலாக மாதிரிகளுக்கு இடையே தேர்வு செய்கிறீர்கள் என்றால், மற்றும் ஆதாரங்களுடன் பெஞ்ச்மார்க் எண்களைக் கொண்டுள்ளன, மேலும் என்பது பெரும்பாலான மக்களுக்கு உண்மையில் தேவைப்படும் ஒப்பீடு, ஏனெனில் இது உங்கள் மேசையின் கீழ் உள்ள கார்டில் பயிற்சி செய்யக்கூடிய ஒரு மாதிரிக்கும், நுண்-சரிசெய்ய 80 GB நோடை வாடகைக்கு எடுக்க வேண்டிய ஒரு மாதிரிக்கும் இடையிலான தேர்வு ஆகும். இந்த மாதிரிகள் ஏன் இப்படி நடந்துகொள்கின்றன என்பதற்கான பின்னணியைப் பற்றி, மற்றும் முதலில் படிக்கத் தகுந்தவை. உங்களுக்கு இன்னும் ஒரு கை இல்லை என்றால், பதிவு இல்லாமல் ஒரு இயற்பியல் SO-100 ஐ ஸ்ட்ரீம் செய்கிறது.