SO-100 పై DROID, BridgeData V2 మరియు Open X లను ఉపయోగించడం

Google Cloud బకెట్‌లో మిలియన్-ట్రాజెక్టరీ పబ్లిక్ డేటాసెట్ ఉంది మరియు డెస్క్‌పై 110 నుండి 150 EUR ఖర్చుతో కూడిన విడిభాగాలతో ఒక SO-100 ఉంది. మొదటిది రెండవదానికి ఎందుకు నేర్పించదు? ఇది పాక్షికంగా చేయగలదు, కానీ బదిలీ ప్రజలు ఆశించిన చోట దాదాపుగా జరగదు, మరియు సులభంగా కనిపించే భాగం అస్సలు పని చేయదు.

తరువాత ఏమిటి: DROID, BridgeData V2 మరియు Open X-Embodiment లోపల ఏముంది, ఇక్కడ ప్రతి ఒక్కటి తక్కువ-ధర 5-DoF ఆర్మ్‌తో ఎలా సరిపోతుంది, మరియు దానికి బదులుగా ఏమి చేయాలి. క్రింద ఉన్న ప్రతి సంఖ్య అది చెందిన పేపర్, డేటాసెట్ కార్డ్ లేదా సోర్స్ ఫైల్ నుండి వచ్చింది.

మూడు డేటాసెట్‌లు వాస్తవానికి ఏమి కలిగి ఉన్నాయి

DROID

మూడింటిలో అత్యంత ప్రామాణీకరించబడినది. అన్ని చోట్లా ఒకే రిగ్: Robotiq 2F-85 గ్రిప్పర్, రెండు సర్దుబాటు చేయగల ZED 2 స్టీరియో కెమెరాలు మరియు మణికట్టు ZED Miniతో కూడిన Franka Panda, Meta Quest 2 కంట్రోలర్‌లతో టెలిఆపరేట్ చేయబడింది, Polymetis ద్వారా 15 Hz వద్ద జాయింట్ మరియు ఎండ్-ఎఫెక్టర్ స్పేస్‌లో రికార్డ్ చేయబడింది. భాషా లేబుల్‌లు తర్వాత tasq.ai ద్వారా వచ్చాయి, ప్రతి ఎపిసోడ్‌కు మూడు వరకు.

• 76k ట్రాజెక్టరీలు, 350 గంటలు, 564 దృశ్యాలు, 84 పనులు, మూడు ఖండాలలో 50 కలెక్టర్లు.
• ముఖ్య ఫలితం సహ-శిక్షణ, స్వతంత్ర శిక్షణ కాదు: ఇన్-డొమైన్ ప్రదర్శనలతో 50/50 కలిపిన బ్యాచ్‌లు తదుపరి ఉత్తమ పద్ధతిని పంపిణీలో 22 శాతం సంపూర్ణ విజయం, దాని వెలుపల 17 శాతం అధిగమించాయి.
• IPEC-COMMUNITY/droid_lerobot: 92,233 ఎపిసోడ్‌లు, 27,044,326 ఫ్రేమ్‌లు, franka, 15 fps, codebase_version v2.0, 180x320 వద్ద మూడు AV1 స్ట్రీమ్‌లు, 392 GB.
• 2 GB, 100-ఎపిసోడ్‌ల డీబగ్గింగ్ నమూనా gs://gresearch/robotics/droid_100 వద్ద ఉంది. అక్కడి నుండి ప్రారంభించండి.

BridgeData V2

ఒక హాబీ సెటప్‌కు దగ్గరగా: ఒక WidowX 250 6-DoF ఆర్మ్, 24 వాతావరణాలలో మరియు 13 నైపుణ్యాలలో 5 Hz వద్ద 60,096 ట్రాజెక్టరీలు. కూర్పును గమనించండి: 50,365 నిపుణుల టెలిఆపరేటెడ్ ప్రదర్శనలు ప్లస్ 9,731 యాదృచ్ఛిక స్క్రిప్టెడ్ పిక్-అండ్-ప్లేస్ పాలసీ నుండి, కాబట్టి సుమారు 16 శాతం మానవ ప్రదర్శన కాదు, ఇది దీనికి ముఖ్యమైనది అనుకరణ అభ్యాసం నాణ్యత. సాధారణ డౌన్‌లోడ్, IPEC-COMMUNITY/bridge_orig_lerobot, 53,192 ఎపిసోడ్‌లు మరియు 1,893,026 ఫ్రేమ్‌లు 5 fps వద్ద, robot_type widowx: పేపర్ యొక్క 60,096 కంటే తక్కువగా నివేదిస్తుంది, కాబట్టి దేనినీ ఉటంకించకుండా meta/info.json నుండి సంఖ్యను చదవండి.

Open X-Embodiment

అదే అర్థంలో డేటాసెట్ కాదు: 34 ల్యాబ్‌ల నుండి 60 ఇప్పటికే ఉన్న రోబోట్ డేటాసెట్‌లు ఒక RLDS సేకరణలోకి పూల్ చేయబడ్డాయి, ఇది 22 ఎంబోడిమెంట్‌లు మరియు పది లక్షలకు పైగా ట్రాజెక్టరీలను కవర్ చేస్తుంది. BridgeData V2 దానిలో bridge_orig గా ఉంది; google_robot స్లైస్, fractal20220817_data, 3 fps వద్ద 87,212 ఎపిసోడ్‌లుగా మారుతుంది.

ఈ పూలింగ్ పేపర్ స్పష్టంగా పేర్కొన్న ఒక హెచ్చరికను కలిగి ఉంది. RT-X ప్రయోగాల కోసం రచయితలు ప్రతి మూలాన్ని 7-DoF ఎండ్-ఎఫెక్టర్ చర్యగా మారుస్తారు, కానీ డేటాసెట్‌ల అంతటా కోఆర్డినేట్ ఫ్రేమ్‌లను సమలేఖనం చేయరు మరియు ప్రతి రోబోట్ యొక్క అసలు నియంత్రణ పథకం ప్రకారం చర్య విలువలను సంపూర్ణ లేదా సాపేక్ష స్థానాలు లేదా వేగంగా అనుమతిస్తారు. వారి ముగింపు: ఒకే చర్య వెక్టర్ వేర్వేరు రోబోట్‌లకు చాలా భిన్నమైన కదలికలను ప్రేరేపించవచ్చు.

నాలుగు భాగాలుగా అసమతుల్యత

ఎంబోడిమెంట్ మిస్‌మ్యాచ్‌ను సాధారణంగా ఒక అస్పష్టమైన సమస్యగా పరిగణిస్తారు. ఇవి నాలుగు రకాలు, అవి వేర్వేరుగా విఫలమవుతాయి, మరియు రెండింటిని స్క్రిప్టింగ్ ద్వారా పరిష్కరించలేము.

1. డిగ్రీస్ ఆఫ్ ఫ్రీడమ్

ఒక SO-100 ఐదు ఆర్మ్ జాయింట్‌లు మరియు ఒక గ్రిప్పర్‌ను కలిగి ఉంటుంది. మోటార్‌లుగా లెక్కించినప్పుడు అది 6-DoF ఆర్మ్, మరియు SmolVLA పేపర్ దానిని అలా పిలుస్తుంది; పొజిషనింగ్ మెకానిజంగా లెక్కించినప్పుడు అది 5-DoF, మరియు LeRobot దాని ఇన్వర్స్-కైనమాటిక్స్ డాక్‌స్ట్రింగ్‌లో దానిని అలా పిలుస్తుంది, ఇది 5-DOF SO-101లో సాఫ్ట్-ఓరియంటేషన్ IKని వివరిస్తుంది, ఇక్కడ మణికట్టు ఓరియంటేషన్‌ను పాక్షికంగా మాత్రమే ట్రాక్ చేస్తుంది. ఒక Franka ఏడు పొజిషనింగ్ జాయింట్‌లను కలిగి ఉంటుంది. ఆ అంతరం ఏ భంగిమలు ఉన్నాయో నిర్ణయిస్తుంది: 5-DoF ఆర్మ్ సాధారణంగా ఒకేసారి ఏకపక్ష స్థానం మరియు ధోరణిని చేరుకోదు, కాబట్టి సాల్వర్ అది చేరుకోగల దగ్గరి స్థానాన్ని తిరిగి ఇస్తుంది, ఇది ప్రదర్శించిన దాని నుండి భిన్నమైన కదలిక. నేపథ్యం: డిగ్రీస్ ఆఫ్ ఫ్రీడమ్.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

కాబట్టి, సిద్ధంగా ఉన్న DROID చెక్‌పాయింట్ షార్ట్‌కట్ కాదు. ఫిజికల్ ఇంటెలిజెన్స్ pi05_droidని gs://openpi-assets/checkpoints/pi05_droid వద్ద పంపుతుంది, మరియు దాని విస్తృతిని ప్రశంసించే అదే README, ఈ నిపుణుల చెక్‌పాయింట్లు మీ సెటప్‌కు సాధారణీకరించకపోవచ్చని హెచ్చరిస్తుంది. దాని స్థితి ఎనిమిది ఫ్రాంకా జాయింట్ నంబర్‌లు మరియు దాని చిత్ర కీలు exterior_image_1_left మరియు wrist_image_left. ఏ ఫ్లాగ్ కూడా దానిని ఆరు-మోటార్ SO-100 కమాండ్‌గా మార్చదు.

2. యాక్షన్ వెక్టర్ వాస్తవానికి ఏమి చెబుతుంది

డైమెన్షనాలిటీ కంటే లోతుగా. LeRobot మార్పిడులలో, మూడు కూడా గ్రిప్పర్ కార్టేసియన్ స్పేస్‌లో ఎక్కడికి వెళ్లాలో చెబుతాయి. ఒక SO-100 ఆరు సర్వోలు ఎక్కడికి వెళ్లాలో చెబుతుంది. మార్చడానికి కైనమాటిక్ మోడల్ మరియు సాల్వర్ అవసరం, రీషేప్ కాదు.

LeRobot తప్పిపోయిన భాగాన్ని అందిస్తుంది: SO ఫాలోవర్‌లో InverseKinematicsEEToJoints మరియు ForwardKinematicsJointsToEE స్టెప్స్‌తో కూడిన కైనమాటిక్స్ ప్రాసెసర్ ఉంది. దీని కీలు ee.x, ee.y, ee.z ప్లస్ రొటేషన్ వెక్టర్ ee.wx, ee.wy, ee.wz మరియు ee.gripper_pos, కాబట్టి ఓరియంటేషన్ ఎన్‌కోడింగ్ కూడా ఫైల్స్‌లోని రోల్-పిచ్-యా నుండి భిన్నంగా ఉంటుంది. IK స్టెప్ orientation_weightను తీసుకుంటుంది, డిఫాల్ట్ 0.01, దీని డాక్‌స్ట్రింగ్ అండర్-యాక్చుయేటెడ్ ఆర్మ్స్‌పై పొజిషన్-ఓన్లీ IK కోసం 0.0 సెట్ చేయమని చెబుతుంది. మీరు బ్రిడ్జ్‌ను నిర్మించవచ్చు, కానీ అప్పుగా తీసుకున్న ప్రతి యాక్షన్ యొక్క ఓరియంటేషన్ సగం అంచనాగానే ఉంటుంది.

3. కంట్రోల్ రేట్

DROID 15 Hz, BridgeData V2 5 Hz, google_robot స్లైస్ 3 fps; pi0 రచయితలు తమ మిశ్రమంలోని ఓపెన్-సోర్స్ భాగాన్ని 2 మరియు 10 Hz మధ్య తక్కువ-ఫ్రీక్వెన్సీ కంట్రోల్‌గా వివరిస్తారు. LeRobot యొక్క DatasetRecordConfig డిఫాల్ట్‌గా fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. 5 Hz డేటాపై శిక్షణ పొందిన ఒక ఒక యాక్షన్ 200 ms కవర్ చేస్తుందని తెలుసుకుంది. దానిని 30 Hz వద్ద రీప్లే చేస్తే ఆర్మ్ నెమ్మదిగా కదులుతుంది; అమాయకంగా రీశాంపిల్ చేస్తే గ్రిప్పర్ మూసుకునే ఫ్రేమ్‌ను మీరు చెరిపివేస్తారు. ఇది తో కూడా సరిగా పనిచేయదు: 100-స్టెప్ చంక్ 5 Hz వద్ద 20 సెకన్లు, 30 Hz వద్ద 3.3 సెకన్లు.

4. కెమెరాలు

BridgeData V2 ప్రతి 50 ట్రాజెక్టరీలకు రెండు కెమెరా భంగిమలను యాదృచ్ఛికం చేసింది, మరియు దాని ప్రాజెక్ట్ పేజీలో చాలా డేటా స్థిరమైన వీక్షణను మాత్రమే కలిగి ఉందని పేర్కొంది. DROID సర్దుబాటు చేయగల ZED 2 మౌంట్‌లను మరియు మణికట్టు ZED మినీని ఉపయోగించింది. మీరు కంటితో రెండు USB వెబ్‌క్యామ్‌లను ఉంచారు. కెమెరా భంగిమ అనేది ఒక ఇబ్బందికరమైన వేరియబుల్ కాదు ; ఇది విజువల్ ఎన్‌కోడర్ ఆధారపడిన వాటిలో చాలా భాగం, మరియు ఫైల్ ఫార్మాట్‌లో ఏదీ భంగిమలు భిన్నంగా ఉన్నాయని మీకు చెప్పదు.

మీరు డేటాను విలీనం చేయడానికి ప్రయత్నించినప్పుడు ఏమి జరుగుతుంది

స్పష్టమైన ప్రణాళిక ఏమిటంటే: కొన్ని వేల DROID ఎపిసోడ్‌లు ప్లస్ మీ 50ని కలపడం. LeRobot నిరాకరిస్తుంది, మరియు ఆ నిరాకరణ మూడు విభిన్న విషయాలను పేర్కొంటుంది.

1. 1
   పూర్తి 1.7 TB కాకుండా, 100-ఎపిసోడ్ నమూనాను లాగండి.

   2 GB నిర్మాణం చూడటానికి సరిపోతుంది.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS ను LeRobot రూపంలోకి మార్చండి.

   openx2lerobot OXE ప్రామాణిక మార్పులను చుట్టి, రోబోట్ రకం మరియు నియంత్రణ ఫ్రీక్వెన్సీని వివరిస్తుంది. README దీనిని convert.sh లో ఉంచుతుంది.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   మరేదైనా చేసే ముందు meta/info.json చదవండి.

   మీ మిగిలిన రోజు పని చేస్తుందో లేదో ఈ ఫైల్ నిర్ణయిస్తుంది.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   విలీనం చేసి, లోపాన్ని చదవండి.

   merge ప్రతి డేటాసెట్‌ను లోడ్ చేస్తుంది, ఆపై validate_all_metadata జాబితాలోని మొదటి దానితో fps, robot_type మరియు features ను తనిఖీ చేస్తుంది, మొదటి సరిపోలని దానిపై లోపాన్ని పెంచుతుంది.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

మీరు మొదట జాబితా చేసిన డేటాసెట్ నుండి రిఫరెన్స్ విలువలు వస్తాయి, అందుకే సందేశం DROID యొక్క 15 fps కాకుండా మీ 30 fps గురించి ఫిర్యాదు చేస్తుంది. fps ను సరిచేస్తే, మీరు robot_type తనిఖీని ఎదుర్కొంటారు; దానిని సరిచేస్తే, మీరు ఫీచర్ తనిఖీని ఎదుర్కొంటారు, చర్య కోసం 6కి వ్యతిరేకంగా 7. ఏ క్రమం కూడా ఆమోదించబడదు, మరియు sanity_check_dataset_robot_compatibility ద్వారా రికార్డు సమయంలో అదే గార్డు నడుస్తుంది.

అసలు ఏమి బదిలీ అవుతుంది?

ఎపిసోడ్‌లు కాదు, వెయిట్‌లు. ప్రతి ఆధునిక జనరలిస్ట్ పాలసీ ప్రీట్రైనింగ్‌లో కొంత భాగాన్ని గ్రహించింది, మరియు మీరు విడుదలైన నుండి వారసత్వంగా పొందుతారు, దానిని సరిగ్గా చేయడానికి అవసరమైన కంప్యూట్ ఉన్న వ్యక్తులచే ఇప్పటికే సమన్వయం చేయబడింది. pi0 యొక్క పేపర్ నిష్పత్తి గురించి స్పష్టంగా ఉంది: దాని ప్రీ-ట్రైనింగ్ మిశ్రమంలో 9.1 శాతం, టైమ్‌స్టెప్‌లలో లెక్కించబడినది, OXE, Bridge v2 మరియు DROID తో సహా ఓపెన్-సోర్స్ డేటా. ఆ సంఖ్య pi0 యొక్కది; ప్రతి విక్రేత యొక్క మిశ్రమం భిన్నంగా ఉంటుంది.

ఇది ఎందుకంటే SmolVLA తక్కువ-ధర ఆర్మ్‌పై భిన్నంగా ప్రవర్తిస్తుంది. దీని పేపర్ హగ్గింగ్ ఫేస్ నుండి 481 కమ్యూనిటీ డేటాసెట్‌లను ఎంచుకుంటుంది, ఇవి ఎంబోడిమెంట్ రకం, ఎపిసోడ్ కౌంట్, డేటా నాణ్యత మరియు ఫ్రేమ్ కవరేజ్ ద్వారా ఫిల్టర్ చేయబడ్డాయి: 22.9K ఎపిసోడ్‌లు, 10.6M ఫ్రేమ్‌లు, నిజమైన SO-100 మరియు SO-101 ఆర్మ్‌లపై మూల్యాంకనం చేయబడ్డాయి. చిన్నది మరియు సరిపోలినది పెద్దది మరియు సరిపోలని దానిని అధిగమిస్తుంది. దీనిపై పోల్చండి ACT against SmolVLA.

తీసుకోవలసిన మూడు మార్గాలు

మార్గం A: ఇప్పటికే డేటాను స్వీకరించిన చెక్‌పాయింట్ నుండి ఫైన్-ట్యూన్ చేయండి

చాలా మంది దీనిని తీసుకోవాలి. మీరు DROID లేదా Open X-Embodiment ను ఎప్పుడూ తాకరు: క్రాస్-ఎంబోడిమెంట్ డేటాను ఇప్పటికే గ్రహించిన ప్రీట్రైనింగ్ ఉన్న పాలసీని ఎంచుకోండి, మీ స్వంత ఎపిసోడ్‌లను రికార్డ్ చేయండి, ఫైన్-ట్యూన్ చేయండి.

ACT అనేది నిజాయితీ గల అంచు కేసు: బేస్ మోడల్ లేదు, కాబట్టి పబ్లిక్ డేటా ఏదీ దానిని చేరుకోదు. ఇది స్వయంచాలకంగా ప్రతికూలత కాదు, ఎందుకంటే ప్రతి చర్య దశకు 20 ms వద్ద, వేగవంతమైన లూప్‌ను మూసివేయగల ఐదు మోడల్‌లలో ఇది ఒక్కటే, ACT పేజీ వివరించినట్లు. పనిని బట్టి ఎంచుకోండి ఐదు మోడల్‌ల పోలిక, GR00T N1.7 వర్సెస్ Pi0.5, మరియు 85 మోడల్‌లలో 332 బెంచ్‌మార్క్ ఫలితాలు అరేనాలో.

మార్గం B: DROIDని టెస్ట్ ఫిక్చర్‌గా ఉపయోగించండి

100-ఎపిసోడ్ నమూనా ఈ నెలలో మీరు డౌన్‌లోడ్ చేసుకునే ఉత్తమ 2 GB, మరియు శిక్షణ కోసం కాదు. ఇది మీకు సరైనదని తెలిసిన డేటాసెట్. దానిపై మీ కన్వర్టర్, లోడర్ మరియు చిన్న GPU పనిని అమలు చేయండి; విఫలమైన ఏదైనా చౌకగా ఉన్నప్పుడు కనుగొనబడిన మౌలిక సదుపాయాల బగ్. NVIDIA అదే విధంగా పెద్ద ఎత్తున చేస్తుంది: GR00T N1.7 కార్డ్ సింప్లర్‌ఎన్విలో బ్రిడ్జ్ మరియు ఫ్రాక్టల్, DROID మరియు LIBERO కోసం నాలుగు పోస్ట్-ట్రైన్డ్ వేరియంట్‌లను జాబితా చేస్తుంది.

మార్గం C: మీ స్వంతంగా, ఉద్దేశపూర్వకంగా రికార్డ్ చేయండి

ముప్పై నుండి యాభై ఎపిసోడ్‌లు 76,000 పక్కన చిన్నదిగా అనిపిస్తుంది, మీ చేతి, మీ కెమెరాలు మరియు మీ టేబుల్‌తో మీవి మాత్రమే ఉన్నాయని మీరు గుర్తుంచుకునే వరకు. LeRobot డిఫాల్ట్‌ల ప్రకారం, 50 ఎపిసోడ్‌లు 100 నిమిషాల వాల్ క్లాక్ సమయం. చూడండి మీ మొదటి డేటాసెట్‌ను రికార్డ్ చేయండి, SO-100 డేటా సేకరణ మరియు డేటా నాణ్యత గైడ్.

పబ్లిక్ డేటా నుండి పని చేసే పాలసీకి చేరుకోవడానికి రెండు మార్గాలు

ప్రతి మార్గం ఎంత ఖర్చవుతుంది

అసమానత ఇక్కడే ఉంది: ఎక్కువ డేటాను తీసుకునే మార్గం చాలా ఖరీదైనది మరియు మీ చేతిని కదిలించే అవకాశం తక్కువ. మీ స్వంత రెండు గంటల లోపు టెలిఆపరేషన్ ఇతరుల ఫ్రాంకా యొక్క టెరాబైట్ కంటే మెరుగైనది. ఇంకా చేయి లేదా? /live సైన్అప్ లేకుండా భౌతిక SO-100ని ప్రసారం చేస్తుంది. అప్పుడు మీ మొదటి పాలసీని శిక్షణ ఇవ్వండి, మరియు నిర్దిష్ట గైడ్ కోసం SO-100లో SmolVLA.