SO-100 මත DROID, BridgeData V2 සහ Open X භාවිතා කිරීම

Google Cloud බකට් එකක මිලියන ගණනක ගමන් පථ සහිත පොදු දත්ත කට්ටලයක් සහ SO-100 මේසය මත ඇති අතර එහි කොටස් සඳහා 110 සිට 150 EUR දක්වා වැය විය. පළමුවැන්නට දෙවැන්නට ඉගැන්විය නොහැක්කේ ඇයි? එය අර්ධ වශයෙන් කළ හැකි නමුත්, මිනිසුන් අපේක්ෂා කරන තැන මාරුවීම් කිසිවක් පාහේ සිදු නොවන අතර, පහසුම ලෙස පෙනෙන කොටස කිසිසේත් ක්‍රියා නොකරයි.

පහත දැක්වෙන්නේ: ඇතුළත ඇති දේ DROID, BridgeData V2 සහ Open X-Embodiment, එහිදී සෑම එකක්ම අඩු වියදම් 5-DoF අතක් සමඟ ගැටෙන ආකාරය සහ ඒ වෙනුවට කළ යුතු දේ. පහත සෑම අංකයක්ම එයට අදාළ පත්‍රිකාවෙන්, දත්ත කට්ටල කාඩ්පතෙන් හෝ මූලාශ්‍ර ගොනුවෙන් ලබා ගන්නා ලදී.

දත්ත කට්ටල තුනේ ඇත්ත වශයෙන්ම අඩංගු දේ

DROID

තුනෙන් වඩාත්ම ප්‍රමිතිගත එක. සෑම තැනකම එකම රිග් එකක්: Robotiq 2F-85 ග්‍රිපරයක් සහිත Franka Panda රොබෝවරයෙක්, වෙනස් කළ හැකි ZED 2 ස්ටීරියෝ කැමරා දෙකක් සහ මැණික් කටුවෙහි ZED Mini එකක්, Meta Quest 2 පාලක භාවිතයෙන් දුරස්ථව ක්‍රියාත්මක කරන ලදී, Polymetis හරහා 15 Hz වේගයකින් සන්ධි සහ අවසාන-ක්‍රියාකාරකය අවකාශය. භාෂා ලේබල පසුව tasq.ai හරහා පැමිණියේය, එක් කථාංගයකට.

• 76k ගමන් මාර්ග, පැය 350, දර්ශන 564, කාර්යයන් 84, මහාද්වීප තුනක එකතු කරන්නන් 50ක්.
• ප්‍රධාන ප්‍රතිඵලය වන්නේ ස්වාධීන පුහුණුවක් නොව සම-පුහුණුවයි: 50/50 අනුපාතයට අභ්‍යන්තර-වසම් නිරූපණ සමඟ මිශ්‍ර කළ කණ්ඩායම්, බෙදාහැරීමේදී 22% ක නිරපේක්ෂ සාර්ථකත්වයකින් සහ එයින් පිටත 17% කින් ඊළඟ හොඳම ක්‍රමය පරාජය කළේය.
• IPEC-COMMUNITY/droid_lerobot: කථාංග 92,233, රාමු 27,044,326, franka, 15 fps, codebase_version v2.0, 180x320 හි AV1 ප්‍රවාහ තුනක්, 392 GB.
• 2 GB, කථාංග 100 කින් යුත් දෝෂ නිවැරදි කිරීමේ සාම්පලයක් gs://gresearch/robotics/droid_100 හි ඇත. එතැනින් ආරම්භ කරන්න.

BridgeData V2

විනෝදාංශ සැකසුමකට ආසන්නතම: WidowX 250 6-DoF අතක්, පරිසර 24ක් සහ කුසලතා 13ක් හරහා 60,096 ගමන් මාර්ග 5 Hz වේගයකින්. සංයුතිය සටහන් කරන්න: විශේෂඥ දුරස්ථ ක්‍රියාකාරී නිරූපණ 50,365ක් සහ අහඹු ලෙස සකස් කරන ලද තෝරාගැනීමේ සහ තැබීමේ ප්‍රතිපත්තියකින් 9,731ක්, එබැවින් ආසන්න වශයෙන් 16%ක් මානව නිරූපණ නොවේ, එය වැදගත් වන්නේ අනුකරණ ඉගෙනීම ගුණාත්මකභාවය සඳහාය. සාමාන්‍ය බාගත කිරීම, IPEC-COMMUNITY/bridge_orig_lerobot, කථාංග 53,192ක් සහ රාමු 1,893,026ක් 5 fps වේගයකින්, robot_type widowx: පත්‍රිකාවේ 60,096ට වඩා අඩු බව වාර්තා කරයි, එබැවින් meta/info.json වෙතින් ගණන කියවන්න, ඒ දෙකෙන් එකක්වත් උපුටා නොදක්වා.

Open X-Embodiment

එකම අර්ථයෙන් දත්ත කට්ටලයක් නොවේ: විද්‍යාගාර 34කින් ලබාගත් පවතින රොබෝ දත්ත කට්ටල 60ක් එක් RLDS එකතුවකට ඒකාබද්ධ කර ඇත, එය එම්බොඩිමන්ට් 22ක් සහ මිලියනයකට අධික ගමන් පථ ආවරණය කරයි. BridgeData V2, bridge_orig ලෙස එහි අන්තර්ගත වේ; google_robot slice, fractal20220817_data, 3 fps වේගයකින් කථාංග 87,212ක් බවට පරිවර්තනය වේ.

මෙම ඒකාබද්ධ කිරීමේදී පත්‍රිකාවේ පැහැදිලිව සඳහන් වන අනතුරු ඇඟවීමක් ඇත. RT-X අත්හදා බැලීම් සඳහා, කතුවරුන් එක් එක් මූලාශ්‍රය 7-DoF end-effector ක්‍රියාවක් බවට පරිවර්තනය කරයි, නමුත් දත්ත කට්ටල හරහා ඛණ්ඩාංක රාමු පෙළගස්වන්නේ නැත, සහ එක් එක් රොබෝවරයාගේ මුල් පාලන ක්‍රමයට අනුව, ක්‍රියා අගයන් නිරපේක්ෂ හෝ සාපේක්ෂ පිහිටීම් හෝ ප්‍රවේග වීමට ඉඩ සලසයි. ඔවුන්ගේ නිගමනය: එකම ක්‍රියා දෛශිකය විවිධ රොබෝවරුන් සඳහා ඉතා වෙනස් චලනයන් ඇති කළ හැකිය.

කොටස් හතරකින් යුත් නොගැලපීම

ශරීරගත නොගැලපීම සාමාන්‍යයෙන් එක් අපැහැදිලි ගැටලුවක් ලෙස සලකනු ලැබේ. ඒවා හතරකි, ඒවා විවිධ ආකාරයෙන් අසාර්ථක වන අතර, දෙකක් ස්ක්‍රිප්ටින් මගින් නිවැරදි කළ නොහැක.

1. නිදහස් අංශක

SO-100 එකකට අත් සන්ධි පහක් සහ ග්‍රිපරයක් ඇත. මෝටර ලෙස ගණන් බැලීමේදී එය 6-DoF අතක් වන අතර, SmolVLA පත්‍රිකාව එය එසේ හඳුන්වයි; ස්ථානගත කිරීමේ යාන්ත්‍රණයක් ලෙස ගණන් බැලීමේදී එය 5-DoF වන අතර, LeRobot එහි ප්‍රතිලෝම චාලක විද්‍යා docstring හි එය එසේ හඳුන්වයි, එහිදී මැණික් කටුව අර්ධ වශයෙන් පමණක් දිශානතිය නිරීක්ෂණය කරන 5-DOF SO-101 මත මෘදු-දිශානති IK විස්තර කරයි. ෆ්‍රැන්කා එකකට ස්ථානගත කිරීමේ සන්ධි හතක් ඇත. එම පරතරය පවතින ඉරියව් මොනවාදැයි තීරණය කරයි: 5-DoF අතකට සාමාන්‍යයෙන් එකවර අත්තනෝමතික ස්ථානයකට සහ දිශානතියකට ළඟා විය නොහැක, එබැවින් විසඳුම්කරුට ළඟා විය හැකි ආසන්නතම දේ ආපසු ලබා දෙයි, එය නිරූපණය කළ චලනයට වඩා වෙනස් චලනයකි. පසුබිම: නිදහස් අංශක.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

එබැවින් සූදානම් කළ DROID චෙක්පොයින්ට් එකක් කෙටි මාර්ගයක් නොවේ. Physical Intelligence විසින් pi05_droid gs://openpi-assets/checkpoints/pi05_droid හිදී නිකුත් කරන අතර, එහි විස්තීර්ණත්වය අගය කරන එම README මඟින් මෙම විශේෂඥ චෙක්පොයින්ට් ඔබේ සැකසුමට සාමාන්‍යකරණය නොවිය හැකි බවට අනතුරු අඟවයි. එහි තත්ත්වය ෆ්‍රැන්කා සන්ධි අංක අටක් වන අතර එහි රූප යතුරු exterior_image_1_left සහ wrist_image_left වේ. කිසිදු ධජයක් එය හය-මෝටර් SO-100 විධානයක් බවට පත් නොකරයි.

2. ක්‍රියාකාරී දෛශිකය ඇත්ත වශයෙන්ම පවසන්නේ කුමක්ද

මානවලට වඩා ගැඹුරින්. LeRobot පරිවර්තන වලදී තුනම පවසන්නේ ග්‍රිපරය කාටීසියානු අවකාශයේ කොතැනට යා යුතුද යන්නයි. SO-100 එකක් පවසන්නේ සර්වෝ හයක් කොතැනට යා යුතුද යන්නයි. පරිවර්තනය කිරීමට චාලක ආකෘතියක් සහ විසඳුමක් අවශ්‍ය වන අතර, නැවත හැඩගැන්වීමක් නොවේ.

LeRobot අතුරුදහන් වූ කොටස සපයයි: SO follower සතුව InverseKinematicsEEToJoints සහ ForwardKinematicsJointsToEE පියවර සහිත චාලක විද්‍යා ප්‍රොසෙසරයක් ඇත. එහි යතුරු ee.x, ee.y, ee.z සහ භ්‍රමණ දෛශිකයක් වන ee.wx, ee.wy, ee.wz සහ ee.gripper_pos වේ, එබැවින් දිශානති කේතීකරණය පවා ගොනු වල ඇති roll-pitch-yaw වලින් වෙනස් වේ. IK පියවර orientation_weight එකක් ගනී, පෙරනිමිය 0.01 වේ, එහි docstring පවසන්නේ under-actuated arms මත පිහිටීම-පමණක් IK සඳහා 0.0 ලෙස සැකසීමටය. ඔබට පාලම ගොඩනැගිය හැක, නමුත් සෑම ණයට ගත් ක්‍රියාවකම දිශානති අර්ධය ආසන්න වශයෙන් පවතී.

3. පාලන අනුපාතය

DROID 15 Hz වේ, BridgeData V2 5 Hz වේ, google_robot slice එක 3 fps වේ; pi0 හි කතුවරුන් ඔවුන්ගේ මිශ්‍රණයේ විවෘත මූලාශ්‍ර කොටස 2 සහ 10 Hz අතර අඩු-සංඛ්‍යාත පාලනයක් ලෙස විස්තර කරයි. LeRobot හි DatasetRecordConfig පෙරනිමියෙන් fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50 වේ. 5 Hz දත්ත මත පුහුණු කරන ලද එක් ක්‍රියාවක් 200 ms ආවරණය කරන බව ඉගෙන ගත්තේය. එය 30 Hz දී නැවත ධාවනය කළහොත් අත බඩගා යයි; අහිංසක ලෙස නැවත නියැදි කළහොත් ග්‍රිපරය වැසෙන රාමුව බොඳ වේ. එය සමඟද නරක ලෙස අන්තර්ක්‍රියා කරයි: 100-පියවර ඛණ්ඩයක් 5 Hz දී තත්පර 20 ක් වන අතර, 30 Hz දී 3.3 කි.

4. කැමරා

BridgeData V2 සෑම ගමන් පථ 50කට වරක් කැමරා ඉරියව් දෙකක් අහඹු ලෙස තෝරා ගත් අතර, එහි ව්‍යාපෘති පිටුවේ සඳහන් වන්නේ දත්තවලින් වැඩි ප්‍රමාණයක් ස්ථාවර දසුන පමණක් රැගෙන යන බවයි. DROID විසින් සකස් කළ හැකි ZED 2 සවිකිරීම් සහ මැණික් කටුවෙහි ZED Mini එකක් භාවිතා කරන ලදී. ඔබට ඇසින් ස්ථානගත කරන ලද USB වෙබ් කැමරා දෙකක් තිබේ. කැමරා ඉරියව්ව කරදරකාරී විචල්‍යයක් නොවේ ; එය දෘශ්‍ය කේතකය අවධානය යොමු කළ බොහෝ දේ වන අතර, ගොනු ආකෘතියේ කිසිවක් ඉරියව් වෙනස් බව ඔබට නොකියයි.

ඔබ කෙසේ හෝ දත්ත ඒකාබද්ධ කිරීමට උත්සාහ කරන විට කුමක් සිදුවේද

පැහැදිලි සැලැස්ම වන්නේ DROID කථාංග දහස් ගණනක් සහ ඔබේ 50 එකට එකතු කිරීමයි. LeRobot එය ප්‍රතික්ෂේප කරන අතර, එම ප්‍රතික්ෂේප කිරීම වෙනස් වන කරුණු තුන නම් කරයි.

1. 1
   සම්පූර්ණ 1.7 TB වෙනුවට කථාංග 100ක සාම්පලය ලබා ගන්න

   ව්‍යුහය දැකීමට 2 GB ප්‍රමාණවත් වේ.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS, LeRobot ආකෘතියට පරිවර්තනය කරන්න

   openx2lerobot මඟින් OXE සම්මත පරිවර්තන ආවරණය කරන අතර රොබෝ වර්ගය සහ පාලන සංඛ්‍යාතය සටහන් කරයි. README ගොනුවේ මෙය convert.sh තුළ ඇත.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   වෙනත් ඕනෑම දෙයකට පෙර meta/info.json කියවන්න

   ඔබේ දවසේ ඉතිරි වැඩ කටයුතු සාර්ථක වේද යන්න මෙම ගොනුව තීරණය කරයි.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   ඒකාබද්ධ කිරීම උත්සාහ කර දෝෂය කියවන්න

   merge මඟින් සෑම දත්ත කට්ටලයක්ම පූරණය කරන අතර, පසුව validate_all_metadata මඟින් fps, robot_type සහ features ලැයිස්තුවේ ඇති පළමු එකට එරෙහිව පරීක්ෂා කරයි, පළමු නොගැලපීම මත දෝෂයක් ඇති කරයි.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

යොමු අගයන් පැමිණෙන්නේ ඔබ මුලින්ම ලැයිස්තුගත කළ දත්ත කට්ටලයෙන් වන අතර, පණිවිඩය DROID හි 15 වෙනුවට ඔබේ 30 fps ගැන පැමිණිලි කරන්නේ එබැවිනි. fps නිවැරදි කළ විට ඔබට robot_type පරීක්ෂාවට මුහුණ දීමට සිදුවේ; එය නිවැරදි කළ විට ඔබට action සඳහා 6ට එරෙහිව 7ක් වන feature පරීක්ෂාවට මුහුණ දීමට සිදුවේ. කිසිදු අනුපිළිවෙලක් හරහා නොයන අතර, sanity_check_dataset_robot_compatibility හරහා වාර්තා කරන අවස්ථාවේදීද එම ආරක්ෂක පරීක්ෂාව ක්‍රියාත්මක වේ.

එසේනම් ඇත්ත වශයෙන්ම මාරු වන්නේ කුමක්ද?

බර, කථාංග නොවේ. සෑම නවීන සාමාන්‍ය ප්‍රතිපත්තියක්ම පූර්ව පුහුණුවේදී එයින් කොටසක් උකහා ගත් අතර, ඔබ සියුම්-සුසර කිරීම නිකුත් කරන ලද චෙක්පොයින්ට් වෙතින්, එය නිසි ලෙස සිදු කිරීමට අවශ්‍ය පරිගණක බලය ඇති පුද්ගලයන් විසින් දැනටමත් සමථයකට පත් කර ඇති දේ ඔබට උරුම වේ. pi0 ගේ පත්‍රිකාව අනුපාතය පිළිබඳව අවංක ය: එහි පූර්ව පුහුණු මිශ්‍රණයේ 9.1% ක්, කාල පියවර වලින් ගණනය කරනු ලබන්නේ, OXE, Bridge v2 සහ DROID ඇතුළු විවෘත මූලාශ්‍ර දත්ත ය. එම අගය pi0 ගේ ය; එක් එක් විකුණුම්කරුගේ මිශ්‍රණය වෙනස් වේ.

මේ නිසා SmolVLA අඩු වියදම් අතක් මත වෙනස් ලෙස හැසිරෙන්නේ. එහි පත්‍රිකාව Hugging Face වෙතින් ප්‍රජා දත්ත කට්ටල 481ක් තෝරා ගනී, ඒවා ශරීර වර්ගය, කථාංග ගණන, දත්ත ගුණාත්මකභාවය සහ රාමු ආවරණය අනුව පෙරහන් කර ඇත: සැබෑ SO-100 සහ SO-101 අත් මත ඇගයීමට ලක් කරන ලද කථාංග 22.9K, රාමු 10.6M. කුඩා සහ ගැලපෙන දේ විශාල සහ නොගැලපෙන දේ පරදවයි. සසඳන්න ACT SmolVLA ට එරෙහිව.

ගත යුතු මාර්ග තුනක්

මාර්ගය A: දත්ත දැනටමත් අවශෝෂණය කර ඇති චෙක්පොයින්ට් එකකින් fine-tune කරන්න

බොහෝ දෙනා මෙය තෝරා ගත යුතුය. ඔබ කිසිවිටෙක DROID හෝ Open X-Embodiment ස්පර්ශ නොකරයි: cross-embodiment දත්ත දැනටමත් අවශෝෂණය කර ඇති ප්‍රතිපත්තියක් තෝරා ගන්න, ඔබේම කථාංග පටිගත කරන්න, fine-tune කරන්න.

ACT යනු අවංක දාර අවස්ථාවයි: මූලික ආකෘතියක් නොමැති බැවින්, කිසිදු පොදු දත්තයක් එයට ළඟා නොවේ. මෙය ස්වයංක්‍රීයව අවාසියක් නොවේ, මන්ද ක්‍රියාකාරී පියවරකට 20 ms බැගින් එය වේගවත් ලූපයක් වසා දැමිය හැකි ආකෘති පහෙන් එකම එක වන බැවිනි, ACT පිටුව එහි සඳහන් වේ. කාර්යය අනුව තෝරා ගන්න පහම සංසන්දනය කර ඇත, GR00T N1.7 Pi0.5 ට එරෙහිව, සහ ආකෘති 85 ක 332 ක මිණුම් සලකුණු ප්‍රතිඵල අරීනා.

මාර්ගය B: DROID පරීක්ෂණ සවිකිරීමක් ලෙස භාවිතා කරන්න

කථාංග 100 ක නියැදිය මෙම මාසයේ ඔබ බාගත කරන හොඳම 2 GB වන අතර එය පුහුණුව සඳහා නොවේ. එය නිවැරදි බව ඔබ දන්නා දත්ත කට්ටලයකි. ඔබේ පරිවර්තකය, ලෝඩරය සහ කෙටි GPU කාර්යයක් ඒ මත ධාවනය කරන්න; අසාර්ථක වන ඕනෑම දෙයක් ලාභදායීව තිබියදී සොයාගත් යටිතල පහසුකම් දෝෂයකි. NVIDIA විශාල පරිමාණයෙන් ද එයම කරයි: GR00T N1.7 කාඩ්පත SimplerEnv හි Bridge සහ Fractal, DROID සහ LIBERO සඳහා පුහුණුවෙන් පසු ප්‍රභේද හතරක් ලැයිස්තුගත කරයි.

මාර්ගය C: ඔබේම දත්ත හිතාමතාම පටිගත කරන්න

තිහේ සිට පනහ දක්වා 76,000ක් අසලදී කුඩා සංඛ්‍යාවක් ලෙස පෙනුනත්, ඔබේ අත, කැමරා සහ මේසය සමඟ ඇති එකම දත්ත ඔබේ බව මතක තබා ගන්න. LeRobot හි පෙරනිමි සැකසුම් අනුව, කථාංග 50ක් යනු සැබෑ කාලයෙන් මිනිත්තු 100කි. බලන්න , සහ .

පොදු දත්ත වලින් ක්‍රියාකාරී ප්‍රතිපත්තියක් වෙත ළඟා වීමට ක්‍රම දෙකක්

එක් එක් මාර්ගය සඳහා වැයවන පිරිවැය

The asymmetry is the point: the path that borrows the most data is the most expensive and least likely to move your arm. Under two hours of your own teleoperation beats a terabyte of somebody else's Franka. No arm yet? /live streams a physical SO-100 with no signup. Then train your first policy, and SmolVLA on SO-100 for the specific guide.