Paggamit ng DROID, BridgeData V2 at Open X sa isang SO-100

Mayroong isang million-trajectory public dataset sa isang Google Cloud bucket at isang SO-100 sa desk na nagkakahalaga ng 110 hanggang 150 EUR sa mga piyesa. Bakit hindi matuturuan ng una ang pangalawa? Bahagya itong kaya, ngunit halos walang paglilipat na nangyayari kung saan inaasahan ng mga tao, at ang bahagi na mukhang pinakamadali ay hindi gumagana.

Ang sumusunod: kung ano ang nasa loob ng DROID, BridgeData V2 at Open X-Embodiment, kung saan ang bawat isa ay bumabangga sa isang low-cost na 5-DoF arm, at kung ano ang gagawin sa halip. Ang bawat numero sa ibaba ay nagmula sa papel, dataset card o source file na kinabibilangan nito.

Ano ang aktwal na nilalaman ng tatlong dataset

DROID

Ang pinaka-standardized sa tatlo. Isang rig sa lahat ng dako: isang Franka Panda na may Robotiq 2F-85 gripper, dalawang adjustable na ZED 2 stereo camera at isang ZED Mini sa pulso, teleoperated gamit ang Meta Quest 2 controllers, na naitala sa pamamagitan ng Polymetis sa 15 Hz sa parehong joint at end-effector space. Ang mga label ng wika ay dumating kalaunan sa pamamagitan ng tasq.ai, hanggang tatlo bawat episode.

• 76k trajectories, 350 oras, 564 eksena, 84 gawain, 50 kolektor sa tatlong kontinente.
• Ang pangunahing resulta ay co-training, hindi standalone training: ang mga batch na hinaluan ng 50/50 na in-domain na demonstrasyon ay tinalo ang sumunod na pinakamahusay na paraan ng 22 porsiyentong ganap na tagumpay sa distribusyon, 17 porsiyento sa labas nito.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• Isang 2 GB, 100-episode na sample para sa debugging ay matatagpuan sa gs://gresearch/robotics/droid_100. Magsimula doon.

BridgeData V2

Ang pinakamalapit sa isang hobby setup: isang WidowX 250 6-DoF arm, 60,096 trajectories sa 24 na kapaligiran at 13 kasanayan sa 5 Hz. Pansinin ang komposisyon: 50,365 expert teleoperated na demonstrasyon kasama ang 9,731 mula sa isang randomized scripted pick-and-place policy, kaya humigit-kumulang 16 porsiyento ay hindi demonstrasyon ng tao, na mahalaga para sa pag-aaral sa pamamagitan ng panggagaya kalidad. Ang karaniwang download, IPEC-COMMUNITY/bridge_orig_lerobot, ay nag-uulat ng 53,192 episodes at 1,893,026 frames sa 5 fps, robot_type widowx: mas kaunti kaysa sa 60,096 ng papel, kaya basahin ang bilang mula sa meta/info.json sa halip na banggitin ang alinman.

Open X-Embodiment

Hindi isang dataset sa parehong kahulugan: 60 umiiral na dataset ng robot mula sa 34 na lab ang pinagsama sa isang koleksyon ng RLDS na sumasaklaw sa 22 embodiment at mahigit isang milyong trajectory. Ang BridgeData V2 ay nasa loob nito bilang bridge_orig; ang google_robot slice, fractal20220817_data, ay nagko-convert sa 87,212 episode sa 3 fps.

Ang pagsasama-sama ay may kaakibat na babala na diretsahang sinasaad ng papel. Para sa mga eksperimento ng RT-X, kino-convert ng mga may-akda ang bawat source sa isang 7-DoF end-effector action, ngunit hindi nila inaayon ang mga coordinate frame sa iba't ibang dataset, at pinapayagan ang mga action value na maging absolute o relative na posisyon o bilis, ayon sa orihinal na control scheme ng bawat robot. Ang kanilang konklusyon: ang parehong action vector ay maaaring magdulot ng napakaibang galaw para sa iba't ibang robot.

Ang hindi pagtutugma, sa apat na bahagi

Ang embodiment mismatch ay karaniwang tinuturing na isang malabong problema. Apat ito, magkakaiba ang kanilang pagkabigo, at dalawa ay hindi kayang ayusin sa pamamagitan ng scripting.

Mga Antas ng Kalayaan

Ang isang SO-100 ay may limang joint ng braso at isang gripper. Kung bibilangin bilang mga motor, ito ay isang 6-DoF na braso, at tinatawag itong ganoon sa SmolVLA paper; kung bibilangin bilang isang mekanismo ng pagpoposisyon, ito ay 5-DoF, at tinatawag itong ganoon ng LeRobot sa docstring ng inverse-kinematics nito, na naglalarawan ng soft-orientation IK sa 5-DOF SO-101 kung saan bahagya lamang sinusubaybayan ng pulso ang oryentasyon. Ang isang Franka ay may pitong positioning joint. Ang agwat na iyon ang nagpapasya kung anong mga pose ang umiiral: ang isang 5-DoF na braso ay hindi karaniwang makakaabot ng arbitraryong posisyon at oryentasyon nang sabay-sabay, kaya ibinabalik ng solver ang pinakamalapit na kaya nito, isang ibang galaw mula sa ipinakita. Background: mga antas ng kalayaan.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Kaya ang isang handa nang DROID checkpoint ay hindi shortcut. Ang Physical Intelligence ay nagpapadala ng pi05_droid sa gs://openpi-assets/checkpoints/pi05_droid, at ang parehong README na pumupuri sa lawak nito ay nagbabala na ang mga expert checkpoint na ito ay maaaring hindi mag-generalize sa iyong setup. Ang state nito ay walong Franka joint numbers at ang image keys nito ay exterior_image_1_left at wrist_image_left. Walang flag na nagpapalit niyan sa isang six-motor SO-100 command.

2. Ano ang aktwal na sinasabi ng action vector

Mas malalim kaysa sa dimensionality. Sa mga LeRobot conversion, lahat ng tatlo ay nagsasabi kung saan dapat pumunta ang gripper, sa Cartesian space. Ang isang SO-100 ay nagsasabi kung saan dapat pumunta ang anim na servo. Ang pag-convert ay nangangailangan ng kinematic model at isang solver, hindi isang reshape.

Ipinapadala ng LeRobot ang nawawalang bahagi: ang SO follower ay may kinematics processor na may InverseKinematicsEEToJoints at ForwardKinematicsJointsToEE na mga hakbang. Ang mga key nito ay ee.x, ee.y, ee.z kasama ang isang rotation vector na ee.wx, ee.wy, ee.wz at ee.gripper_pos, kaya maging ang orientation encoding ay naiiba sa roll-pitch-yaw sa mga file. Ang hakbang ng IK ay kumukuha ng orientation_weight, default 0.01, na ang docstring ay nagsasabing itakda sa 0.0 para sa position-only IK sa mga under-actuated arm. Maaari mong buuin ang tulay, ngunit ang kalahati ng orientation ng bawat hiniram na aksyon ay nananatiling tinatayang.

3. Rate ng kontrol

Ang DROID ay 15 Hz, BridgeData V2 5 Hz, ang google_robot slice 3 fps; inilalarawan ng mga may-akda ng pi0 ang open-source na bahagi ng kanilang pinaghalong bilang low-frequency control sa pagitan ng 2 at 10 Hz. Ang DatasetRecordConfig ng LeRobot ay nagde-default sa fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Isang na sinanay sa 5 Hz na data ay natutunan na ang isang aksyon ay sumasaklaw ng 200 ms. I-replay ito sa 30 Hz at ang braso ay gumagapang; i-resample nang walang ingat at masisira mo ang frame kung saan sumasara ang gripper. Masama rin itong nakikipag-ugnayan sa : ang isang 100-step na chunk ay 20 segundo sa 5 Hz, 3.3 sa 30 Hz.

4. Mga Kamera

Ang BridgeData V2 ay nag-randomize ng dalawang camera pose bawat 50 trajectory, at ang pahina ng proyekto nito ay nagsasaad na karamihan sa data ay nagdadala lamang ng nakapirming view. Gumamit ang DROID ng adjustable na ZED 2 mounts kasama ang isang wrist ZED Mini. Mayroon kang dalawang USB webcam na nakaposisyon sa pamamagitan ng mata. Ang camera pose ay hindi isang nuisance variable para sa isang ; ito ang karamihan sa kung ano ang pinagbasehan ng visual encoder, at walang anumang sa format ng file ang nagsasabi sa iyo na magkaiba ang mga pose.

Ano ang mangyayari kapag sinubukan mong pagsamahin ang data

Ang malinaw na plano ay pagsamahin: ilang libong DROID episode kasama ang iyong 50. Tumanggi si LeRobot, at ang pagtanggi ay nagbanggit ng tatlong bagay na magkaiba.

1. 1
   Kunin ang 100-episode na sample, hindi ang buong 1.7 TB

   Sapat na ang 2 GB upang makita ang istraktura.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   I-convert ang RLDS sa LeRobot na porma

   Ang openx2lerobot ay sumasaklaw sa mga standard na transformation ng OXE at naglalagay ng anotasyon sa uri ng robot at dalas ng kontrol. Inilalagay ito ng README sa convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Basahin ang meta/info.json bago ang anupaman

   Ang file na ito ang magpapasya kung gagana ang natitirang bahagi ng iyong araw.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Subukan ang pagsasama at basahin ang error

   Ang merge ay naglo-load ng bawat dataset, pagkatapos ay sinusuri ng validate_all_metadata ang fps, robot_type at mga feature laban sa una sa listahan, at naglalabas ng error sa unang hindi pagtutugma.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Ang mga reference value ay nagmumula sa dataset na una mong inilista, kaya ang mensahe ay nagrereklamo tungkol sa iyong 30 fps sa halip na 15 ng DROID. Ayusin ang fps at matutugunan mo ang robot_type check; ayusin iyon at matutugunan mo ang feature check, 7 laban sa 6 para sa action. Walang pag-oorder ang makakadaan, at ang parehong guard ay tumatakbo sa oras ng pag-record sa pamamagitan ng sanity_check_dataset_robot_compatibility.

Kaya, ano ba talaga ang naililipat?

Mga timbang (weights), hindi mga episode. Bawat modernong pangkalahatang patakaran ay sumipsip ng ilan dito sa pretraining, at kapag ikaw ay mula sa isang inilabas na ay namana mo na ito na naayos na ng mga taong may sapat na compute upang magawa ito nang tama. Ang papel ni pi0 ay tapat tungkol sa proporsyon: 9.1 porsiyento ng pre-training mixture nito, binilang sa timesteps, ay open-source data kabilang ang OXE, Bridge v2 at DROID. Ang bilang na iyon ay kay pi0; magkakaiba ang mixture ng bawat vendor.

Ito ang dahilan kung bakit SmolVLA ay kumikilos nang iba sa isang murang braso. Ang papel nito ay pumipili ng 481 dataset ng komunidad mula sa Hugging Face, na sinala batay sa uri ng embodiment, bilang ng episode, kalidad ng data at saklaw ng frame: 22.9K episode, 10.6M frame, na sinuri sa totoong SO-100 at SO-101 na braso. Ang maliit at tugma ay mas mahusay kaysa sa malaki at hindi tugma. Ihambing sa ACT against SmolVLA.

Tatlong landas na sulit tahakin

Landas A: fine-tune mula sa isang checkpoint na nakakain na ng data

Karamihan sa mga tao ay dapat tahakin ito. Hindi mo kailangang galawin ang DROID o Open X-Embodiment: pumili ng isang policy na ang pretraining ay nakasipsip na ng cross-embodiment data, i-record ang sarili mong mga episode, at i-fine-tune.

Ang ACT ay ang tapat na edge case: walang base model, kaya walang pampublikong data ang nakakarating dito. Hindi ito awtomatikong kawalan, dahil sa 20 ms bawat hakbang ng aksyon, ito lamang ang isa sa lima na kayang magsara ng mabilis na loop, tulad ng pahina ng ACT, na nakasaad. Pumili ayon sa gawain gamit ang lahat ng limang pinaghambing, GR00T N1.7 laban sa Pi0.5, at ang 332 resulta ng benchmark sa 85 modelo sa ang arena.

Path B: gamitin ang DROID bilang test fixture

Ang 100-episode sample ay ang pinakamahusay na 2 GB na iyong ida-download ngayong buwan, at hindi para sa pagsasanay. Ito ay isang dataset na alam mong tama. Patakbuhin ang iyong converter, loader at isang maikling GPU job dito; anumang mag-fail ay isang infrastructure bug na natagpuan habang mura pa. Ginagawa rin ng NVIDIA ang pareho sa malaking sukat: ang GR00T N1.7 card ay naglilista ng apat na post-trained variant, para sa Bridge at Fractal sa SimplerEnv, DROID at LIBERO.

Path C: i-record ang sarili mo, nang sinasadya

Tatlumpu hanggang limampu ay tila maliit kumpara sa 76,000 hanggang sa maalala mong ang sa iyo lang ang may sarili mong braso, mga camera at mesa. Sa mga default ng LeRobot, ang 50 episodes ay 100 minuto ng wall clock. Tingnan ang , at .

Dalawang paraan upang makakuha mula sa pampublikong data patungo sa isang gumaganang patakaran

Gastos ng bawat landas

Ang asimetriya ang punto: ang landas na humihiram ng pinakamaraming data ay ang pinakamahal at pinakamababang posibilidad na igalaw ang iyong braso. Sa ilalim ng dalawang oras ng iyong sariling teleoperasyon ay mas mahusay kaysa sa isang terabyte ng Franka ng iba. Wala pang braso? /live nag-stream ng pisikal na SO-100 nang walang pagpaparehistro. Pagkatapos sanayin ang iyong unang patakaran, at SmolVLA on SO-100 para sa partikular na gabay.