Menggunakan DROID, BridgeData V2 dan Open X pada SO-100

Terdapat set data awam berjuta-juta trajektori pada baldi Google Cloud dan di atas meja yang berharga 110 hingga 150 EUR dalam bahagian. Mengapa yang pertama tidak boleh mengajar yang kedua? Ia sebahagiannya boleh, tetapi hampir tiada pemindahan berlaku di mana orang menjangkakan, dan bahagian yang kelihatan paling mudah tidak berfungsi sama sekali.

Apa yang berikut: apa yang ada di dalam , dan , di mana setiap satu bertembung dengan lengan 5-DoF kos rendah, dan apa yang perlu dilakukan sebaliknya. Setiap nombor di bawah datang dari kertas kerja, kad set data atau fail sumber yang berkaitan dengannya.

Apa yang sebenarnya terkandung dalam tiga set data

DROID

Yang paling piawai antara ketiga-tiganya. Satu persediaan di mana-mana: Franka Panda dengan pengepit Robotiq 2F-85, dua kamera stereo ZED 2 boleh laras dan ZED Mini pergelangan tangan, dikendalikan dari jauh dengan pengawal Meta Quest 2, dirakam melalui Polymetis pada 15 Hz dalam kedua-dua ruang sendi dan penggerak akhir ruang. Label bahasa datang kemudian melalui tasq.ai, sehingga tiga setiap episod.

• 76k trajektori, 350 jam, 564 babak, 84 tugas, 50 pengumpul di tiga benua.
• Hasil utama adalah latihan bersama (co-training), bukan latihan kendiri (standalone training): kelompok yang dicampur 50/50 dengan demonstrasi dalam domain mengalahkan kaedah terbaik seterusnya sebanyak 22 peratus kejayaan mutlak dalam pengedaran, 17 peratus di luar itu.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• Sampel penyahpepijatan 2 GB, 100 episod terletak di gs://gresearch/robotics/droid_100. Mulakan dari sana.

BridgeData V2

Yang paling hampir dengan persediaan hobi: lengan WidowX 250 6-DoF, 60,096 trajektori merentasi 24 persekitaran dan 13 kemahiran pada 5 Hz. Perhatikan komposisinya: 50,365 demonstrasi teleoperasi pakar ditambah 9,731 daripada polisi pilih-dan-letak berskrip rawak, jadi kira-kira 16 peratus bukanlah demonstrasi manusia, yang penting untuk pembelajaran tiruan kualiti. Muat turun biasa, IPEC-COMMUNITY/bridge_orig_lerobot, melaporkan 53,192 episod dan 1,893,026 bingkai pada 5 fps, robot_type widowx: kurang daripada 60,096 dalam kertas kerja, jadi baca kiraan dari meta/info.json daripada memetik mana-mana satu.

Open X-Embodiment

Bukan set data dalam erti kata yang sama: 60 set data robot sedia ada dari 34 makmal digabungkan menjadi satu koleksi RLDS yang meliputi 22 jelmaan dan lebih sejuta trajektori. BridgeData V2 berada di dalamnya sebagai bridge_orig; hirisan google_robot, fractal20220817_data, menukar kepada 87,212 episod pada 3 fps.

Penggabungan ini mempunyai peringatan yang dinyatakan secara terang-terangan dalam kertas kerja. Untuk eksperimen RT-X, penulis menukar setiap sumber kepada tindakan hujung-efektor 7-DoF, tetapi tidak menyelaraskan bingkai koordinat merentasi set data, dan membenarkan nilai tindakan menjadi kedudukan atau halaju mutlak atau relatif, mengikut skema kawalan asal setiap robot. Kesimpulan mereka: vektor tindakan yang sama mungkin menghasilkan gerakan yang sangat berbeza untuk robot yang berbeza.

Ketidakpadanan, dalam empat bahagian

Ketidakpadanan perwujudan biasanya dianggap sebagai satu masalah yang samar-samar. Sebenarnya ada empat, ia gagal secara berbeza, dan dua daripadanya tidak boleh diperbaiki dengan skrip.

1. Darjah kebebasan

SO-100 mempunyai lima sendi lengan ditambah satu pengepit. Dikira sebagai motor, ia adalah lengan 6-DoF, dan kertas SmolVLA memanggilnya begitu; dikira sebagai mekanisme penentu kedudukan, ia adalah 5-DoF, dan LeRobot memanggilnya begitu dalam docstring kinematik songsangnya, yang menerangkan IK orientasi lembut pada SO-101 5-DOF di mana pergelangan tangan menjejaki orientasi hanya sebahagian. Franka mempunyai tujuh sendi penentu kedudukan. Jurang itu menentukan pose mana yang wujud: lengan 5-DoF secara amnya tidak dapat mencapai kedudukan dan orientasi sewenang-wenangnya sekaligus, jadi penyelesai mengembalikan yang paling hampir yang boleh, gerakan yang berbeza daripada yang ditunjukkan. Latar belakang: darjah kebebasan.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Jadi, titik semak DROID yang siap pakai bukanlah jalan pintas. Physical Intelligence menghantar pi05_droid di gs://openpi-assets/checkpoints/pi05_droid, dan README yang sama yang memuji keluasan liputannya memberi amaran bahawa titik semak pakar ini mungkin tidak dapat digeneralisasikan kepada persediaan anda. Keadaannya adalah lapan nombor sendi Franka dan kunci imejnya adalah exterior_image_1_left dan wrist_image_left. Tiada bendera yang mengubahnya menjadi arahan SO-100 enam motor.

2. Apa yang sebenarnya dinyatakan oleh vektor tindakan

Lebih mendalam daripada dimensionaliti. Dalam penukaran LeRobot, ketiga-tiganya menyatakan ke mana pengepit harus pergi, dalam ruang Cartesian. SO-100 menyatakan ke mana enam servo harus pergi. Penukaran memerlukan model kinematik dan penyelesai, bukan pembentukan semula.

LeRobot memang menyediakan bahagian yang hilang: pengikut SO mempunyai pemproses kinematik dengan langkah InverseKinematicsEEToJoints dan ForwardKinematicsJointsToEE. Kuncinya ialah ee.x, ee.y, ee.z ditambah vektor putaran ee.wx, ee.wy, ee.wz dan ee.gripper_pos, jadi pengekodan orientasi pun berbeza daripada roll-pitch-yaw dalam fail. Langkah IK mengambil orientation_weight, lalai 0.01, yang docstringnya menyatakan untuk menetapkan 0.0 untuk IK kedudukan-sahaja pada lengan yang kurang digerakkan. Anda boleh membina jambatan itu, tetapi separuh orientasi setiap tindakan yang dipinjam kekal dianggarkan.

3. Kadar kawalan

DROID ialah 15 Hz, BridgeData V2 5 Hz, hirisan google_robot 3 fps; pengarang pi0 menerangkan bahagian sumber terbuka campuran mereka sebagai kawalan frekuensi rendah antara 2 dan 10 Hz. DatasetRecordConfig LeRobot lalai kepada fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Satu yang dilatih pada data 5 Hz mendapati bahawa satu tindakan meliputi 200 ms. Main semula pada 30 Hz dan lengan akan merangkak; sampel semula secara naif dan anda akan mengaburkan bingkai di mana pencengkam tertutup. Ia juga berinteraksi dengan teruk dengan : satu segmen 100 langkah ialah 20 saat pada 5 Hz, 3.3 pada 30 Hz.

4. Kamera

BridgeData V2 merandomkan dua pose kamera setiap 50 trajektori, dan halaman projeknya menyatakan kebanyakan data hanya membawa pandangan tetap. DROID menggunakan pelekap ZED 2 boleh laras serta ZED Mini pergelangan tangan. Anda mempunyai dua webcam USB yang diletakkan secara manual. Pose kamera bukanlah pemboleh ubah yang mengganggu bagi ; ia adalah sebahagian besar daripada apa yang dikunci oleh pengekod visual, dan tiada apa-apa dalam format fail yang memberitahu anda bahawa pose-pose tersebut berbeza.

Apa yang berlaku jika anda cuba menggabungkan data itu juga

Rancangan yang jelas adalah untuk menggabungkan: beberapa ribu episod DROID ditambah 50 episod anda. LeRobot menolak, dan penolakan itu menamakan tiga perkara yang berbeza.

1. 1
   Tarik sampel 100 episod, bukan 1.7 TB penuh

   2 GB sudah cukup untuk melihat strukturnya.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Tukar RLDS ke format LeRobot

   openx2lerobot merangkumi transformasi standard OXE dan menganotasi jenis robot serta frekuensi kawalan. README meletakkan ini dalam convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Baca meta/info.json sebelum perkara lain

   Fail ini menentukan sama ada kerja anda yang lain akan berfungsi.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Cuba gabungan dan baca ralatnya

   gabungan memuatkan setiap set data, kemudian validate_all_metadata menyemak fps, robot_type dan ciri-ciri berbanding yang pertama dalam senarai, membangkitkan ralat pada ketidakpadanan pertama.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Nilai rujukan datang daripada set data mana yang anda senaraikan dahulu, itulah sebabnya mesej itu mengadu tentang 30 fps anda dan bukannya 15 fps DROID. Betulkan fps dan anda akan menghadapi semakan robot_type; betulkan itu dan anda akan menghadapi semakan ciri, 7 berbanding 6 untuk tindakan. Tiada susunan yang akan berjaya, dan pengawal yang sama berjalan pada masa rakaman melalui sanity_check_dataset_robot_compatibility.

Jadi apa yang sebenarnya dipindahkan?

Bobot, bukan episod. Setiap polisi generalis moden menyerap sebahagian daripadanya dalam pra-latihan, dan apabila anda daripada yang dikeluarkan, anda mewarisinya sudah diselaraskan oleh orang yang mempunyai kuasa pengkomputeran untuk melakukannya dengan betul. Kertas pi0 jujur tentang perkadaran: 9.1 peratus daripada campuran pra-latihannya, dikira dalam langkah masa, adalah data sumber terbuka termasuk OXE, Bridge v2 dan DROID. Angka itu adalah milik pi0; campuran setiap vendor berbeza.

Inilah sebabnya SmolVLA berkelakuan berbeza pada lengan kos rendah. Kertas kerjanya memilih 481 set data komuniti daripada Hugging Face, ditapis mengikut jenis perwujudan, kiraan episod, kualiti data dan liputan bingkai: 22.9K episod, 10.6M bingkai, dinilai pada lengan SO-100 dan SO-101 sebenar. Kecil dan sepadan mengalahkan besar dan tidak sepadan. Bandingkan pada ACT berbanding SmolVLA.

Tiga laluan yang patut diambil

Laluan A: penalaan halus daripada titik semak yang sudah menyerap data

Kebanyakan orang patut mengambil laluan ini. Anda tidak pernah menyentuh DROID atau Open X-Embodiment: pilih polisi yang pra-latihannya sudah menyerap data rentas-perwujudan, rekod episod anda sendiri, lakukan penalaan halus.

ACT adalah kes pinggir yang jujur: tiada model asas, jadi tiada data awam yang pernah mencapainya. Ini bukan secara automatik satu kelemahan, kerana pada 20 ms setiap langkah tindakan ia adalah satu-satunya daripada lima yang boleh menutup gelung pantas, seperti halaman ACT, yang dinyatakan. Pilih mengikut tugas menggunakan kesemua lima dibandingkan, GR00T N1.7 berbanding Pi0.5, dan 332 hasil penanda aras merentasi 85 model dalam arena.

Laluan B: gunakan DROID sebagai lekapan ujian

Sampel 100 episod adalah 2 GB terbaik yang akan anda muat turun bulan ini, dan bukan untuk latihan. Ia adalah set data yang anda tahu betul. Jalankan penukar, pemuat dan kerja GPU pendek anda padanya; apa-apa yang gagal adalah pepijat infrastruktur yang ditemui semasa ia masih murah. NVIDIA melakukan perkara yang sama pada skala besar: kad GR00T N1.7 menyenaraikan empat varian pasca-latihan, untuk Bridge dan Fractal dalam SimplerEnv, DROID dan LIBERO.

Laluan C: rakam sendiri, dengan sengaja

Tiga puluh hingga lima puluh kedengaran kecil berbanding 76,000 sehingga anda ingat bahawa milik anda adalah satu-satunya yang menggunakan lengan, kamera dan meja anda. Pada tetapan lalai LeRobot, 50 episod adalah 100 minit waktu sebenar. Lihat , dan .

Dua cara untuk mendapatkan polisi yang berfungsi daripada data awam

Kos setiap laluan

Asimetri adalah intinya: laluan yang meminjam data paling banyak adalah yang paling mahal dan paling tidak mungkin untuk menggerakkan lengan anda. Kurang dari dua jam teleoperasi anda mengalahkan satu terabait Franka orang lain. Belum ada lengan? /live menstrimkan SO-100 fizikal tanpa pendaftaran. Kemudian latih polisi pertama anda, dan SmolVLA pada SO-100 untuk panduan khusus.