Menggunakan DROID, BridgeData V2, dan Open X pada SO-100

Ada dataset publik sejuta-lintasan di bucket Google Cloud dan sebuah SO-100 di meja yang harganya 110 hingga 150 EUR dalam suku cadang. Mengapa yang pertama tidak bisa mengajari yang kedua? Sebagian bisa, tetapi hampir tidak ada transfer yang terjadi di tempat yang orang harapkan, dan bagian yang terlihat paling mudah sama sekali tidak berfungsi.

Berikutnya: apa yang ada di dalam DROID, BridgeData V2 dan Open X-Embodiment, di mana masing-masing bertabrakan dengan lengan 5-DoF berbiaya rendah, dan apa yang harus dilakukan sebagai gantinya. Setiap angka di bawah ini berasal dari makalah, kartu dataset, atau file sumber yang relevan.

Apa yang sebenarnya terkandung dalam tiga dataset

DROID

Yang paling terstandardisasi dari ketiganya. Satu rig di mana-mana: Franka Panda dengan gripper Robotiq 2F-85, dua kamera stereo ZED 2 yang dapat disesuaikan dan ZED Mini pergelangan tangan, dioperasikan dari jarak jauh dengan kontroler Meta Quest 2, direkam melalui Polymetis pada 15 Hz baik dalam ruang sendi maupun end-effector ruang. Label bahasa ditambahkan kemudian melalui tasq.ai, hingga tiga per episode.

• 76k lintasan, 350 jam, 564 adegan, 84 tugas, 50 kolektor di tiga benua.
• Hasil utamanya adalah pelatihan bersama (co-training), bukan pelatihan mandiri: batch yang dicampur 50/50 dengan demonstrasi dalam domain mengalahkan metode terbaik berikutnya sebesar 22 persen keberhasilan absolut dalam distribusi, 17 persen di luar itu.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• Sampel debugging 2 GB, 100 episode tersedia di gs://gresearch/robotics/droid_100. Mulailah dari sana.

BridgeData V2

Yang paling mendekati pengaturan hobi: lengan WidowX 250 6-DoF, 60.096 lintasan di 24 lingkungan dan 13 keterampilan pada 5 Hz. Perhatikan komposisinya: 50.365 demonstrasi teleoperasi ahli ditambah 9.731 dari kebijakan pick-and-place skrip acak, jadi sekitar 16 persen bukan demonstrasi manusia, yang penting untuk pembelajaran imitasi kualitas. Unduhan biasa, IPEC-COMMUNITY/bridge_orig_lerobot, melaporkan 53.192 episode dan 1.893.026 frame pada 5 fps, robot_type widowx: lebih sedikit dari 60.096 yang disebutkan dalam makalah, jadi bacalah jumlah dari meta/info.json daripada mengutip salah satunya.

Open X-Embodiment

Bukan dataset dalam pengertian yang sama: 60 dataset robot yang ada dari 34 lab digabungkan menjadi satu koleksi RLDS yang mencakup 22 perwujudan dan lebih dari satu juta lintasan. BridgeData V2 berada di dalamnya sebagai bridge_orig; irisan google_robot, fractal20220817_data, dikonversi menjadi 87.212 episode pada 3 fps.

Penggabungan ini memiliki peringatan yang dinyatakan langsung dalam makalah. Untuk eksperimen RT-X, para penulis mengonversi setiap sumber menjadi aksi end-effector 7-DoF, tetapi tidak menyelaraskan kerangka koordinat di seluruh dataset, dan memungkinkan nilai aksi berupa posisi atau kecepatan absolut atau relatif, sesuai dengan skema kontrol asli setiap robot. Kesimpulan mereka: vektor aksi yang sama dapat menghasilkan gerakan yang sangat berbeda untuk robot yang berbeda.

Ketidaksesuaian, dalam empat bagian

Ketidakcocokan perwujudan (embodiment mismatch) biasanya diperlakukan sebagai satu masalah yang samar. Ada empat, masing-masing gagal dengan cara berbeda, dan dua di antaranya tidak dapat diperbaiki dengan skrip.

1. Derajat kebebasan

SO-100 memiliki lima sendi lengan ditambah sebuah gripper. Dihitung sebagai motor, itu adalah lengan 6-DoF, dan makalah SmolVLA menyebutnya demikian; dihitung sebagai mekanisme penentuan posisi, itu adalah 5-DoF, dan LeRobot menyebutnya demikian dalam docstring kinematika inversnya, yang menjelaskan IK orientasi lunak pada SO-101 5-DOF di mana pergelangan tangan hanya melacak orientasi sebagian. Franka memiliki tujuh sendi penentu posisi. Kesenjangan itu menentukan pose mana yang ada: lengan 5-DoF umumnya tidak dapat mencapai posisi dan orientasi arbitrer sekaligus, sehingga pemecah mengembalikan yang terdekat yang bisa dicapai, gerakan yang berbeda dari yang didemonstrasikan. Latar belakang: derajat kebebasan.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Jadi, checkpoint DROID siap pakai bukanlah jalan pintas. Physical Intelligence mengirimkan pi05_droid di gs://openpi-assets/checkpoints/pi05_droid, dan README yang sama yang memuji cakupannya memperingatkan bahwa checkpoint ahli ini mungkin tidak dapat digeneralisasi ke pengaturan Anda. Keadaannya adalah delapan angka sambungan Franka dan kunci gambarnya adalah exterior_image_1_left dan wrist_image_left. Tidak ada flag yang mengubahnya menjadi perintah SO-100 enam motor.

2. Apa yang sebenarnya dikatakan vektor aksi

Lebih dalam dari dimensionalitas. Dalam konversi LeRobot, ketiganya menyatakan ke mana gripper harus pergi, dalam ruang Kartesius. SO-100 menyatakan ke mana enam servo harus pergi. Mengonversi membutuhkan model kinematik dan pemecah, bukan pembentukan ulang.

LeRobot memang menyediakan bagian yang hilang: pengikut SO memiliki prosesor kinematika dengan langkah InverseKinematicsEEToJoints dan ForwardKinematicsJointsToEE. Kuncinya adalah ee.x, ee.y, ee.z ditambah vektor rotasi ee.wx, ee.wy, ee.wz dan ee.gripper_pos, jadi bahkan pengkodean orientasi berbeda dari roll-pitch-yaw dalam file. Langkah IK mengambil orientation_weight, default 0.01, yang docstring-nya menyatakan untuk mengatur 0.0 untuk IK hanya posisi pada lengan yang kurang aktuasi. Anda dapat membangun jembatan, tetapi separuh orientasi dari setiap aksi yang dipinjam tetap diaproksimasi.

3. Laju kontrol

DROID adalah 15 Hz, BridgeData V2 5 Hz, irisan google_robot 3 fps; penulis pi0 menggambarkan bagian open-source dari campuran mereka sebagai kontrol frekuensi rendah antara 2 dan 10 Hz. DatasetRecordConfig LeRobot secara default menggunakan fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Sebuah yang dilatih pada data 5 Hz belajar bahwa satu aksi mencakup 200 ms. Putar ulang pada 30 Hz dan lengan akan merayap; resampling secara naif akan mengaburkan bingkai saat gripper menutup. Ini juga berinteraksi buruk dengan : sebuah chunk 100 langkah adalah 20 detik pada 5 Hz, 3.3 pada 30 Hz.

4. Kamera

BridgeData V2 mengacak dua pose kamera setiap 50 lintasan, dan halaman proyeknya mencatat bahwa sebagian besar data hanya membawa tampilan tetap. DROID menggunakan dudukan ZED 2 yang dapat disesuaikan ditambah ZED Mini di pergelangan tangan. Anda memiliki dua webcam USB yang diposisikan secara manual. Pose kamera bukanlah variabel pengganggu untuk ; itu adalah sebagian besar dari apa yang menjadi fokus encoder visual, dan tidak ada dalam format file yang memberi tahu Anda bahwa pose-pose tersebut berbeda.

Apa yang terjadi jika Anda tetap mencoba menggabungkan data

Rencana yang jelas adalah menggabungkan: beberapa ribu episode DROID ditambah 50 episode Anda. LeRobot menolak, dan penolakan tersebut menyebutkan tiga hal yang berbeda.

1. 1
   Ambil sampel 100 episode, bukan yang penuh 1.7 TB

   2 GB cukup untuk melihat strukturnya.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Konversi RLDS ke format LeRobot

   openx2lerobot membungkus transformasi standar OXE dan menganotasi jenis robot serta frekuensi kontrol. README menempatkan ini di convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Baca meta/info.json sebelum yang lainnya

   Berkas ini menentukan apakah sisa hari Anda akan berjalan lancar.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Coba penggabungan dan baca kesalahannya

   merge memuat setiap dataset, lalu validate_all_metadata memeriksa fps, robot_type, dan fitur terhadap yang pertama dalam daftar, memunculkan kesalahan pada ketidakcocokan pertama.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Nilai referensi berasal dari dataset mana pun yang Anda cantumkan pertama, itulah sebabnya pesan tersebut mengeluh tentang 30 fps Anda daripada 15 fps DROID. Perbaiki fps dan Anda akan menemui pemeriksaan robot_type; perbaiki itu dan Anda akan menemui pemeriksaan fitur, 7 berbanding 6 untuk aksi. Tidak ada urutan yang berhasil, dan penjaga yang sama berjalan pada waktu perekaman melalui sanity_check_dataset_robot_compatibility.

Jadi, apa yang sebenarnya ditransfer?

Bobot, bukan episode. Setiap kebijakan umum modern menyerap sebagian darinya dalam pra-pelatihan, dan ketika Anda dari yang dirilis, Anda mewarisinya sudah direkonsiliasi oleh orang-orang dengan komputasi yang memadai untuk melakukannya dengan benar. Makalah pi0 jujur tentang proporsinya: 9,1 persen dari campuran pra-pelatihannya, dihitung dalam langkah waktu, adalah data sumber terbuka termasuk OXE, Bridge v2, dan DROID. Angka itu milik pi0; campuran setiap vendor berbeda.

Inilah mengapa SmolVLA berperilaku berbeda pada lengan berbiaya rendah. Makalahnya memilih 481 dataset komunitas dari Hugging Face, disaring berdasarkan jenis perwujudan (embodiment type), jumlah episode, kualitas data, dan cakupan frame: 22.9K episode, 10.6M frame, dievaluasi pada lengan SO-100 dan SO-101 asli. Kecil dan cocok mengalahkan besar dan tidak cocok. Bandingkan pada ACT against SmolVLA.

Tiga jalur yang patut dicoba

Jalur A: fine-tune dari checkpoint yang sudah menyerap data

Kebanyakan orang harus mengambil jalur ini. Anda tidak pernah menyentuh DROID atau Open X-Embodiment: pilih kebijakan yang pretraining-nya sudah menyerap data lintas-embodiment, rekam episode Anda sendiri, lalu fine-tune.

ACT adalah kasus ekstrem yang jujur: tidak ada model dasar, sehingga tidak ada data publik yang pernah mencapainya. Ini bukan kerugian secara otomatis, karena pada 20 ms per langkah aksi, ini adalah satu-satunya dari lima yang dapat menutup loop cepat, seperti halaman ACT menjelaskan. Pilih berdasarkan tugas menggunakan kelima model dibandingkan, GR00T N1.7 melawan Pi0.5, dan 332 hasil benchmark di 85 model di arena.

Jalur B: gunakan DROID sebagai perlengkapan uji

Sampel 100 episode adalah 2 GB terbaik yang akan Anda unduh bulan ini, dan bukan untuk pelatihan. Ini adalah dataset yang Anda tahu benar. Jalankan konverter, loader, dan pekerjaan GPU singkat Anda di atasnya; apa pun yang gagal adalah bug infrastruktur yang ditemukan saat biayanya murah. NVIDIA melakukan hal yang sama dalam skala besar: kartu GR00T N1.7 mencantumkan empat varian pasca-pelatihan, untuk Bridge dan Fractal di SimplerEnv, DROID, dan LIBERO.

Jalur C: rekam sendiri, dengan sengaja

Tiga puluh hingga lima puluh terdengar kecil dibandingkan 76.000 sampai Anda ingat bahwa milik Anda adalah satu-satunya yang menggunakan lengan, kamera, dan meja Anda. Dengan pengaturan default LeRobot, 50 episode adalah 100 menit waktu nyata. Lihat , dan .

Dua cara untuk beralih dari data publik ke kebijakan yang berfungsi

Berapa biaya setiap jalur

Asimetri adalah intinya: jalur yang meminjam data paling banyak adalah yang paling mahal dan paling kecil kemungkinannya untuk menggerakkan lengan Anda. Kurang dari dua jam teleoperasi Anda mengalahkan terabyte Franka milik orang lain. Belum punya lengan robot? /live menyiarkan SO-100 fisik tanpa perlu mendaftar. Kemudian latih kebijakan pertama Anda, dan SmolVLA di SO-100 untuk panduan spesifik.