DROID, BridgeData V2 va Open X ni SO-100 da ishlatish

Google Cloud bucketda millionlab traektoriyali ommaviy maʼlumotlar toʻplami va stol ustida SO-100 joylashgan boʻlib, uning qismlari 110 dan 150 EUR gacha turadi. Nima uchun birinchisi ikkinchisiga oʻrgata olmaydi? Qisman oʻrgatishi mumkin, ammo uzatishning deyarli hech biri odamlar kutgan joyda sodir boʻlmaydi va eng oson koʻringan qismi umuman ishlamaydi.

Quyida keltirilganlar: ichida nimalar bor DROID, BridgeData V2 va Open X-Embodiment, ularning har biri arzon 5-DoF qoʻl bilan toʻqnashganda va buning oʻrniga nima qilish kerakligi. Quyidagi har bir raqam tegishli maqola, maʼlumotlar kartasi yoki manba faylidan olingan.

Uchta maʼlumotlar toʻplami aslida nimalarni oʻz ichiga oladi

DROID

Uchtadan eng standartlashtirilgani. Hamma joyda bitta qurilma: Robotiq 2F-85 tutqichli Franka Panda, ikkita sozlanishi mumkin bo'lgan ZED 2 stereo kamera va bilakdagi ZED Mini, Meta Quest 2 kontrollerlari yordamida masofadan boshqariladi, Polymetis orqali 15 Hz chastotada bo'g'in va oxirgi-effektor fazosida. Til yorliqlari keyinchalik tasq.ai orqali, har bir epizod.

• 76 ming traektoriyalar, 350 soat, 564 sahna, 84 vazifa, uch qit'ada 50 ta kollektor.
• Asosiy natija mustaqil o'qitish emas, balki birgalikda o'qitishdir: domen ichidagi namoyishlar bilan 50/50 aralashtirilgan partiyalar keyingi eng yaxshi usuldan tarqatishda mutlaq muvaffaqiyat bo'yicha 22 foizga, undan tashqarida esa 17 foizga ustun keldi.
• IPEC-COMMUNITY/droid_lerobot: 92,233 epizod, 27,044,326 kadr, franka, 15 fps, codebase_version v2.0, 180x320 o'lchamli uchta AV1 oqimi, 392 GB.
• 2 GB hajmli, 100 epizodli disk raskadrovka namunasi gs://gresearch/robotics/droid_100 manzilida joylashgan. Ishni u yerdan boshlang.

BridgeData V2

Hobby sozlamalariga eng yaqini: a WidowX 250 6-DoF qo'li, 24 ta muhit va 13 ta ko'nikma bo'yicha 5 Hz chastotada 60,096 ta traektoriya. Tarkibiga e'tibor bering: 50,365 ta ekspert teleoperatsiyali namoyishlar va tasodifiy skriptli tanlash va joylashtirish siyosatidan 9,731 ta, shuning uchun taxminan 16 foizi inson namoyishi emas, bu esa imitatsion o'rganish sifati uchun muhimdir. Odatiy yuklab olish, IPEC-COMMUNITY/bridge_orig_lerobot, 53,192 epizod va 1,893,026 kadrni 5 fps tezlikda, robot_type widowx: maqoladagi 60,096 dan kamroq ekanligini ko'rsatadi, shuning uchun hisobni meta/info.json faylidan o'qing, ikkalasidan ham iqtibos keltirmang.

Open X-Embodiment

Xuddi shu ma'noda ma'lumotlar to'plami emas: 34 ta laboratoriyadan 60 ta mavjud robot ma'lumotlar to'plami 22 ta mujassamlanishni va bir milliondan ortiq traektoriyalarni qamrab oluvchi bitta RLDS to'plamiga birlashtirilgan. BridgeData V2 uning ichida bridge_orig sifatida joylashgan; google_robot bo'lagi, fractal20220817_data, 3 kadr/sek tezlikda 87,212 epizodga aylanadi.

Birlashtirishda maqolada ochiq aytilgan bir ogohlantirish mavjud. RT-X tajribalari uchun mualliflar har bir manbani 7-DoF oxirgi-effektor harakatiga aylantiradilar, ammo ma'lumotlar to'plamlari bo'ylab koordinata ramkalarini moslashtirmaydilar va harakat qiymatlarining har bir robotning asl boshqaruv sxemasiga ko'ra mutlaq yoki nisbiy pozitsiyalar yoki tezliklar bo'lishiga ruxsat beradilar. Ularning xulosasi: bir xil harakat vektori turli robotlar uchun juda boshqacha harakatlarni keltirib chiqarishi mumkin.

Nomuvofiqlik, to'rt qismda

Mujassamlanish nomuvofiqligi odatda bitta noaniq muammo sifatida qaraladi. U to'rtta bo'lib, ular har xil tarzda ishlamay qoladi va ikkitasini skript yordamida tuzatib bo'lmaydi.

1. Erkinlik darajalari

SO-100 beshta qo'l bo'g'imi va bitta qisqichga ega. Dvigatellar sifatida hisoblanganda bu 6-DoF qo'l bo'lib, SmolVLA maqolasida shunday ataladi; joylashtirish mexanizmi sifatida hisoblanganda bu 5-DoF bo'lib, LeRobot uni o'zining teskari kinematika docstring'ida shunday ataydi, u 5-DOF SO-101 da bilak faqat qisman yo'nalishni kuzatadigan yumshoq yo'nalishli IKni tasvirlaydi. Franka yettita joylashtirish bo'g'imiga ega. Bu farq qaysi pozalar mavjudligini belgilaydi: 5-DoF qo'l odatda bir vaqtning o'zida ixtiyoriy joylashuv va yo'nalishga erisha olmaydi, shuning uchun yechim topuvchi erisha oladigan eng yaqinini qaytaradi, bu ko'rsatilgan harakatdan farqli harakatdir. Ma'lumot uchun: erkinlik darajalari.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Demak, tayyor DROID nazorat nuqtasi oson yo'l emas. Physical Intelligence pi05_droidni gs://openpi-assets/checkpoints/pi05_droid manzilida yetkazib beradi, va uning kengligini maqtaydigan xuddi shu README bu ekspert nazorat nuqtalari sizning sozlamalaringizga mos kelmasligi mumkinligidan ogohlantiradi. Uning holati sakkizta Franka bo'g'in raqamlari va uning tasvir kalitlari exterior_image_1_left va wrist_image_left. Hech qanday flag buni olti motorli SO-100 buyrug'iga aylantirmaydi.

2. Harakat vektori aslida nimani anglatadi

O'lchovlilikdan chuqurroq. LeRobot konversiyalarida uchalasi ham tutqich qayerga borishi kerakligini, Dekart fazosida aytadi. SO-100 oltita servoning qayerga borishi kerakligini aytadi. Konvertatsiya qilish uchun kinematik model va yechuvchi kerak, qayta shakllantirish emas.

LeRobot yetishmayotgan qismni taqdim etadi: SO follower InverseKinematicsEEToJoints va ForwardKinematicsJointsToEE qadamlariga ega kinematika protsessoriga ega. Uning kalitlari ee.x, ee.y, ee.z, shuningdek, aylanish vektori ee.wx, ee.wy, ee.wz va ee.gripper_pos bo'lib, shuning uchun hatto yo'nalish kodlashi ham fayllardagi roll-pitch-yaw'dan farq qiladi. IK qadami orientation_weight'ni qabul qiladi, sukut bo'yicha 0.01, uning docstring'ida kam harakatlanuvchi qo'llarda faqat pozitsiyaga asoslangan IK uchun 0.0 ni o'rnatish aytilgan. Siz ko'prikni qurishingiz mumkin, ammo har bir olingan harakatning yo'nalish yarmi taxminiy bo'lib qoladi.

3. Boshqaruv tezligi

DROID 15 Hz, BridgeData V2 5 Hz, google_robot bo'lagi 3 fps; pi0 mualliflari o'z aralashmasining open-source qismini 2 va 10 Hz oralig'idagi past chastotali boshqaruv sifatida ta'riflaydilar. LeRobot'ning DatasetRecordConfig'i sukut bo'yicha fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50 ga o'rnatilgan. 5 Hz ma'lumotlarida o'qitilgan siyosat bir harakat 200 ms ni qamrab olishini o'rgangan. Uni 30 Hz da qayta ijro etsangiz, qo'l sekin harakatlanadi; sodda tarzda qayta namuna olsangiz, qisqich yopiladigan kadrni buzib yuborasiz. Bu harakatni bo'laklarga ajratish bilan ham yomon o'zaro ta'sir qiladi: 100 qadamli bo'lak 5 Hz da 20 soniya, 30 Hz da esa 3.3 soniyani tashkil etadi.

4. Kameralar

BridgeData V2 har 50 traektoriya uchun ikkita kamera holatini tasodifiy tanladi va uning loyiha sahifasida ma'lumotlarning aksariyati baribir faqat qat'iy ko'rinishni o'z ichiga olganligi qayd etilgan. DROID sozlanishi ZED 2 o'rnatgichlari va bilakdagi ZED Mini'dan foydalangan. Sizda ko'z bilan joylashtirilgan ikkita USB veb-kamera bor. Kamera holati uchun bezovta qiluvchi o'zgaruvchi emas; bu vizual kodlovchi asoslangan narsalarning ko'p qismi va fayl formati sizga holatlarning farq qilishini aytmaydi.

Ma'lumotlarni baribir birlashtirishga harakat qilsangiz nima bo'ladi

Aniq reja shundan iboratki: bir necha ming DROID epizodlarini o'zingizning 50 ta epizodingiz bilan birlashtirish. LeRobot rad etadi va rad etish sababi uchta farqni ko'rsatadi.

1. 1
   To'liq 1.7 TB emas, balki 100 epizodli namunani tortib oling

   2 GB tuzilmani ko'rish uchun yetarli.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDSni LeRobot shakliga o'tkazish

   openx2lerobot OXE standart transformatsiyalarini o'z ichiga oladi va robot turini hamda boshqaruv chastotasini izohlaydi. README buni convert.sh fayliga joylashtiradi.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Boshqa har qanday narsadan oldin meta/info.json faylini o'qing

   Bu fayl kuningizning qolgan qismi ishlashini hal qiladi.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Birlashtirishni sinab ko'ring va xatoni o'qing

   merge har bir ma'lumotlar to'plamini yuklaydi, so'ngra validate_all_metadata fps, robot_type va xususiyatlarni ro'yxatdagi birinchi elementga nisbatan tekshiradi va birinchi mos kelmaslikda xato beradi.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Ma'lumotnomalar qiymatlari siz birinchi bo'lib ro'yxatga kiritgan ma'lumotlar to'plamidan keladi, shuning uchun xabar DROIDning 15 fps o'rniga sizning 30 fps haqida shikoyat qiladi. fpsni tuzatsangiz, robot_type tekshiruviga duch kelasiz; uni tuzatsangiz, xususiyat tekshiruviga duch kelasiz, harakat uchun 6 ga qarshi 7. Hech qanday tartiblash o'tmaydi va xuddi shu himoya sanity_check_dataset_robot_compatibility orqali yozish vaqtida ishlaydi.

Xo'sh, aslida nima o'tkaziladi?

Vaznlar, epizodlar emas. Har bir zamonaviy umumiy siyosat oldindan o'qitishda uning bir qismini o'zlashtirgan va siz nozik sozlash chiqarilgan nazorat nuqtasi dan foydalansangiz, uni to'g'ri bajarish uchun hisoblash quvvatiga ega odamlar tomonidan allaqachon moslashtirilgan holda meros qilib olasiz. pi0 ning maqolasi uning nisbati haqida ochiq-oydin: uning oldindan o'qitish aralashmasining 9,1 foizi, vaqt qadamlarida hisoblangan, OXE, Bridge v2 va DROID kabi ochiq manbali ma'lumotlardir. Bu raqam pi0 ga tegishli; har bir yetkazib beruvchining aralashmasi farq qiladi.

Shuning uchun SmolVLA arzon qo'lda boshqacha ishlaydi. Uning maqolasida Hugging Face'dan 481 ta jamoat ma'lumotlar to'plami tanlab olingan bo'lib, ular mujassamlash turi, epizodlar soni, ma'lumotlar sifati va kadrlar qamrovi bo'yicha filtrlangan: 22.9K epizod, 10.6M kadr, haqiqiy SO-100 va SO-101 qo'llarida baholangan. Kichik va mos keladigan katta va mos kelmaydiganidan ustun. Qiyoslang ACT against SmolVLA.

Qilinishi kerak bo'lgan uchta yo'l

A yo'li: ma'lumotlarni allaqachon o'zlashtirgan nazorat nuqtasidan nozik sozlash

Ko'pchilik bu yo'lni tanlashi kerak. Siz hech qachon DROID yoki Open X-Embodimentga tegmaysiz: oldindan o'qitish jarayonida o'zaro mujassamlash ma'lumotlarini allaqachon o'zlashtirgan siyosatni tanlang, o'zingizning epizodlaringizni yozib oling, nozik sozlang.

ACT halol chekka holatdir: tayanch model yo'q, shuning uchun ommaviy ma'lumotlarning hech biri unga yetib bormaydi. Bu avtomatik ravishda kamchilik emas, chunki har bir harakat qadami uchun 20 ms tezlikda u tezkor tsiklni yopishi mumkin bo'lgan beshtadan yagona hisoblanadi, chunki ACT sahifasida ko'rsatilgan. Vazifaga qarab tanlang, foydalanib beshtasi solishtirilgan, GR00T N1.7 Pi0.5 ga qarshi, va 85 ta model bo'yicha 332 ta benchmark natijalari arenada.

B yo'li: DROIDni sinov moslamasi sifatida ishlatish

100 epizodli namuna bu oy yuklab oladigan eng yaxshi 2 GB ma'lumotdir va u o'qitish uchun emas. Bu siz to'g'ri ekanligini biladigan ma'lumotlar to'plami. Unga konverteringizni, yuklagichingizni va qisqa GPU ishini ishga tushiring; muvaffaqiyatsizlikka uchragan har qanday narsa arzon bo'lgan paytda topilgan infratuzilma xatosidir. NVIDIA buni keng miqyosda ham amalga oshiradi: GR00T N1.7 kartasi SimplerEnv, DROID va LIBERO dagi Bridge va Fractal uchun to'rtta o'qitishdan keyingi variantlarni sanab o'tadi.

C yo'li: o'zingiznikini qasddan yozib oling

O'ttizdan ellikgacha 76,000 yonida kichik tuyuladi, toki siznikilar qo'lingiz, kameralaringiz va stolingiz bilan yagona ekanligini eslamaguningizcha. LeRobot'ning standart sozlamalarida, 50 epizod 100 daqiqa umumiy vaqtni tashkil qiladi. Ko'ring: , va .

Ommaviy ma'lumotlardan ishlaydigan siyosatga erishishning ikki yo'li

Har bir yo'lning narxi

Assimetriya asosiy nuqta: eng ko'p ma'lumot oladigan yo'l eng qimmat va qo'lingizni harakatga keltirish ehtimoli eng kam. Ikki soatdan kamroq vaqt ichida o'zingizning teleoperatsiya birovning Franka terabaytidan ustun turadi. Hali qo'lingiz yo'qmi? /live ro'yxatdan o'tmasdan jismoniy SO-100 ni translyatsiya qiladi. Keyin birinchi siyosatingizni o'rgating, va SmolVLA ni SO-100 da uchun maxsus qo'llanma.