Використання DROID, BridgeData V2 та Open X на SO-100

Існує публічний набір даних з мільйоном траєкторій на Google Cloud bucket та SO-100 на столі, який коштував 110-150 EUR за запчастини. Чому перший не може навчити другого? Частково може, але майже жодна передача не відбувається там, де люди очікують, а та частина, що виглядає найпростішою, взагалі не працює.

Далі: що всередині DROID, BridgeData V2 та Open X-Embodiment, де кожен стикається з недорогим 5-ступеневим маніпулятором, і що робити замість цього. Кожне число нижче взято з відповідної статті, картки набору даних або вихідного файлу.

Що насправді містять ці три набори даних

DROID

Найбільш стандартизований з трьох. Одна установка скрізь: Franka Panda з захватом Robotiq 2F-85, дві регульовані стереокамери ZED 2 та ZED Mini на зап'ясті, телекеровані контролерами Meta Quest 2, записані через Polymetis на частоті 15 Гц як у просторі суглобів, так і в просторі кінцевого ефектора . Мовні мітки з'явилися пізніше через tasq.ai, до трьох на епізод.

• 76k траєкторій, 350 годин, 564 сцени, 84 завдання, 50 збирачів на трьох континентах.
• Головний результат — це спільне навчання, а не автономне: пакети, змішані 50/50 з демонстраціями в межах домену, перевершили наступний найкращий метод на 22 відсотки абсолютної успішності в розподілі та на 17 відсотків поза ним.
• IPEC-COMMUNITY/droid_lerobot: 92,233 епізоди, 27,044,326 кадрів, franka, 15 fps, codebase_version v2.0, три потоки AV1 при 180x320, 392 GB.
• Зразок для налагодження об'ємом 2 GB, 100 епізодів, знаходиться за адресою gs://gresearch/robotics/droid_100. Почніть звідти.

BridgeData V2

Найближче до аматорської установки: рука WidowX 250 з 6 ступенями свободи, 60,096 траєкторій у 24 середовищах та 13 навичках при 5 Гц. Зверніть увагу на склад: 50,365 експертних телекерованих демонстрацій плюс 9,731 з рандомізованої скриптованої політики "взяти-і-покласти", тому близько 16 відсотків не є людськими демонстраціями, що має значення для навчання наслідуванням якості. Звичайне завантаження, IPEC-COMMUNITY/bridge_orig_lerobot, повідомляє про 53,192 епізоди та 1,893,026 кадрів при 5 fps, robot_type widowx: менше, ніж 60,096 у статті, тому читайте кількість з meta/info.json, а не цитуйте жодне з них.

Open X-Embodiment

Не набір даних у звичному розумінні: 60 існуючих наборів даних роботів з 34 лабораторій об'єднано в одну колекцію RLDS, що охоплює 22 втілення та понад мільйон траєкторій. BridgeData V2 знаходиться всередині як bridge_orig; фрагмент google_robot, fractal20220817_data, перетворюється на 87 212 епізодів зі швидкістю 3 кадри/с.

Об'єднання має застереження, яке прямо зазначено в статті. Для експериментів RT-X автори перетворюють кожне джерело на дію кінцевого ефектора з 7 ступенями свободи, але не вирівнюють системи координат між наборами даних і дозволяють значенням дій бути абсолютними або відносними позиціями чи швидкостями, відповідно до оригінальної схеми керування кожного робота. Їхній висновок: один і той же вектор дії може викликати дуже різні рухи для різних роботів.

Невідповідність, у чотирьох частинах

Невідповідність фізичного втілення зазвичай розглядається як одна розпливчаста проблема. Їх чотири, вони відрізняються за характером збоїв, і дві з них не можна виправити за допомогою скриптів.

1. Ступені свободи

SO-100 має п'ять суглобів руки плюс захват. Якщо рахувати як мотори, це 6-DoF рука, і стаття SmolVLA називає її так; якщо рахувати як механізм позиціонування, це 5-DoF, і LeRobot називає її так у своєму docstring для зворотної кінематики, який описує IK з м'якою орієнтацією для 5-DOF SO-101, де зап'ястя відстежує орієнтацію лише частково. Franka має сім позиційних суглобів. Цей розрив визначає, які пози існують: 5-DoF рука, як правило, не може одночасно досягти довільної позиції та орієнтації, тому розв'язувач повертає найближчу можливу, що є іншим рухом від продемонстрованого. Довідково: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Отже, готовий контрольний пункт DROID не є швидким рішенням. Physical Intelligence постачає pi05_droid за адресою gs://openpi-assets/checkpoints/pi05_droid, і той самий README, який вихваляє його широту, попереджає, що ці експертні контрольні пункти можуть не узагальнюватися до вашої конфігурації. Його стан — це вісім чисел суглобів Franka, а його ключі зображень — exterior_image_1_left та wrist_image_left. Жоден прапор не перетворює це на команду для шестимоторного SO-100.

2. Що насправді говорить вектор дії

Глибше, ніж розмірність. У перетвореннях LeRobot всі три вказують, куди має рухатися захват, у декартовому просторі. SO-100 вказує, куди мають рухатися шість сервоприводів. Перетворення потребує кінематичної моделі та розв'язувача, а не зміни форми.

LeRobot дійсно постачає відсутню частину: SO follower має кінематичний процесор з кроками InverseKinematicsEEToJoints та ForwardKinematicsJointsToEE. Його ключі — це ee.x, ee.y, ee.z плюс вектор обертання ee.wx, ee.wy, ee.wz та ee.gripper_pos, тому навіть кодування орієнтації відрізняється від roll-pitch-yaw у файлах. Крок IK приймає orientation_weight, за замовчуванням 0.01, чий docstring вказує встановити 0.0 для IK лише за позицією на недоактуйованих руках. Ви можете побудувати міст, але орієнтаційна половина кожної запозиченої дії залишається апроксимованою.

3. Частота керування

DROID працює на 15 Hz, BridgeData V2 на 5 Hz, зріз google_robot на 3 fps; автори pi0 описують відкриту частину своєї суміші як низькочастотне керування між 2 та 10 Hz. DatasetRecordConfig LeRobot за замовчуванням встановлює fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. навчена на даних 5 Hz, дізналася, що одна дія охоплює 200 ms. Відтворення її на 30 Hz призводить до повільного руху руки; наївна передискретизація розмазує кадр, де захват закривається. Це також погано взаємодіє з : 100-step chunk становить 20 seconds при 5 Hz, 3.3 при 30 Hz.

4. Камери

BridgeData V2 рандомізував дві пози камери кожні 50 траєкторій, і на сторінці його проєкту зазначено, що більшість даних все одно містить лише фіксований вигляд. DROID використовував регульовані кріплення ZED 2 плюс зап'ястний ZED Mini. У вас є дві USB веб-камери, розташовані на око. Поза камери не є змінною, що заважає, для ; це значною мірою те, на що орієнтувався візуальний кодер, і ніщо у форматі файлу не вказує на те, що пози відрізняються.

Що відбувається, коли ви все одно намагаєтеся об'єднати дані

Очевидний план — об'єднати: кілька тисяч епізодів DROID плюс ваші 50. LeRobot відмовляє, і в відмові названо три речі, які відрізняються.

1. 1
   Завантажте 100-епізодний зразок, а не повні 1.7 ТБ

   2 ГБ достатньо, щоб побачити структуру.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Перетворіть RLDS у формат LeRobot

   openx2lerobot обгортає стандартні перетворення OXE та анотує тип робота і частоту керування. README розміщує це в convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Прочитайте meta/info.json перш за все

   Цей файл вирішує, чи працюватиме решта вашого дня.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Спробуйте об'єднання та прочитайте помилку

   merge завантажує кожен набір даних, потім validate_all_metadata перевіряє fps, robot_type та features порівняно з першим у списку, викликаючи помилку при першій невідповідності.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Еталонні значення походять з того набору даних, який ви вказали першим, тому повідомлення скаржиться на ваші 30 кадрів в секунду, а не на 15 кадрів DROID. Виправте fps, і ви натрапите на перевірку robot_type; виправте це, і ви натрапите на перевірку ознак, 7 проти 6 для дії. Жодне впорядкування не проходить, і той самий захист працює під час запису через sanity_check_dataset_robot_compatibility.

Що ж насправді передається?

Ваги, а не епізоди. Кожна сучасна універсальна політика поглинула частину цього під час попереднього навчання, і коли ви її з випущеної ви успадковуєте її вже узгодженою людьми, які мають обчислювальні потужності для належного виконання. У статті pi0 відверто йдеться про пропорцію: 9,1 відсотка її суміші для попереднього навчання, підрахованої в кроках часу, становить дані з відкритим кодом, включаючи OXE, Bridge v2 та DROID. Ця цифра належить pi0; суміш кожного постачальника відрізняється.

Ось чому SmolVLA поводиться інакше на недорогому маніпуляторі. Його стаття відбирає 481 набір даних спільноти з Hugging Face, відфільтрованих за типом втілення, кількістю епізодів, якістю даних та покриттям кадрів: 22.9K епізодів, 10.6M кадрів, оцінених на реальних маніпуляторах SO-100 та SO-101. Мале та відповідне перевершує велике та невідповідне. Порівняйте ACT проти SmolVLA.

Три шляхи, які варто розглянути

Шлях A: доналаштування з контрольної точки, яка вже «з'їла» дані

Більшість людей повинні обрати цей шлях. Ви ніколи не торкаєтеся DROID або Open X-Embodiment: оберіть політику, попереднє навчання якої вже поглинуло дані з різних втілень, запишіть власні епізоди, доналаштуйте.

ACT — це чесний граничний випадок: немає базової моделі, тому жодні публічні дані ніколи не досягають її. Це не є автоматично недоліком, оскільки при 20 мс на крок дії це єдина з п'яти моделей, яка може закрити швидкий цикл, як сторінка ACT зазначає. Обирайте за завданням, використовуючи усі п'ять порівняних, GR00T N1.7 проти Pi0.5, а також 332 результати бенчмарків для 85 моделей у арені.

Шлях B: використовуйте DROID як тестовий пристрій

Зразок зі 100 епізодів — це найкращі 2 ГБ, які ви завантажите цього місяця, і не для навчання. Це набір даних, який, як ви знаєте, є правильним. Запустіть на ньому свій конвертер, завантажувач і коротке завдання GPU; будь-яка несправність — це помилка інфраструктури, виявлена, поки це було дешево. NVIDIA робить те саме у великих масштабах: карта GR00T N1.7 містить чотири варіанти після навчання, для Bridge та Fractal у SimplerEnv, DROID та LIBERO.

Шлях C: запишіть власні, цілеспрямовано

Від тридцяти до п'ятдесяти звучить мало поруч із 76 000, доки ви не згадаєте, що ваші — єдині з вашою рукою, вашими камерами та вашим столом. За замовчуванням LeRobot, 50 епізодів — це 100 хвилин реального часу. Дивіться , та .

Два способи перейти від публічних даних до робочої політики

Вартість кожного шляху

Асиметрія є ключовим моментом: шлях, який запозичує найбільше даних, є найдорожчим і найменш імовірним для руху вашої руки. Менш ніж дві години вашої власної телеоперації перевершують терабайт чужої Franka. Ще немає маніпулятора? /live транслює фізичний SO-100 без реєстрації. Потім навчіть свою першу політику, і SmolVLA на SO-100 для конкретного посібника.