Използване на DROID, BridgeData V2 и Open X на SO-100

Има публичен набор от данни с милион траектории в Google Cloud bucket и един SO-100 на бюрото, който струва 110 до 150 EUR за части. Защо първият не може да научи втория? Отчасти може, но почти никакъв трансфер не се случва там, където хората очакват, а частта, която изглежда най-лесна, изобщо не работи.

Следва: какво има в DROID, BridgeData V2 и Open X-Embodiment, където всеки се сблъсква с евтина 5-DoF ръка, и какво да правите вместо това. Всяко число по-долу идва от статията, картата на набора от данни или изходния файл, към който принадлежи.

Какво всъщност съдържат трите набора от данни

DROID

Най-стандартизираният от трите. Една и съща конфигурация навсякъде: Franka Panda с Robotiq 2F-85 грипер, две регулируеми ZED 2 стерео камери и ZED Mini на китката, телеоперирана с контролери Meta Quest 2, записана чрез Polymetis при 15 Hz както в пространството на ставите, така и в пространството на краен ефектор. Езиковите етикети дойдоха по-късно чрез tasq.ai, до три на епизод.

• 76k траектории, 350 часа, 564 сцени, 84 задачи, 50 събирачи на три континента.
• Основният резултат е съвместното обучение, а не самостоятелното обучение: партиди, смесени 50/50 с демонстрации в домейна, надминават следващия най-добър метод с 22 процента абсолютен успех в разпределението, 17 процента извън него.
• IPEC-COMMUNITY/droid_lerobot: 92,233 епизода, 27,044,326 кадъра, franka, 15 fps, codebase_version v2.0, три AV1 потока при 180x320, 392 GB.
• 2 GB, 100-епизодна проба за отстраняване на грешки се намира на gs://gresearch/robotics/droid_100. Започнете оттам.

BridgeData V2

Най-близкото до любителска настройка: ръка WidowX 250 с 6 степени на свобода, 60,096 траектории в 24 среди и 13 умения при 5 Hz. Обърнете внимание на състава: 50,365 експертни телеоперирани демонстрации плюс 9,731 от рандомизирана скриптирана политика за взимане и поставяне, така че около 16 процента не са човешки демонстрации, което е важно за обучение чрез имитация качество. Обичайният файл за изтегляне, IPEC-COMMUNITY/bridge_orig_lerobot, отчита 53,192 епизода и 1,893,026 кадъра при 5 fps, robot_type widowx: по-малко от 60,096 в статията, така че прочетете броя от meta/info.json, вместо да цитирате някое от двете.

Open X-Embodiment

Не е набор от данни в същия смисъл: 60 съществуващи набора от данни за роботи от 34 лаборатории, обединени в една RLDS колекция, обхващаща 22 изпълнения и над милион траектории. BridgeData V2 се намира в нея като bridge_orig; частта google_robot, fractal20220817_data, се преобразува в 87 212 епизода при 3 кадъра в секунда.

Обединяването носи предупреждение, което статията изрично посочва. За експериментите с RT-X авторите преобразуват всеки източник в действие на краен ефектор със 7 степени на свобода (DoF), но не подравняват координатни системи между наборите от данни и позволяват стойностите на действията да бъдат абсолютни или относителни позиции или скорости, според оригиналната схема за управление на всеки робот. Тяхното заключение: един и същ векторен екшън може да предизвика много различни движения за различни роботи.

Несъответствието, в четири части

Несъответствието в изпълнението обикновено се третира като един неясен проблем. Всъщност са четири, те се провалят по различен начин и два от тях не могат да бъдат отстранени чрез скриптове.

1. Степени на свобода

SO-100 има пет раменни стави плюс захват. Броейки ги като мотори, това е 6-DoF рамо, и документът SmolVLA го нарича така; броейки го като позициониращ механизъм, то е 5-DoF, и LeRobot го нарича така в своя docstring за обратна кинематика, който описва IK с мека ориентация на 5-DOF SO-101, където китката проследява ориентацията само частично. Franka има седем позициониращи стави. Тази разлика определя кои пози съществуват: 5-DoF рамо обикновено не може да достигне едновременно произволна позиция и ориентация, така че решаващият алгоритъм връща най-близкото възможно, различно движение от демонстрираното. Предистория: степени на свобода.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Така че готов DROID checkpoint не е пряк път. Physical Intelligence доставя pi05_droid на gs://openpi-assets/checkpoints/pi05_droid, а същото README, което хвали неговата широта, предупреждава, че тези експертни контролни точки може да не се обобщят за вашата настройка. Неговото състояние е осем броя на ставите на Franka, а ключовете на изображенията му са exterior_image_1_left и wrist_image_left. Нито един флаг не превръща това в команда за шестмоторен SO-100.

2. Какво всъщност казва векторът на действието

По-дълбоко от размерността. В LeRobot преобразуванията и трите казват къде трябва да отиде захватът, в декартово пространство. Един SO-100 казва къде трябва да отидат шест сервомотора. Преобразуването изисква кинематичен модел и решаващ алгоритъм, а не преоформяне.

LeRobot наистина предоставя липсващата част: SO follower има кинематичен процесор със стъпки InverseKinematicsEEToJoints и ForwardKinematicsJointsToEE. Неговите ключове са ee.x, ee.y, ee.z плюс ротационен вектор ee.wx, ee.wy, ee.wz и ee.gripper_pos, така че дори кодирането на ориентацията се различава от roll-pitch-yaw във файловете. Стъпката IK приема orientation_weight, по подразбиране 0.01, чийто docstring казва да се зададе 0.0 за IK само по позиция при недозадвижени рамена. Можете да изградите моста, но ориентационната половина на всяко заимствано действие остава апроксимирана.

3. Честота на управление

DROID е 15 Hz, BridgeData V2 5 Hz, сегментът google_robot 3 fps; авторите на pi0 описват отворената част от тяхната смес като нискочестотно управление между 2 и 10 Hz. DatasetRecordConfig на LeRobot по подразбиране е fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Една обучена върху 5 Hz данни, научи, че едно действие покрива 200 ms. Възпроизведете го при 30 Hz и ръката ще пълзи; пресемплирайте наивно и ще размажете кадъра, в който захватът се затваря. Това също така взаимодейства зле с : 100-стъпков блок е 20 секунди при 5 Hz, 3.3 при 30 Hz.

4. Камери

BridgeData V2 рандомизира две пози на камерата на всеки 50 траектории, а страницата на проекта отбелязва, че по-голямата част от данните така или иначе съдържат само фиксирания изглед. DROID използва регулируеми стойки ZED 2 плюс ZED Mini на китката. Имате две USB уебкамери, позиционирани на око. Позата на камерата не е променлива, която да създава проблеми за ; тя е голяма част от това, върху което визуалният енкодер се е фокусирал, и нищо във файловия формат не показва, че позите се различават.

Какво се случва, когато все пак опитате да обедините данните

Очевидният план е да се конкатенират: няколко хиляди DROID епизода плюс вашите 50. LeRobot отказва, а отказът посочва трите неща, които се различават.

1. 1
   Изтеглете извадката от 100 епизода, а не пълните 1.7 TB

   2 GB са достатъчни, за да се види структурата.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Конвертирайте RLDS във формат LeRobot

   openx2lerobot обвива стандартните трансформации на OXE и анотира типа робот и честотата на управление. README файлът поставя това в convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Прочетете meta/info.json преди всичко друго

   Този файл решава дали останалата част от деня ви ще работи.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Опитайте сливането и прочетете грешката

   merge зарежда всеки набор от данни, след което validate_all_metadata проверява fps, robot_type и features спрямо първия в списъка, като повдига грешка при първото несъответствие.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Референтните стойности идват от който и да е набор от данни, който сте изброили първи, поради което съобщението се оплаква от вашите 30 fps, а не от 15-те на DROID. Коригирайте fps и ще се сблъскате с проверката за robot_type; коригирайте това и ще се сблъскате с проверката за характеристиките, 7 срещу 6 за действието. Никакво подреждане не минава, а същата защита се изпълнява по време на запис чрез sanity_check_dataset_robot_compatibility.

И така, какво всъщност се прехвърля?

Тежести, не епизоди. Всяка модерна обща политика е абсорбирала част от това в предварителното обучение и когато от пуснат вие го наследявате, вече съгласувано от хора с изчислителна мощност да го направят правилно. Докладът на pi0 е откровен относно пропорцията: 9.1 процента от неговата смес за предварително обучение, отчетена във времеви стъпки, са данни с отворен код, включително OXE, Bridge v2 и DROID. Тази цифра е на pi0; сместа на всеки доставчик се различава.

Ето защо SmolVLA се държи различно на нискобюджетна ръка. Неговият документ избира 481 общностни набора от данни от Hugging Face, филтрирани по тип на въплъщение, брой епизоди, качество на данните и покритие на кадрите: 22.9K епизода, 10.6M кадъра, оценени на реални SO-100 и SO-101 ръце. Малкото и съвпадащото превъзхожда голямото и несъвпадащото. Сравнете на ACT срещу SmolVLA.

Три пътя, които си струва да поемете

Път А: фина настройка от контролна точка, която вече е усвоила данните

Повечето хора трябва да изберат този. Никога не докосвате DROID или Open X-Embodiment: изберете политика, чието предварително обучение вече е абсорбирало данни за кръстосано въплъщение, запишете собствените си епизоди, направете фина настройка.

ACT е честният краен случай: няма базов модел, така че нито една от публичните данни никога не достига до него. Това не е автоматично недостатък, тъй като при 20 ms на стъпка на действие е единственият от петте, който може да затвори бърз цикъл, както страницата на ACT описва. Изберете по задача, използвайки сравнението на всички пет, GR00T N1.7 срещу Pi0.5, и 332-та резултата от бенчмаркове за 85 модела в арената.

Път Б: използвайте DROID като тестово приспособление

Примерът от 100 епизода е най-добрите 2 GB, които ще изтеглите този месец, и не е за обучение. Това е набор от данни, за който знаете, че е правилен. Пуснете вашия конвертор, зареждащ модул и кратка GPU задача върху него; всичко, което се провали, е инфраструктурен бъг, открит докато е било евтино. NVIDIA прави същото в голям мащаб: картата GR00T N1.7 изброява четири варианта след обучение, за Bridge и Fractal в SimplerEnv, DROID и LIBERO.

Път C: запишете свои собствени, целенасочено

Тридесет до петдесет звучи малко в сравнение със 76 000, докато не си спомните, че вашите са единствените с вашата ръка, вашите камери и вашата маса. При настройките по подразбиране на LeRobot, 50 епизода са 100 минути реално време. Вижте , и .

Два начина да преминете от публични данни към работеща политика

Какво струва всеки път

Асиметрията е съществена: пътят, който заема най-много данни, е най-скъп и най-малко вероятно да движи ръката ви. По-малко от два часа ваша собствена телеоперация превъзхожда терабайт чужда Franka. Все още нямате ръка? /live предава физически SO-100 без регистрация. След това обучете първата си политика, и SmolVLA на SO-100 за конкретното ръководство.