Использование DROID, BridgeData V2 и Open X на SO-100

Существует публичный набор данных из миллиона траекторий в бакете Google Cloud и SO-100 на столе, который стоил от 110 до 150 EUR в запчастях. Почему первый не может научить второго? Частично может, но почти никакая передача не происходит там, где люди ожидают, а та часть, которая кажется самой простой, вообще не работает.

Далее: что находится внутри DROID, BridgeData V2 и Open X-Embodiment, где каждый сталкивается с недорогим 5-степенным манипулятором, и что делать вместо этого. Каждое число ниже взято из статьи, карточки набора данных или исходного файла, к которому оно относится.

Что на самом деле содержат три набора данных

DROID

Наиболее стандартизированный из трех. Единая установка повсюду: Franka Panda с захватом Robotiq 2F-85, две регулируемые стереокамеры ZED 2 и ZED Mini на запястье, телеуправляемая с помощью контроллеров Meta Quest 2, записываемая через Polymetis на частоте 15 Гц как в пространстве суставов, так и в пространстве конечного эффектора . Языковые метки появились позже через tasq.ai, до трех на эпизод.

• 76 тысяч траекторий, 350 часов, 564 сцены, 84 задачи, 50 сборщиков на трех континентах.
• Главный результат — это совместное обучение, а не автономное: пакеты, смешанные 50/50 с демонстрациями из предметной области, превосходят следующий лучший метод на 22 процента абсолютного успеха в распределении и на 17 процентов вне его.
• IPEC-COMMUNITY/droid_lerobot: 92 233 эпизода, 27 044 326 кадров, franka, 15 кадров/с, codebase_version v2.0, три потока AV1 с разрешением 180x320, 392 ГБ.
• Отладочный образец размером 2 ГБ, состоящий из 100 эпизодов, находится по адресу gs://gresearch/robotics/droid_100. Начните с него.

BridgeData V2

Наиболее близкая к любительской установке: манипулятор WidowX 250 с 6 степенями свободы, 60 096 траекторий в 24 средах и 13 навыках при 5 Гц. Обратите внимание на состав: 50 365 экспертных телеуправляемых демонстраций плюс 9 731 из рандомизированной скриптовой политики «взять и положить», так что около 16 процентов — это не человеческие демонстрации, что важно для имитационного обучения качества. Обычная загрузка, IPEC-COMMUNITY/bridge_orig_lerobot, сообщает о 53 192 эпизодах и 1 893 026 кадрах при 5 кадрах/с, robot_type widowx: меньше, чем 60 096 в статье, поэтому считывайте количество из meta/info.json, а не цитируйте ни одно из них.

Open X-Embodiment

Не совсем набор данных в привычном смысле: 60 существующих наборов данных роботов из 34 лабораторий объединены в одну коллекцию RLDS, охватывающую 22 воплощения и более миллиона траекторий. BridgeData V2 находится внутри нее как bridge_orig; срез google_robot, fractal20220817_data, преобразуется в 87 212 эпизодов со скоростью 3 кадра в секунду.

Объединение имеет оговорку, которую авторы статьи прямо указывают. Для экспериментов RT-X авторы преобразуют каждый источник в действие концевого эффектора с 7 степенями свободы (7-DoF), но не выравнивают системы координат между наборами данных и допускают, что значения действий могут быть абсолютными или относительными положениями или скоростями, в соответствии с исходной схемой управления каждого робота. Их вывод: один и тот же вектор действия может вызывать очень разные движения у разных роботов.

Несоответствие, в четырех частях

Несоответствие воплощения обычно рассматривается как одна расплывчатая проблема. Их четыре, они проявляются по-разному, и две из них нельзя исправить с помощью скриптов.

1. Степени свободы

SO-100 имеет пять суставов манипулятора плюс захват. Если считать по моторам, это 6-степенной манипулятор, и статья SmolVLA называет его так; если считать по механизму позиционирования, это 5-степенной манипулятор, и LeRobot называет его так в своей документации по обратной кинематике, которая описывает IK с мягкой ориентацией для 5-степенного SO-101, где запястье отслеживает ориентацию лишь частично. Franka имеет семь позиционирующих суставов. Этот разрыв определяет, какие позы возможны: 5-степенной манипулятор, как правило, не может одновременно достичь произвольной позиции и ориентации, поэтому решатель возвращает ближайшее возможное положение, что отличается от продемонстрированного движения. Справочная информация: степени свободы.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Таким образом, готовая контрольная точка DROID не является быстрым решением. Physical Intelligence поставляет pi05_droid по адресу gs://openpi-assets/checkpoints/pi05_droid, и тот же README, который хвалит его широту, предупреждает, что эти экспертные контрольные точки могут не подходить для вашей установки. Его состояние — восемь номеров суставов Franka, а ключи изображений — exterior_image_1_left и wrist_image_left. Ни один флаг не превращает это в команду для шестимоторного SO-100.

2. Что на самом деле означает вектор действий

Глубже, чем размерность. В преобразованиях LeRobot все три указывают, куда должен двигаться захват, в декартовом пространстве. SO-100 указывает, куда должны двигаться шесть сервоприводов. Для преобразования требуется кинематическая модель и решатель, а не изменение формы.

LeRobot действительно поставляет недостающую часть: у SO follower есть кинематический процессор с шагами InverseKinematicsEEToJoints и ForwardKinematicsJointsToEE. Его ключи — ee.x, ee.y, ee.z плюс вектор вращения ee.wx, ee.wy, ee.wz и ee.gripper_pos, так что даже кодировка ориентации отличается от roll-pitch-yaw в файлах. Шаг IK принимает orientation_weight, по умолчанию 0.01, в докстринге которого указано установить 0.0 для IK только по положению на недоактивированных манипуляторах. Вы можете построить этот мост, но половина ориентации каждого заимствованного действия останется аппроксимированной.

3. Частота управления

DROID работает на 15 Гц, BridgeData V2 на 5 Гц, срез google_robot на 3 кадра/с; авторы pi0 описывают открытую часть своей смеси как низкочастотное управление в диапазоне от 2 до 10 Гц. DatasetRecordConfig LeRobot по умолчанию имеет fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. обученная на данных 5 Гц, узнала, что одно действие охватывает 200 мс. Воспроизведите его на 30 Гц, и рука будет ползти; наивно пересэмплируйте, и вы размажете кадр, где захват закрывается. Это также плохо взаимодействует с : 100-шаговый фрагмент составляет 20 секунд при 5 Гц, 3.3 при 30 Гц.

4. Камеры

BridgeData V2 рандомизировал две позы камеры каждые 50 траекторий, и на странице проекта отмечается, что большая часть данных в любом случае содержит только фиксированный вид. DROID использовал регулируемые крепления ZED 2 плюс ZED Mini на запястье. У вас есть две USB-веб-камеры, расположенные на глаз. Поза камеры не является переменной-помехой для ; это во многом то, на что ориентировался визуальный кодировщик, и ничто в формате файла не говорит о том, что позы различаются.

Что происходит, если вы все равно пытаетесь объединить данные

Очевидный план — объединить: несколько тысяч эпизодов DROID плюс ваши 50. LeRobot отказывает, и в отказе названы три вещи, которые отличаются.

1. 1
   Загрузите 100-эпизодный образец, а не полные 1.7 ТБ

   2 ГБ достаточно, чтобы увидеть структуру.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Преобразуйте RLDS в формат LeRobot

   openx2lerobot инкапсулирует стандартные преобразования OXE и аннотирует тип робота и частоту управления. В README это находится в convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Прочитайте meta/info.json прежде всего

   Этот файл определяет, будет ли остаток вашего дня продуктивным.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Попробуйте объединение и прочитайте ошибку

   merge загружает каждый набор данных, затем validate_all_metadata проверяет fps, robot_type и features по отношению к первому в списке, выдавая ошибку при первом несоответствии.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Эталонные значения берутся из того набора данных, который вы указали первым, поэтому сообщение жалуется на ваши 30 кадров в секунду, а не на 15 кадров в секунду DROID. Исправьте fps, и вы столкнетесь с проверкой robot_type; исправьте это, и вы столкнетесь с проверкой features, 7 против 6 для действия. Никакой порядок не пройдет, и та же защита запускается во время записи через sanity_check_dataset_robot_compatibility.

Что же на самом деле переносится?

Веса, а не эпизоды. Каждая современная обобщенная политика поглотила часть этого при предварительном обучении, и когда вы из выпущенной вы наследуете это уже согласованным людьми, обладающими вычислительными мощностями для правильного выполнения этой задачи. В статье pi0 откровенно говорится о пропорции: 9.1 процента ее смеси для предварительного обучения, подсчитанной в шагах времени, составляют данные с открытым исходным кодом, включая OXE, Bridge v2 и DROID. Эта цифра принадлежит pi0; смесь каждого поставщика отличается.

Вот почему SmolVLA ведет себя по-разному на недорогом манипуляторе. В его статье выбраны 481 общедоступных наборов данных из Hugging Face, отфильтрованных по типу воплощения, количеству эпизодов, качеству данных и охвату кадров: 22.9K эпизодов, 10.6M кадров, оцененных на реальных манипуляторах SO-100 и SO-101. Малое и соответствующее превосходит большое и несоответствующее. Сравните на ACT against SmolVLA.

Три пути, которые стоит выбрать

Путь A: дообучение с контрольной точки, которая уже усвоила данные

Большинству людей следует выбрать этот путь. Вы никогда не касаетесь DROID или Open X-Embodiment: выберите политику, предварительное обучение которой уже поглотило данные из разных воплощений, запишите свои собственные эпизоды, дообучите.

ACT — это честный крайний случай: нет базовой модели, поэтому никакие публичные данные никогда не достигают ее. Это не является автоматически недостатком, поскольку при 20 мс на шаг действия это единственная из пяти моделей, которая может замыкать быстрый цикл, как страница ACT, изложено. Выбирайте по задаче, используя сравнение всех пяти, GR00T N1.7 против Pi0.5, и 332 результата бенчмарков для 85 моделей в арене.

Путь B: используйте DROID в качестве тестового приспособления

Выборка из 100 эпизодов — это лучшие 2 ГБ, которые вы скачаете в этом месяце, и не для обучения. Это набор данных, который, как вы знаете, является корректным. Запустите на нем свой конвертер, загрузчик и короткую задачу на GPU; все, что не сработает, — это ошибка инфраструктуры, обнаруженная, пока это было дешево. NVIDIA делает то же самое в масштабе: карта GR00T N1.7 перечисляет четыре варианта после обучения, для Bridge и Fractal в SimplerEnv, DROID и LIBERO.

Путь C: запишите свои собственные, целенаправленно

От тридцати до пятидесяти кажется мало по сравнению с 76 000, пока вы не вспомните, что только у вас есть ваша рука, ваши камеры и ваш стол. При настройках по умолчанию LeRobot 50 эпизодов — это 100 минут реального времени. См. , и .

Два способа перейти от общедоступных данных к рабочей политике

Сколько стоит каждый путь

Асимметрия — это главное: путь, который заимствует больше всего данных, является самым дорогим и наименее вероятным для перемещения вашей руки. Менее двух часов вашего собственного телеуправления превосходит терабайт чужой Franka. Ещё нет манипулятора? /live транслирует физический SO-100 без регистрации. Затем обучите свою первую политику, и SmolVLA на SO-100 для конкретного руководства.