Користење DROID, BridgeData V2 и Open X на SO-100

Постои јавен сет на податоци од милион траектории на Google Cloud bucket и SO-100 на масата што чини 110 до 150 EUR во делови. Зошто првото не може да го научи второто? Делумно може, но речиси ниту еден од трансферите не се случува таму каде што луѓето очекуваат, а делот што изгледа најлесен воопшто не функционира.

Што следи: што има во DROID, BridgeData V2 и Open X-Embodiment, каде што секој се судира со нискобуџетна 5-DoF рака, и што да се направи наместо тоа. Секој број подолу потекнува од трудот, картичката на податочниот сет или изворната датотека на која припаѓа.

Што всушност содржат трите сетови на податоци

DROID

Најстандардизиран од трите. Еден систем насекаде: Franka Panda со Robotiq 2F-85 грабнувач, две прилагодливи ZED 2 стерео камери и ZED Mini на зглобот, телеуправуван со Meta Quest 2 контролери, снимен преку Polymetis на 15 Hz и во зглобен и во краен ефектор простор. Јазичните ознаки дојдоа подоцна преку tasq.ai, до три по епизода.

• 76k траектории, 350 часа, 564 сцени, 84 задачи, 50 собирачи на три континенти.
• Главниот резултат е ко-тренинг, а не самостоен тренинг: сериите измешани 50/50 со демонстрации во доменот ја надминаа следната најдобра метода за 22 проценти апсолутен успех во дистрибуција, 17 проценти надвор од неа.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• Примерок за дебагирање од 2 GB, 100 епизоди се наоѓа на gs://gresearch/robotics/droid_100. Започнете оттаму.

BridgeData V2

Најблиску до хоби поставка: рака WidowX 250 со 6 степени на слобода, 60,096 траектории низ 24 околини и 13 вештини на 5 Hz. Забележете го составот: 50,365 експертски телеуправувани демонстрации плус 9,731 од рандомизирана скриптирана политика за земање и поставување, така што околу 16 проценти не се човечки демонстрации, што е важно за учење со имитација квалитет. Вообичаеното преземање, IPEC-COMMUNITY/bridge_orig_lerobot, известува 53,192 епизоди и 1,893,026 фрејмови на 5 fps, robot_type widowx: помалку од 60,096 во трудот, па прочитајте го бројот од meta/info.json наместо да цитирате било кој.

Open X-Embodiment

Не е збир на податоци во иста смисла: 60 постоечки збирови на податоци за роботи од 34 лаборатории споени во една RLDS колекција која опфаќа 22 отелотворувања и над милион траектории. BridgeData V2 се наоѓа во неа како bridge_orig; делот google_robot, fractal20220817_data, се претвора во 87,212 епизоди со 3 fps.

Спојувањето носи предупредување кое трудот отворено го наведува. За експериментите со RT-X, авторите го претвораат секој извор во акција на краен ефектор со 7 степени на слобода (DoF), но не ги усогласуваат координатните рамки низ збировите на податоци и дозволуваат вредностите на акциите да бидат апсолутни или релативни позиции или брзини, според оригиналната контролна шема на секој робот. Нивниот заклучок: истиот акционен вектор може да предизвика многу различни движења за различни роботи.

Несовпаѓањето, во четири дела

Несовпаѓањето во отелотворувањето обично се третира како еден нејасен проблем. Тоа се четири, тие откажуваат различно, а два не можат да се поправат со скриптирање.

1. Степени на слобода

SO-100 има пет зглобови на раката плус грабнувач. Броено како мотори, тоа е рака со 6 степени на слобода, и трудот SmolVLA ја нарекува така; броено како механизам за позиционирање, тоа е 5 степени на слобода, и LeRobot ја нарекува така во својот docstring за инверзна кинематика, кој опишува IK со мека ориентација на SO-101 со 5 степени на слобода каде што зглобот ја следи ориентацијата само делумно. Franka има седум зглобови за позиционирање. Таа разлика одлучува кои пози постојат: рака со 5 степени на слобода генерално не може да достигне произволна позиција и ориентација истовремено, така што решавачот го враќа најблиското што може, движење различно од она демонстрираното. Позадина: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Така што готов DROID checkpoint не е кратенка. Physical Intelligence испорачува pi05_droid на gs://openpi-assets/checkpoints/pi05_droid, и истиот README што ја фали неговата широчина предупредува дека овие експертски контролни точки може да не се генерализираат на вашата поставка. Неговата состојба е осум Franka joint numbers и неговите image keys се exterior_image_1_left и wrist_image_left. Ниту едно знаменце не го претвора тоа во команда за SO-100 со шест мотори.

2. Што всушност кажува векторот на акција

Подалеку од димензионалноста. Во LeRobot конверзиите, сите три кажуваат каде треба да оди грабежот, во Декартов простор. SO-100 кажува каде треба да одат шест серво мотори. Конвертирањето бара кинематички модел и решавач, а не преобликување.

LeRobot го испорачува делот што недостасува: SO follower има процесор за кинематика со чекори InverseKinematicsEEToJoints и ForwardKinematicsJointsToEE. Неговите клучеви се ee.x, ee.y, ee.z плус ротационен вектор ee.wx, ee.wy, ee.wz и ee.gripper_pos, така што дури и кодирањето на ориентацијата се разликува од roll-pitch-yaw во датотеките. Чекорот IK зема orientation_weight, стандардно 0.01, чиј docstring вели да се постави 0.0 за IK само за позиција на недоволно активирани раце. Можете да го изградите мостот, но ориентационата половина од секоја позајмена акција останува приближна.

3. Контролна стапка

DROID е 15 Hz, BridgeData V2 5 Hz, google_robot парчето 3 fps; авторите на pi0 го опишуваат отворениот дел од нивната мешавина како нискофреквентна контрола помеѓу 2 и 10 Hz. DatasetRecordConfig на LeRobot стандардно е fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. А тренирана на податоци од 5 Hz научи дека една акција покрива 200 ms. Репродуцирајте ја на 30 Hz и раката ползи; преземете примерок наивно и ќе ја размачкате рамката каде што се затвора фаќачот. Исто така, лошо комуницира со : група од 100 чекори е 20 секунди на 5 Hz, 3.3 на 30 Hz.

4. Камери

BridgeData V2 рандомизираше две пози на камерата на секои 50 траектории, а на страницата на проектот е забележано дека поголемиот дел од податоците сепак носат само фиксен поглед. DROID користеше прилагодливи држачи ZED 2 плус ZED Mini на зглобот. Имате две USB веб-камери поставени со око. Позицијата на камерата не е променлива која пречи за ; тоа е голем дел од она на што се фокусираше визуелниот енкодер, и ништо во форматот на датотеката не ви кажува дека позите се разликуваат.

Што се случува кога сепак ќе се обидете да ги споите податоците

Очигледниот план е да се спојат: неколку илјади DROID епизоди плус вашите 50. LeRobot одбива, а одбивањето ги наведува трите работи што се разликуваат.

1. 1
   Преземете го примерокот од 100 епизоди, а не целосните 1.7 TB

   2 GB се доволни за да се види структурата.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Конвертирајте RLDS во LeRobot формат

   openx2lerobot ги обвиткува стандардните OXE трансформации и ги анотира типот на роботот и контролната фреквенција. README го става ова во convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Прочитајте meta/info.json пред сè друго

   Оваа датотека одлучува дали остатокот од вашиот ден ќе биде успешен.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Обидете се со спојувањето и прочитајте ја грешката

   merge ги вчитува сите податочни множества, потоа validate_all_metadata ги проверува fps, robot_type и features во однос на првиот на листата, подигајќи грешка при првото несовпаѓање.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Референтните вредности доаѓаат од кое било податочно множество што сте го навеле прво, поради што пораката се жали на вашите 30 fps наместо на 15-те на DROID. Поправете ги fps и ќе наидете на проверката robot_type; поправете го тоа и ќе наидете на проверката на карактеристиките, 7 наспроти 6 за акцијата. Ниту едно подредување не поминува, а истата заштита работи за време на снимањето преку sanity_check_dataset_robot_compatibility.

Што всушност се пренесува?

Тежини, не епизоди. Секоја модерна општа политика апсорбирала дел од тоа во претходна обука, и кога од објавен го наследувате веќе усогласено од луѓе со доволно пресметковна моќ да го направат тоа правилно. Трудот на pi0 е искрен за пропорцијата: 9,1 проценти од неговата мешавина за претходна обука, броено во временски чекори, се податоци со отворен код, вклучувајќи OXE, Bridge v2 и DROID. Таа бројка е на pi0; мешавината на секој продавач се разликува.

Ова е зошто SmolVLA се однесува различно на нискобуџетна рака. Неговата статија избира 481 збир на податоци од заедницата од Hugging Face, филтрирани според тип на отелотворување, број на епизоди, квалитет на податоци и покриеност на рамки: 22.9K епизоди, 10.6M рамки, евалуирани на вистински SO-100 и SO-101 раце. Мало и совпаднато ги надминува големите и несоодветните. Споредете на ACT against SmolVLA.

Три патеки вредни за следење

Патека А: фино подесување од контролна точка која веќе ги апсорбирала податоците

Повеќето луѓе треба да ја изберат оваа. Никогаш не допирајте DROID или Open X-Embodiment: изберете политика чија претходна обука веќе ги апсорбирала податоците за вкрстено отелотворување, снимете свои епизоди, фино подесете.

ACT е искрен граничен случај: нема основен модел, така што ниту еден од јавните податоци никогаш не стигнува до него. Тоа не е автоматски недостаток, бидејќи со 20 ms по чекор на акција е единствениот од петте што може да затвори брза јамка, како што страницата на ACT е наведено. Изберете по задача користејќи сите пет споредени, GR00T N1.7 наспроти Pi0.5, и 332 резултати од бенчмарк низ 85 модели во арената.

Патека Б: користете го DROID како тест уред

Примерокот од 100 епизоди е најдобрите 2 GB што ќе ги преземете овој месец, и тоа не за тренирање. Тоа е податочно множество за кое знаете дека е точно. Извршете го вашиот конвертор, вчитувач и кратка работа на графичката картичка на него; сè што не успее е инфраструктурна грешка пронајдена додека беше евтино. NVIDIA го прави истото на големо: картичката GR00T N1.7 наведува четири пост-тренирани варијанти, за Bridge и Fractal во SimplerEnv, DROID и LIBERO.

Патека C: снимете свои, намерно

Триесет до педесет звучи малку покрај 76.000 додека не се сетите дека вашите се единствените со вашата рака, вашите камери и вашата маса. Со стандардните поставки на LeRobot, 50 епизоди се 100 минути реално време. Видете , и .

Два начини да се дојде од јавни податоци до функционална политика

Што чини секоја патека

Асиметријата е поентата: патеката што позајмува најмногу податоци е најскапа и најмалку веројатно ќе ја придвижи вашата рака. Помалку од два часа ваша сопствена телеоперација е подобра од терабајт туѓа Франка. Сè уште немате рака? /live пренесува физички SO-100 без регистрација. Потоа обучете ја вашата прва политика, и SmolVLA on SO-100 за специфичниот водич.