DROID, BridgeData V2 және Open X-ті SO-100-де қолдану

Google Cloud шелегінде миллион траекториялы жалпыға қолжетімді деректер жинағы және SO-100 үстелде тұрған, бөлшектері 110-150 EUR тұратын SO-100 бар. Неліктен біріншісі екіншісін үйрете алмайды? Ол ішінара үйрете алады, бірақ тасымалдаудың ешқайсысы адамдар күткен жерде болмайды, ал ең оңай болып көрінетін бөлігі мүлдем жұмыс істемейді.

Төмендегілер: ішінде не бар DROID, BridgeData V2 және Open X-Embodiment, мұнда әрқайсысы арзан 5-DoF қолмен қақтығысады және оның орнына не істеу керек. Төмендегі әрбір сан тиісті мақаладан, деректер жинағы картасынан немесе бастапқы файлдан алынған.

Үш деректер жинағында не бар

DROID

Үшеуінің ішіндегі ең стандартталғаны. Барлық жерде бір қондырғы: Robotiq 2F-85 қысқышы бар Franka Panda, екі реттелетін ZED 2 стерео камерасы және білекке арналған ZED Mini, Meta Quest 2 контроллерлерімен телебасқарылатын, Polymetis арқылы 15 Гц жиілікте буын және соңғы эффекті кеңістігінде. Тіл белгілері кейінірек tasq.ai арқылы, әрбір эпизодқа.

• 76k траектория, 350 сағат, 564 көрініс, 84 тапсырма, үш континентте 50 коллектор.
• Негізгі нәтиже жеке оқыту емес, бірлескен оқыту болып табылады: домен ішіндегі демонстрациялармен 50/50 араласқан топтамалар келесі ең жақсы әдістен таратуда абсолютті сәттілік бойынша 22 пайызға, одан тыс 17 пайызға асып түсті.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 ГБ, 100 эпизодтық жөндеу үлгісі gs://gresearch/robotics/droid_100 мекенжайында орналасқан. Сол жерден бастаңыз.

BridgeData V2

Хобби қондырғысына ең жақын: WidowX 250 6-DoF қолы, 24 ортада және 13 дағдыда 5 Гц жиілікпен 60,096 траектория. Құрамын ескеріңіз: 50,365 сарапшы телеоперациялық демонстрациялар және рандомизацияланған сценарийлік таңдау-орналастыру саясатынан 9,731, яғни шамамен 16 пайызы адам демонстрациясы емес, бұл маңызды имитациялық оқыту сапасы үшін. Әдеттегі жүктеу, IPEC-COMMUNITY/bridge_orig_lerobot, 53,192 эпизод және 1,893,026 кадрды 5 fps жылдамдықпен, robot_type widowx деп хабарлайды: мақаладағы 60,096-дан аз, сондықтан екеуін де келтірмей, санды meta/info.json файлынан оқыңыз.

Open X-Embodiment

Дәл сол мағынадағы деректер жинағы емес: 34 зертханадан алынған 60 қолданыстағы робот деректер жинағы 22 іске асыруды және миллионнан астам траекторияны қамтитын бір RLDS жинағына біріктірілген. BridgeData V2 оның ішінде bridge_orig ретінде орналасқан; google_robot бөлігі, fractal20220817_data, 3 кадр/сек жылдамдықпен 87,212 эпизодқа түрленеді.

Біріктірудің мақалада ашық айтылған бір ескертуі бар. RT-X эксперименттері үшін авторлар әрбір дереккөзді 7 еркіндік дәрежесі бар соңғы эффектор әрекетіне түрлендіреді, бірақ деректер жинақтары бойынша координаттар жүйелерін тураламайды және әрекет мәндеріне әр роботтың бастапқы басқару схемасына сәйкес абсолютті немесе салыстырмалы позициялар немесе жылдамдықтар болуына рұқсат береді. Олардың қорытындысы: бірдей әрекет векторы әртүрлі роботтар үшін өте әртүрлі қозғалыстарды тудыруы мүмкін.

Сәйкессіздік, төрт бөлімде

Денелік сәйкессіздік әдетте бір бұлыңғыр мәселе ретінде қарастырылады. Олар төртеу, әртүрлі жолмен істен шығады және екеуін скрипт арқылы түзету мүмкін емес.

1. Еркіндік дәрежелері

SO-100-де бес қол буыны және қысқыш бар. Моторлар ретінде санағанда, бұл 6-DoF қол, және SmolVLA мақаласы оны солай атайды; позициялау механизмі ретінде санағанда, бұл 5-DoF, және LeRobot оны өзінің кері кинематикалық құжатында солай атайды, ол білек бағдарды тек ішінара бақылайтын 5-DOF SO-101-дегі жұмсақ бағдарлы IK-ді сипаттайды. Franka-да жеті позициялау буыны бар. Бұл айырмашылық қандай позалардың бар екенін анықтайды: 5-DoF қол әдетте бір уақытта кез келген позиция мен бағдарға жете алмайды, сондықтан шешуші көрсетілген қозғалыстан өзгеше, ең жақын нұсқаны қайтарады. Анықтама: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Дайын DROID чекпойнты қысқа жол емес. Physical Intelligence pi05_droid-ті gs://openpi-assets/checkpoints/pi05_droid мекенжайында жеткізеді, және оның кеңдігін мақтайтын сол README бұл сарапшы чекпойнттары сіздің орнатуыңызға жалпыланбауы мүмкін екенін ескертеді. Оның күйі сегіз Franka буын нөмірлерінен тұрады және оның кескін кілттері exterior_image_1_left және wrist_image_left. Ешбір флаг оны алты моторлы SO-100 командасына айналдырмайды.

2. Әрекет векторы іс жүзінде не айтады

Өлшемділіктен тереңірек. LeRobot түрлендірулерінде үшеуі де ұстағыш қайда баруы керектігін, Картезиан кеңістігінде айтады. SO-100 алты серво қайда баруы керектігін айтады. Түрлендіру үшін кинематикалық модель мен шешуші қажет, қайта пішімдеу емес.

LeRobot жетіспейтін бөлікті жеткізеді: SO follower-да InverseKinematicsEEToJoints және ForwardKinematicsJointsToEE қадамдары бар кинематикалық процессор бар. Оның кілттері ee.x, ee.y, ee.z плюс айналу векторы ee.wx, ee.wy, ee.wz және ee.gripper_pos, сондықтан бағдарды кодтау файлдардағы roll-pitch-yaw-дан ерекшеленеді. IK қадамы orientation_weight параметрін қабылдайды, әдепкі мәні 0.01, оның docstring-і жеткіліксіз басқарылатын қолдарда тек позициялық IK үшін 0.0 мәнін орнатуды айтады. Сіз көпірді сала аласыз, бірақ әрбір алынған әрекеттің бағдар жартысы жуықталған күйде қалады.

3. Басқару жылдамдығы

DROID 15 Гц, BridgeData V2 5 Гц, google_robot бөлігі 3 кадр/сек; pi0 авторлары өз қоспасының ашық бастапқы бөлігін 2 мен 10 Гц аралығындағы төмен жиілікті басқару ретінде сипаттайды. LeRobot's DatasetRecordConfig әдепкі бойынша fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. 5 Гц деректермен үйретілген бір әрекеттің 200 мс қамтитынын білді. Оны 30 Гц жиілікте қайта ойнатсаңыз, қол баяу қозғалады; қарапайым қайта іріктеу арқылы қысқыш жабылған кадрды бұзасыз. Ол сондай-ақ мен нашар әрекеттеседі: 100 қадамдық бөлік 5 Гц жиілікте 20 секунд, 30 Гц жиілікте 3.3 секунд.

4. Камералар

BridgeData V2 әр 50 траектория сайын екі камераның орналасуын кездейсоқ етіп өзгертті, және оның жоба бетінде деректердің көп бөлігі тек бекітілген көріністі ғана қамтитыны атап өтілген. DROID реттелетін ZED 2 бекіткіштерін және білекке арналған ZED Mini-ді қолданды. Сізде көзбен орналастырылған екі USB веб-камера бар. Камераның орналасуы үшін мазасыз айнымалы емес ; бұл визуалды кодтағыштың негізгі кілті болған нәрсенің көп бөлігі, және файл пішімінде ешнәрсе сізге позалардың әртүрлі екенін айтпайды.

Деректерді біріктіруге тырысқанда не болады

Айқын жоспар - біріктіру: бірнеше мың DROID эпизодтары мен сіздің 50-іңіз. LeRobot бас тартады, және бас тарту үш түрлі нәрсені атайды.

1. 1
   Толық 1.7 ТБ емес, 100 эпизодтық үлгіні жүктеп алыңыз

   2 ГБ құрылымды көруге жеткілікті.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS-ті LeRobot пішіміне түрлендіру

   openx2lerobot OXE стандартты түрлендірулерін орап, робот түрін және басқару жиілігін белгілейді. README мұны convert.sh файлына орналастырады.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Басқа ештеңе істемей тұрып meta/info.json файлын оқыңыз

   Бұл файл күніңіздің қалған бөлігінің жұмыс істейтінін шешеді.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Біріктіруді қолданып көріңіз және қатені оқыңыз

   merge әрбір деректер жинағын жүктейді, содан кейін validate_all_metadata fps, robot_type және мүмкіндіктерді тізімдегі біріншіге қарсы тексереді, бірінші сәйкессіздікте қате шығарады.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Анықтамалық мәндер сіз бірінші тізімдеген деректер жинағынан алынады, сондықтан хабарлама DROID-тің 15-і емес, сіздің 30 fps туралы шағымданады. fps-ті түзетіңіз, сонда сіз robot_type тексеруіне тап боласыз; оны түзетіңіз, сонда сіз мүмкіндіктерді тексеруіне тап боласыз, әрекет үшін 6-ға қарсы 7. Ешқандай реттеу өтпейді, және дәл сол қорғаушы sanity_check_dataset_robot_compatibility арқылы жазу кезінде іске қосылады.

Сонымен, нақты не беріледі?

Эпизодтар емес, салмақтар. Әрбір заманауи жалпылама саясат оның бір бөлігін алдын ала оқытуда сіңірді, және сіз дәлдеп баптау шығарылған бақылау нүктесінен арқылы оны дұрыс орындауға есептеу қуаты бар адамдармен келісілген күйінде мұра етесіз. pi0-дің мақаласы пропорция туралы ашық айтады: оның алдын ала оқыту қоспасының 9.1 пайызы, уақыт қадамдарымен есептегенде, OXE, Bridge v2 және DROID сияқты ашық бастапқы деректер болып табылады. Бұл көрсеткіш pi0-ге тиесілі; әр жеткізушінің қоспасы әртүрлі.

Сондықтан SmolVLA арзан қолда басқаша әрекет етеді. Оның мақаласында Hugging Face-тен 481 қауымдастық деректер жиынтығы таңдалған, олар дене түрі, эпизод саны, деректер сапасы және кадр қамтуы бойынша сүзілген: 22.9K эпизод, 10.6M кадр, нақты SO-100 және SO-101 қолдарында бағаланған. Кішкентай және сәйкес келгені үлкен және сәйкес келмегеннен жақсы. Салыстырыңыз ACT SmolVLA-ға қарсы.

Жүруге тұрарлық үш жол

А жолы: деректерді сіңіріп қойған бақылау нүктесінен дәлдеп баптау

Көпшілік осы жолды таңдауы керек. Сіз DROID немесе Open X-Embodiment-ке ешқашан тиіспейсіз: алдын ала оқытуы кросс-дене деректерін сіңіріп қойған саясатты таңдаңыз, өзіңіздің эпизодтарыңызды жазыңыз, дәлдеп баптаңыз.

ACT – бұл адал шекті жағдай: базалық модель жоқ, сондықтан оған ешбір жалпыға қолжетімді деректер жетпейді. Бұл автоматты түрде кемшілік емес, өйткені әрекет қадамына 20 мс жұмсай отырып, ол бес модельдің ішінде жылдам циклді жаба алатын жалғыз модель, мұны ACT беті, көрсетеді. Тапсырма бойынша таңдаңыз, қолдана отырып барлық бес модельді салыстыру, GR00T N1.7 мен Pi0.5-ті салыстыру, және 85 модель бойынша 332 эталондық нәтижелерді аренада.

B жолы: DROID-ты сынақ құрылғысы ретінде пайдалану

100 эпизодтық үлгі – бұл осы айда жүктеп алатын ең жақсы 2 ГБ, және ол оқытуға арналмаған. Бұл дұрыс екенін білетін деректер жинағы. Онда конвертерді, жүктегішті және қысқа GPU жұмысын іске қосыңыз; сәтсіздікке ұшыраған кез келген нәрсе – арзан кезде табылған инфрақұрылымдық қате. NVIDIA мұны ауқымды түрде де жасайды: GR00T N1.7 картасы SimplerEnv-тегі Bridge және Fractal, DROID және LIBERO үшін төрт оқытудан кейінгі нұсқаны тізімдейді.

C жолы: өзіңіздікін әдейі жазыңыз

Отыздан елуге дейін 76 000-ның қасында аз естіледі, бірақ сіздікі сіздің қолыңызбен, камераларыңызбен және үстеліңізбен жалғыз екенін ұмытпаңыз. LeRobot әдепкі параметрлері бойынша, 50 эпизод 100 минут нақты уақытты құрайды. Қараңыз , және .

Жалпы деректерден жұмыс істейтін саясатқа жетудің екі жолы

Әр жолдың құны қанша

Асимметрия мәселесі мынада: ең көп деректерді қарызға алатын жол ең қымбат және қолыңызды қозғалту ықтималдығы ең аз. Өзіңіздің екі сағаттан аз телеоперация біреудің Franka-сының терабайтынан артық. Әлі қолыңыз жоқ па? /live тіркелусіз физикалық SO-100-ді тікелей эфирде көрсетеді. Содан кейін алғашқы саясатыңызды үйретіңіз, және SO-100-дегі SmolVLA арнайы нұсқаулық үшін.