DROID, BridgeData V2 болон Open X-ийг SO-100 дээр ашиглах нь

Google Cloud bucket дээр сая траекторийн нийтийн өгөгдлийн сан, мөн SO-100 ширээн дээр байгаа нь эд ангиудад 110-150 EUR үнэтэй байсан. Яагаад эхнийх нь хоёр дахьд зааж чадахгүй байна вэ? Хэсэгчлэн чадна, гэхдээ шилжүүлгийн ихэнх нь хүмүүсийн хүлээж буй газарт явагддаггүй, мөн хамгийн хялбар харагдах хэсэг нь огт ажилладаггүй.

Дараах зүйлс: DROID, BridgeData V2 болон Open X-Embodiment, эдгээр нь тус бүр хямд өртөгтэй 5-DoF гарны эсрэг хэрхэн ажилладаг, мөн оронд нь юу хийх вэ. Доорх бүх тоо нь хамаарах өгүүлэл, өгөгдлийн сангийн карт эсвэл эх файлынх нь юм.

Гурван өгөгдлийн сан үнэндээ юу агуулдаг вэ

DROID

Гурван системийн хамгийн стандартчилсан нь. Хаа сайгүй нэг тоног төхөөрөмж: Franka Panda робот Robotiq 2F-85 баригчтай, хоёр тохируулгатай ZED 2 стерео камер болон бугуйн ZED Mini-тэй, Meta Quest 2 удирдлагаар алсаас удирдан, Polymetis-ээр 15 Гц давтамжтайгаар үе болон ажлын төгсгөл орон зайд бичигдсэн. Хэлний шошго нь дараа нь tasq.ai-аар дамжуулан, нэг үйл явдал тутамд гурав хүртэлх тоогоор нэмэгдсэн.

• 76k траектори, 350 цаг, 564 үзэгдэл, 84 даалгавар, гурван тивийн 50 цуглуулагч.
• Гол үр дүн нь бие даасан сургалт биш, хамтарсан сургалт юм: домэйн доторх үзүүлбэрүүдтэй 50/50 холилдсон багцууд нь дараагийн шилдэг аргыг тархалтад 22 хувийн үнэмлэхүй амжилтаар, түүнээс гадуур 17 хувиар давсан.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 GB хэмжээтэй, 100 ангит дибаг хийх дээж gs://gresearch/robotics/droid_100 хаягт байрладаг. Тэндээс эхэлнэ үү.

BridgeData V2

Сонирхогчийн тохиргоонд хамгийн ойр: WidowX 250 6-DoF гар, 24 орчин, 13 ур чадварын дагуу 5 Гц давтамжтай 60,096 траектори. Бүтэцд анхаарна уу: 50,365 мэргэжилтний алсаас удирдсан үзүүлбэрүүд дээр нэмэгдээд санамсаргүй скриптлэгдсэн сонгох-байрлуулах бодлогоос 9,731 нь, ингэснээр нийт 16 орчим хувь нь хүний үзүүлбэр биш бөгөөд энэ нь дуураймал сургалт чанарт чухал нөлөөтэй. Ердийн татан авалт болох IPEC-COMMUNITY/bridge_orig_lerobot нь 53,192 анги, 1,893,026 фрэймийг 5 fps хурдтайгаар, robot_type widowx гэж мэдээлсэн нь тухайн баримт бичгийн 60,096-аас бага тул аль нэгийг нь иш татахын оронд meta/info.json-оос тоог уншина уу.

Open X-Embodiment

Ижил утгатай өгөгдлийн багц биш: 34 лабораторийн 60 роботын өгөгдлийн багцыг нэг RLDS цуглуулгад нэгтгэсэн бөгөөд энэ нь 22 биелэл болон нэг сая гаруй траекторийг хамардаг. BridgeData V2 нь дотор нь bridge_orig хэлбэрээр байрладаг; google_robot хэсэг болох fractal20220817_data нь 3 fps хурдтайгаар 87,212 эпизод болж хувирдаг.

Энэхүү нэгтгэл нь тухайн баримт бичигт шууд дурдсан анхааруулгыг агуулдаг. RT-X туршилтуудын хувьд зохиогчид эх сурвалж бүрийг 7-DoF төгсгөлийн-эффекторын үйлдэл болгон хувиргадаг боловч өгөгдлийн багцуудын хоорондох координатын хүрээг тааруулахгүй бөгөөд үйлдлийн утгыг робот бүрийн анхны хяналтын схемд нийцүүлэн үнэмлэхүй эсвэл харьцангуй байрлал эсвэл хурд байхыг зөвшөөрдөг. Тэдний дүгнэлт: ижил үйлдлийн вектор нь өөр өөр роботуудад маш өөр хөдөлгөөнийг үүсгэж болно.

Үл нийцэл, дөрвөн хэсэгт

Биеллийн үл нийцлийг ихэвчлэн нэг бүдэг асуудал гэж үздэг. Энэ нь дөрвөн төрөл бөгөөд өөр өөрөөр алдаа гардаг, мөн хоёрыг нь скриптээр засах боломжгүй.

1. Эрх чөлөөний зэрэг

SO-100 нь таван гарын үе болон атгагчтай. Мотор гэж тооцвол энэ нь 6-DoF гар бөгөөд SmolVLA-ийн баримт бичигт ингэж нэрлэсэн байдаг; байршлын механизм гэж тооцвол энэ нь 5-DoF бөгөөд LeRobot үүнийг урвуу кинематикийн docstring-дээ ингэж нэрлэсэн байдаг. Уг docstring нь бугуй нь чиглэлийг зөвхөн хэсэгчлэн хянадаг 5-DOF SO-101 дээрх зөөлөн чиглэлийн IK-г тайлбарладаг. Franka нь долоон байршлын үетэй. Энэ ялгаа нь ямар байрлалууд боломжтойг тодорхойлдог: 5-DoF гар нь ерөнхийдөө дурын байрлал, чиглэлийг нэгэн зэрэг гүйцэтгэж чадахгүй тул шийдэгч нь хамгийн ойрхон боломжтойг буцаадаг бөгөөд энэ нь үзүүлсэн хөдөлгөөнөөс өөр хөдөлгөөн юм. Ерөнхий мэдээлэл: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Иймээс бэлэн DROID чекпойнт нь товч зам биш юм. Physical Intelligence нь pi05_droid-ийг gs://openpi-assets/checkpoints/pi05_droid хаягаар нийлүүлдэг бөгөөд түүний өргөн хүрээг магтсан README нь эдгээр мэргэжлийн чекпойнт таны тохиргоонд нийцэхгүй байж магадгүйг анхааруулдаг. Түүний төлөв нь найман Franka үений тоо бөгөөд зургийн түлхүүрүүд нь exterior_image_1_left болон wrist_image_left юм. Ямар ч флаг үүнийг зургаан моторын SO-100 команд болгож хувиргахгүй.

2. Үйлдлийн вектор үнэндээ юуг илэрхийлдэг вэ

Хэмжээсээс илүү гүнзгий. LeRobot хувиргалтуудад гурвуулаа баригч хаашаа явах ёстойг Картезийн орон зайд заадаг. SO-100 нь зургаан серво хаашаа явах ёстойг заадаг. Хувиргахад кинематик загвар болон шийдэл хэрэгтэй, дахин хэлбэржүүлэх биш.

LeRobot нь дутуу хэсгийг нийлүүлдэг: SO follower нь InverseKinematicsEEToJoints болон ForwardKinematicsJointsToEE алхамуудтай кинематикийн процессортой. Түүний түлхүүрүүд нь ee.x, ee.y, ee.z нэмэх эргэлтийн вектор ee.wx, ee.wy, ee.wz болон ee.gripper_pos бөгөөд ингэснээр чиглэлийн кодчилол нь файлууд дахь roll-pitch-yaw-аас ялгаатай байна. IK алхам нь orientation_weight-ийг авдаг бөгөөд анхдагч утга нь 0.01 бөгөөд түүний docstring нь дутуу хөдөлгөөнтэй гар дээр зөвхөн байрлалын IK хийхэд 0.0-ийг тохируулахыг заасан байдаг. Та гүүрийг барьж болно, гэхдээ зээлсэн үйлдлийн чиглэлийн тал нь үргэлж ойролцоогоор үлдэнэ.

3. Хяналтын хурд

DROID нь 15 Hz, BridgeData V2 5 Hz, google_robot хэсэг нь 3 fps; pi0-ийн зохиогчид өөрсдийн хольцын нээлттэй эхийн хэсгийг 2-оос 10 Гц хоорондох бага давтамжийн хяналт гэж тодорхойлсон. LeRobot-ийн DatasetRecordConfig нь анхдагчаар fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50 байна. , 5 Гц өгөгдөл дээр сургагдсан нь нэг үйлдэл 200 мс-ийг хамардаг болохыг сурсан. Үүнийг 30 Гц-ээр дахин тоглуулахад гар нь мөлхөж, гэнэнээр дахин түүвэрлэхэд баригч хаагдах хүрээг будна. Энэ нь мөн -тэй муугаар харилцан үйлчилдэг: 100 алхамтай хэсэг нь 5 Гц-ээр 20 секунд, 30 Гц-ээр 3.3 секунд байна.

4. Камерууд

BridgeData V2 нь 50 траектори тутамд хоёр камерын байрлалыг санамсаргүй байдлаар сонгосон бөгөөд төслийн хуудаснаас харахад ихэнх өгөгдөл нь зөвхөн тогтмол харагдацыг агуулдаг. DROID нь тохируулгатай ZED 2 бэхэлгээ болон бугуйн ZED Mini-г ашигласан. Та хоёр USB вэбкамерыг нүдээр байрлуулсан. Камерын байрлал нь харааны-хэлний-үйлдлийн загвар; энэ нь харааны кодлогчийн гол анхаарсан зүйлсийн ихэнх нь бөгөөд файлын формат нь байрлалууд өөр байгааг танд хэлэхгүй.

Өгөгдлийг нэгтгэхийг оролдоход юу болох вэ

Илэрхий төлөвлөгөө бол хэдэн мянган DROID анги дээр таны 50-ийг нэмж нэгтгэх явдал юм. LeRobot татгалзаж, татгалзсан шалтгаан нь ялгаатай гурван зүйлийг нэрлэв.

1. 1
   Бүрэн 1.7 ТБ биш, 100 ангит жишээг татаж авах

   Бүтцийг харахад 2 ГБ хангалттай.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS-ийг LeRobot хэлбэрт хөрвүүлэх

   openx2lerobot нь OXE стандартын хувиргалтуудыг багтааж, роботын төрөл болон удирдлагын давтамжийг тэмдэглэдэг. README файл үүнийг convert.sh дотор байрлуулсан.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Өөр юу ч хийхээс өмнө meta/info.json файлыг уншина уу

   Энэ файл таны өдрийн үлдсэн хэсэг ажиллах эсэхийг шийднэ.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Нэгтгэхийг оролдож, алдааг уншина уу

   merge нь бүх өгөгдлийн багцыг ачаалж, дараа нь validate_all_metadata нь fps, robot_type болон онцлогуудыг жагсаалтын эхнийхтэй харьцуулж шалгадаг бөгөөд эхний зөрүү дээр алдаа гаргадаг.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Лавлах утгууд нь таны эхэнд жагсаасан өгөгдлийн багцаас ирдэг бөгөөд энэ нь DROID-ийн 15-ын оронд таны 30 fps-ийг мессеж гомдоллох шалтгаан юм. fps-ийг засахад та robot_type шалгалтанд тулгарна; үүнийг засахад та үйлдлийн хувьд 6-гийн эсрэг 7-той онцлогийн шалгалтанд тулгарна. Ямар ч дараалал амжилттай болохгүй, мөн ижил хамгаалалт нь sanity_check_dataset_robot_compatibility-ээр дамжуулан бичлэг хийх үед ажилладаг.

Тэгэхээр юу шилждэг вэ?

Эпизод биш, жин. Орчин үеийн ерөнхий зориулалтын бодлого бүр урьдчилсан сургалтад үүний заримыг шингээсэн бөгөөд та гаргасан та үүнийг зөв хийх тооцоололтой хүмүүсээр аль хэдийн зохицуулсан байдлаар өвлөн авдаг. pi0-ийн баримт бичигт урьдчилсан сургалтын хольцын 9.1 хувь нь цагийн алхамаар тооцогддог бөгөөд OXE, Bridge v2, DROID зэрэг нээлттэй эхийн өгөгдөл болохыг илэн далангүй дурдсан байдаг. Энэ тоо нь pi0-ийнх; ханган нийлүүлэгч бүрийн хольц өөр өөр байдаг.

Ийм учраас SmolVLA хямд өртөгтэй робот гар дээр өөрөөр ажилладаг. Түүний судалгааны ажил нь Hugging Face-ээс 481 олон нийтийн өгөгдлийн багцыг сонгосон бөгөөд биеийн төрөл, үйл явдлын тоо, өгөгдлийн чанар, фрэймийн хамрах хүрээгээр шүүсэн: 22.9K үйл явдал, 10.6M фрэйм, бодит SO-100 болон SO-101 робот гар дээр үнэлэгдсэн. Жижиг бөгөөд таарсан нь том бөгөөд таараагүйгээс илүү сайн. Харьцуулахыг ACT-ийг SmolVLA-тай харьцуулах.

Авах ёстой гурван зам

Зам А: Өгөгдлийг аль хэдийн шингээсэн чекпойнтоос нарийн тааруулах

Ихэнх хүмүүс үүнийг сонгох хэрэгтэй. Та DROID эсвэл Open X-Embodiment-д хэзээ ч хүрэхгүй: урьдчилсан сургалт нь бие хоорондын өгөгдлийг аль хэдийн шингээсэн бодлогыг сонгож, өөрийн үйл явдлуудыг бичиж, нарийн тааруулаарай.

ACT бол үнэнч хязгаарын тохиолдол: суурь загвар байхгүй тул олон нийтийн өгөгдөл хэзээ ч түүнд хүрдэггүй. Энэ нь автоматаар сул тал биш, учир нь үйлдлийн алхам тутамд 20 мс-ээр энэ нь хурдан давталтыг хаах чадвартай таван загвараас цорын ганц нь юм, үүнийг ACT хуудас тодорхойлсон. Даалгавраар сонгохдоо тавууланг нь харьцуулсан, GR00T N1.7-г Pi0.5-тай харьцуулсан, мөн 85 загварын 332 бенчмарк үр дүнг аренад.

Зам B: DROID-г туршилтын хэрэгсэл болгон ашиглах

100 ангит дээж бол энэ сард таны татаж авах хамгийн шилдэг 2 ГБ бөгөөд сургалтад зориулагдаагүй. Энэ бол зөв гэдгийг та мэдэх өгөгдлийн багц юм. Үүн дээр хөрвүүлэгч, ачаалагч болон богино GPU ажлыг ажиллуул; амжилтгүй болсон аливаа зүйл нь хямд байхад нь олдсон дэд бүтцийн алдаа юм. NVIDIA үүнийг том хэмжээгээр хийдэг: GR00T N1.7 карт нь SimplerEnv-ийн Bridge болон Fractal, DROID болон LIBERO-д зориулсан дөрвөн сургалтын дараах хувилбарыг жагсаасан байна.

Зам C: өөрийнхөөхийг зориудаар бичих

Гучин тавин нь 76,000-ийн хажууд бага сонсогдож байгаа ч таных ганцхан таны гар, камер, ширээтэй гэдгийг санаарай. LeRobot-ийн анхдагч тохиргоогоор 50 эпизод нь 100 минутын бодит хугацаа юм. Үзнэ үү: , болон .

Нийтийн өгөгдлөөс ажиллах бодлого руу шилжих хоёр арга

Зам тус бүрийн зардал

Асимметрийн гол утга нь: хамгийн их өгөгдөл ашигладаг зам нь хамгийн үнэтэй бөгөөд таны гарыг хөдөлгөх магадлал хамгийн бага юм. Өөрийнхөө хоёр цагаас бага хугацааны телеоперац нь бусдын Franka-ийн нэг терабайтыг давна. Одоохондоо гар байхгүй юу? /live нь бүртгэлгүйгээр физик SO-100-г шууд дамжуулдаг. Дараа нь анхны бодлогоо сурга, мөн SO-100 дээрх SmolVLA гэсэн тусгай гарын авлагыг үзнэ үү.