SO-100에서 DROID, BridgeData V2 및 Open X 사용하기

Google Cloud 버킷에는 백만 궤적 공개 데이터셋이 있고, SO-100 책상 위에는 부품 비용이 110에서 150 EUR인 SO-100이 있습니다. 왜 첫 번째 것이 두 번째 것을 가르칠 수 없을까요? 부분적으로는 가능하지만, 사람들이 예상하는 곳에서는 거의 전이가 일어나지 않으며, 가장 쉬워 보이는 부분은 전혀 작동하지 않습니다.

다음은 DROID, BridgeData V2 및 Open X-Embodiment 안에 무엇이 들어있는지, 각각이 저가형 5-자유도 로봇 팔과 어떻게 충돌하는지, 그리고 대신 무엇을 해야 하는지에 대한 내용입니다. 아래의 모든 숫자는 해당 논문, 데이터셋 카드 또는 소스 파일에서 가져왔습니다.

세 가지 데이터셋이 실제로 포함하는 내용

DROID

세 가지 중 가장 표준화된 것입니다. 모든 곳에 동일한 장비: Robotiq 2F-85 그리퍼가 장착된 Franka Panda, 두 개의 조절 가능한 ZED 2 스테레오 카메라 및 손목 ZED Mini, Meta Quest 2 컨트롤러로 원격 조작되며, Polymetis를 통해 15 Hz로 조인트 및 말단 효과기 공간에서 기록되었습니다. 언어 레이블은 나중에 tasq.ai를 통해 추가되었으며, 에피소드당 최대 세 개였습니다.에피소드.

• 76k 궤적, 350시간, 564개 장면, 84개 작업, 3개 대륙에 걸친 50명의 수집가.
• 주요 결과는 단독 훈련이 아닌 공동 훈련입니다. 도메인 내 시연과 50/50으로 혼합된 배치 학습은 분포 내에서 22% 절대 성공률, 분포 외에서 17% 성공률로 다음으로 좋은 방법을 능가했습니다.
• IPEC-COMMUNITY/droid_lerobot: 92,233 에피소드, 27,044,326 프레임, franka, 15 fps, codebase_version v2.0, 180x320 해상도의 AV1 스트림 3개, 392 GB.
• 2 GB, 100개 에피소드로 구성된 디버깅 샘플은 gs://gresearch/robotics/droid_100에 있습니다. 거기서 시작하십시오.

BridgeData V2

취미용 설정에 가장 가까운 구성: WidowX 250 6-DoF 암, 24개 환경과 13개 기술에 걸쳐 5 Hz로 수집된 60,096개의 궤적. 구성에 주목하십시오: 50,365개의 전문가 원격 조작 시연과 무작위 스크립트 기반 픽앤플레이스 정책에서 얻은 9,731개의 궤적, 따라서 약 16%는 인간 시연이 아닙니다. 이는 모방 학습 품질에 중요합니다. 일반적인 다운로드인 IPEC-COMMUNITY/bridge_orig_lerobot는 53,192개 에피소드와 1,893,026개 프레임을 5 fps로 보고하며, robot_type widowx: 논문의 60,096개보다 적으므로, 둘 중 하나를 인용하기보다는 meta/info.json에서 개수를 읽으십시오.

Open X-Embodiment

동일한 의미의 데이터셋은 아니지만, 34개 연구실의 기존 로봇 데이터셋 60개를 22가지 구현체와 백만 개 이상의 궤적을 포함하는 하나의 RLDS 컬렉션으로 통합했습니다. BridgeData V2는 그 안에 bridge_orig로 포함되어 있으며, google_robot 슬라이스인 fractal20220817_data는 3 fps에서 87,212개의 에피소드로 변환됩니다.

이 통합에는 논문에서 명시적으로 언급하는 주의사항이 따릅니다. RT-X 실험을 위해 저자들은 각 소스를 7-DoF 엔드 이펙터 동작으로 변환했지만, 데이터셋 간에 좌표계를 정렬하지 않았으며, 각 로봇의 원래 제어 방식에 따라 동작 값을 절대 또는 상대 위치나 속도로 허용했습니다. 그들의 결론은 동일한 동작 벡터가 다른 로봇에 대해 매우 다른 움직임을 유발할 수 있다는 것입니다.

불일치, 네 부분으로

구현체 불일치는 보통 하나의 모호한 문제로 취급됩니다. 하지만 이는 네 가지이며, 각각 다르게 실패하고, 그중 두 가지는 스크립팅으로 해결할 수 없습니다.

1. 자유도

SO-100은 5개의 팔 관절과 그리퍼를 가지고 있습니다. 모터로 계산하면 6-DoF 팔이며, SmolVLA 논문에서는 그렇게 부릅니다. 위치 결정 메커니즘으로 계산하면 5-DoF이며, LeRobot은 손목이 부분적으로만 방향을 추적하는 5-DOF SO-101에 대한 소프트 방향 IK를 설명하는 역기구학 독스트링에서 그렇게 부릅니다. Franka는 7개의 위치 결정 관절을 가지고 있습니다. 이 차이가 어떤 포즈가 존재하는지를 결정합니다. 5-DoF 팔은 일반적으로 임의의 위치와 방향을 동시에 도달할 수 없으므로, 솔버는 도달할 수 있는 가장 가까운 위치를 반환하며, 이는 시연된 동작과는 다른 동작입니다. 배경: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

따라서 미리 만들어진 DROID 체크포인트는 지름길이 아닙니다. Physical Intelligence는 pi05_droid를 gs://openpi-assets/checkpoints/pi05_droid에 제공하며, 그 폭넓음을 칭찬하는 동일한 README는 이러한 전문가 체크포인트가 사용자 설정에 일반화되지 않을 수 있다고 경고합니다. 그 상태는 8개의 Franka 조인트 숫자이며 이미지 키는 exterior_image_1_left 및 wrist_image_left입니다. 어떤 플래그도 이를 6모터 SO-100 명령으로 바꾸지 않습니다.

2. 액션 벡터가 실제로 의미하는 것

차원성보다 더 깊이. LeRobot 변환에서 세 가지 모두 그리퍼가 데카르트 공간에서 어디로 가야 하는지를 나타냅니다. SO-100은 6개의 서보가 어디로 가야 하는지를 나타냅니다. 변환에는 재형성(reshape)이 아니라 운동학적 모델과 솔버가 필요합니다.

LeRobot은 누락된 부분을 제공합니다. SO follower는 InverseKinematicsEEToJoints 및 ForwardKinematicsJointsToEE 단계를 포함하는 키네마틱스 프로세서를 가지고 있습니다. 그 키는 ee.x, ee.y, ee.z와 회전 벡터 ee.wx, ee.wy, ee.wz 및 ee.gripper_pos이므로, 방향 인코딩조차 파일의 roll-pitch-yaw와 다릅니다. IK 단계는 기본값 0.01인 orientation_weight를 사용하며, 해당 독스트링은 저구동 암의 위치 전용 IK에 대해 0.0으로 설정하라고 명시합니다. 브리지를 구축할 수는 있지만, 빌려온 모든 액션의 방향 절반은 근사치로 유지됩니다.

3. 제어 속도

DROID는 15 Hz, BridgeData V2는 5 Hz, google_robot 슬라이스는 3 fps입니다. pi0의 저자들은 그들의 혼합 중 오픈 소스 부분을 2에서 10 Hz 사이의 저주파 제어라고 설명합니다. LeRobot의 DatasetRecordConfig는 기본적으로 fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50으로 설정됩니다. 5 Hz 데이터로 훈련된 는 하나의 액션이 200 ms를 커버한다는 것을 학습했습니다. 이를 30 Hz로 재생하면 팔이 느리게 움직이고, 단순히 리샘플링하면 그리퍼가 닫히는 프레임이 번집니다. 또한 과도 잘 맞지 않습니다. 100단계 청크는 5 Hz에서 20초, 30 Hz에서는 3.3초입니다.

4. 카메라

BridgeData V2는 50개의 궤적마다 두 개의 카메라 포즈를 무작위로 설정했으며, 프로젝트 페이지에서는 대부분의 데이터가 고정된 시점만을 포함한다고 언급합니다. DROID는 조절 가능한 ZED 2 마운트와 손목 ZED Mini를 사용했습니다. 여러분은 눈대중으로 두 개의 USB 웹캠을 배치했습니다. 카메라 포즈는 ; 시각 인코더가 주로 의존하는 부분이며, 파일 형식에는 포즈가 다르다는 정보가 없습니다.

어쨌든 데이터를 병합하려고 하면 어떻게 될까요?

명백한 계획은 수천 개의 DROID 에피소드와 사용자 에피소드 50개를 연결하는 것입니다. LeRobot은 이를 거부하며, 거부 이유는 세 가지 차이점을 명시합니다.

1. 1
   전체 1.7TB 대신 100개 에피소드 샘플을 가져옵니다.

   2GB면 구조를 파악하기에 충분합니다.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS를 LeRobot 형식으로 변환

   openx2lerobot은 OXE 표준 변환을 래핑하고 로봇 유형 및 제어 주파수를 주석 처리합니다. README 파일은 이를 convert.sh에 설명합니다.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   다른 작업을 시작하기 전에 meta/info.json을 읽으십시오.

   이 파일이 나머지 작업의 성공 여부를 결정합니다.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   병합을 시도하고 오류를 읽으십시오.

   merge는 모든 데이터셋을 로드한 다음, validate_all_metadata가 목록의 첫 번째 데이터셋과 fps, robot_type, 기능을 비교하여 첫 번째 불일치 시 오류를 발생시킵니다.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

참조 값은 목록에 가장 먼저 나열된 데이터셋에서 가져오므로, 메시지는 DROID의 15fps 대신 사용자의 30fps에 대해 불평합니다. fps를 수정하면 robot_type 검사에 걸리고, 이를 수정하면 액션에 대해 6이 아닌 7로 기능 검사에 걸립니다. 어떤 순서로도 통과할 수 없으며, sanity_check_dataset_robot_compatibility를 통해 기록 시에도 동일한 보호 장치가 실행됩니다.

그렇다면 실제로 무엇이 전이될까요?

에피소드가 아닌 가중치입니다. 모든 최신 범용 정책은 사전 훈련에서 일부를 흡수했으며, 된 출시된 에서 시작하면, 적절하게 처리할 수 있는 컴퓨팅 자원을 가진 사람들이 이미 조정한 것을 물려받게 됩니다. pi0의 논문은 그 비율에 대해 솔직하게 밝히고 있습니다. 타임스텝으로 계산했을 때, 사전 훈련 혼합의 9.1%는 OXE, Bridge v2, DROID를 포함한 오픈 소스 데이터입니다. 이 수치는 pi0의 것이며, 각 공급업체의 혼합은 다릅니다.

이것이 바로 SmolVLA이 저가형 로봇 팔에서 다르게 작동하는 이유입니다. 해당 논문은 Hugging Face에서 481개의 커뮤니티 데이터셋을 선택했으며, 이는 구현 유형, 에피소드 수, 데이터 품질 및 프레임 커버리지로 필터링되었습니다: 22.9K 에피소드, 10.6M 프레임으로 실제 SO-100 및 SO-101 로봇 팔에서 평가되었습니다. 작고 일치하는 것이 크고 불일치하는 것보다 낫습니다. 다음에서 비교해보세요: ACT against SmolVLA.

고려해 볼 세 가지 경로

경로 A: 이미 데이터를 학습한 체크포인트에서 미세 조정

대부분의 사람들은 이 경로를 선택해야 합니다. DROID나 Open X-Embodiment는 건드리지 마세요: 사전 학습이 이미 교차 구현 데이터를 흡수한 정책을 선택하고, 자신만의 에피소드를 기록한 다음, 미세 조정하세요.

ACT는 솔직한 엣지 케이스입니다. 기본 모델이 없으므로 공개 데이터가 전혀 도달하지 않습니다. 액션 단계당 20ms로 빠른 루프를 닫을 수 있는 다섯 가지 중 유일한 모델이므로 자동으로 불리한 점은 아닙니다. ACT 페이지에서 설명합니다. 다음을 사용하여 작업별로 선택하세요: 다섯 가지 모두 비교, GR00T N1.7 대 Pi0.5, 그리고 85개 모델에 대한 332개의 벤치마크 결과는 아레나에서 확인할 수 있습니다.

경로 B: DROID를 테스트 픽스처로 사용

100 에피소드 샘플은 이번 달에 다운로드할 수 있는 최고의 2GB이며, 훈련용이 아닙니다. 이는 정확하다고 알려진 데이터셋입니다. 변환기, 로더 및 짧은 GPU 작업을 실행하십시오. 실패하는 모든 것은 저렴할 때 발견된 인프라 버그입니다. NVIDIA는 대규모로 동일한 작업을 수행합니다. GR00T N1.7 카드에는 SimplerEnv의 Bridge 및 Fractal, DROID 및 LIBERO를 위한 네 가지 후처리 학습 변형이 나열되어 있습니다.

경로 C: 직접 의도적으로 기록하기

30개에서 50개 는 76,000개 옆에서는 적게 들리지만, 여러분의 에피소드만이 여러분의 팔, 카메라, 테이블을 사용한다는 점을 기억해야 합니다. LeRobot의 기본 설정에서 50개의 에피소드는 실제 시간으로 100분입니다. 다음을 참조하십시오: , 및 .

공개 데이터에서 작동하는 정책을 얻는 두 가지 방법

각 경로의 비용

비대칭성이 핵심입니다. 가장 많은 데이터를 빌리는 경로는 가장 비싸고 팔을 움직일 가능성이 가장 낮습니다. 자신의 텔레오퍼레이션 두 시간 미만이 다른 사람의 Franka 1테라바이트보다 낫습니다. 아직 로봇 팔이 없으신가요? /live 가입 없이 실제 SO-100을 스트리밍합니다. 그런 다음 첫 번째 정책 훈련하기, 그리고 SO-100에서 SmolVLA에 대한 특정 가이드를 참조하세요.