Sử dụng DROID, BridgeData V2 và Open X trên SO-100

Có một tập dữ liệu công khai với hàng triệu quỹ đạo trên một Google Cloud bucket và một SO-100 trên bàn có giá 110 đến 150 EUR tiền linh kiện. Tại sao cái đầu tiên không thể dạy cái thứ hai? Nó có thể một phần, nhưng hầu như không có sự chuyển giao nào xảy ra ở nơi mọi người mong đợi, và phần trông dễ nhất lại hoàn toàn không hoạt động.

Sau đây là: những gì có trong DROID, BridgeData V2 và Open X-Embodiment, nơi mỗi cái va chạm với một cánh tay 5 bậc tự do chi phí thấp, và những gì nên làm thay thế. Mọi con số dưới đây đều đến từ bài báo, thẻ tập dữ liệu hoặc tệp nguồn mà nó thuộc về.

Ba tập dữ liệu này thực sự chứa gì

DROID

Tiêu chuẩn hóa nhất trong ba loại. Một giàn máy duy nhất ở mọi nơi: một Franka Panda với bộ kẹp Robotiq 2F-85, hai camera stereo ZED 2 có thể điều chỉnh và một ZED Mini gắn cổ tay, được điều khiển từ xa bằng bộ điều khiển Meta Quest 2, ghi lại qua Polymetis ở tốc độ 15 Hz trong cả không gian khớp và đầu cuối không gian. Nhãn ngôn ngữ được thêm vào sau đó qua tasq.ai, tối đa ba nhãn cho mỗi tập.

• 76 nghìn quỹ đạo, 350 giờ, 564 cảnh, 84 nhiệm vụ, 50 người thu thập dữ liệu trên ba châu lục.
• Kết quả nổi bật là đồng huấn luyện, không phải huấn luyện độc lập: các lô dữ liệu được trộn 50/50 với các minh họa trong miền đã vượt trội hơn phương pháp tốt nhất tiếp theo 22 phần trăm thành công tuyệt đối trong phân phối, và 17 phần trăm ngoài phân phối.
• IPEC-COMMUNITY/droid_lerobot: 92.233 tập, 27.044.326 khung hình, franka, 15 fps, codebase_version v2.0, ba luồng AV1 ở 180x320, 392 GB.
• Một mẫu gỡ lỗi 2 GB, 100 tập nằm tại gs://gresearch/robotics/droid_100. Bắt đầu từ đó.

BridgeData V2

Gần nhất với một thiết lập nghiệp dư: một cánh tay WidowX 250 6-DoF, 60.096 quỹ đạo trên 24 môi trường và 13 kỹ năng ở 5 Hz. Lưu ý thành phần: 50.365 minh họa được điều khiển từ xa bởi chuyên gia cộng với 9.731 từ một chính sách chọn và đặt ngẫu nhiên theo kịch bản, vì vậy khoảng 16 phần trăm không phải là minh họa của con người, điều này quan trọng đối với học bắt chước chất lượng. Bản tải xuống thông thường, IPEC-COMMUNITY/bridge_orig_lerobot, báo cáo 53.192 tập và 1.893.026 khung hình ở 5 fps, robot_type widowx: ít hơn 60.096 của bài báo, vì vậy hãy đọc số lượng từ meta/info.json thay vì trích dẫn một trong hai.

Open X-Embodiment

Không phải là một tập dữ liệu theo nghĩa thông thường: 60 tập dữ liệu robot hiện có từ 34 phòng thí nghiệm được gộp vào một bộ sưu tập RLDS duy nhất, bao gồm 22 dạng thực thể và hơn một triệu quỹ đạo. BridgeData V2 nằm trong đó dưới dạng bridge_orig; lát cắt google_robot, fractal20220817_data, chuyển đổi thành 87.212 tập ở tốc độ 3 khung hình/giây.

Việc gộp dữ liệu đi kèm với một cảnh báo mà bài báo đã nêu rõ. Đối với các thí nghiệm RT-X, các tác giả chuyển đổi mỗi nguồn thành một hành động đầu cuối 7-DoF, nhưng không căn chỉnh các hệ tọa độ giữa các tập dữ liệu, và cho phép các giá trị hành động là vị trí hoặc vận tốc tuyệt đối hoặc tương đối, tùy theo sơ đồ điều khiển ban đầu của mỗi robot. Kết luận của họ: cùng một vector hành động có thể tạo ra các chuyển động rất khác nhau cho các robot khác nhau.

Sự không khớp, trong bốn phần

Sự không khớp về thể hiện thường được coi là một vấn đề mơ hồ. Thực ra có bốn loại, chúng thất bại theo những cách khác nhau, và hai trong số đó không thể khắc phục bằng cách lập trình.

1. Bậc tự do

Một SO-100 có năm khớp tay cộng với một bộ kẹp. Nếu tính theo động cơ, đó là một cánh tay 6 bậc tự do (6-DoF), và bài báo SmolVLA gọi nó như vậy; nếu tính theo cơ chế định vị, đó là 5 bậc tự do (5-DoF), và LeRobot gọi nó như vậy trong docstring động học ngược của nó, mô tả IK định hướng mềm trên SO-101 5 bậc tự do, nơi cổ tay chỉ theo dõi định hướng một phần. Một Franka có bảy khớp định vị. Khoảng cách đó quyết định những tư thế nào tồn tại: một cánh tay 5 bậc tự do thường không thể đạt được một vị trí và định hướng tùy ý cùng một lúc, vì vậy bộ giải sẽ trả về vị trí gần nhất có thể, một chuyển động khác với chuyển động đã được trình diễn. Thông tin cơ bản: bậc tự do.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Vì vậy, một checkpoint DROID có sẵn không phải là một lối tắt. Physical Intelligence cung cấp pi05_droid tại gs://openpi-assets/checkpoints/pi05_droid, và cùng một README ca ngợi sự đa dạng của nó cũng cảnh báo rằng các checkpoint chuyên gia này có thể không tổng quát hóa được cho thiết lập của bạn. Trạng thái của nó là tám số khớp Franka và các khóa hình ảnh của nó là exterior_image_1_left và wrist_image_left. Không có cờ nào biến điều đó thành lệnh SO-100 sáu động cơ.

2. Vector hành động thực sự nói gì

Sâu hơn cả chiều. Trong các chuyển đổi của LeRobot, cả ba đều cho biết kẹp gắp nên đi đâu, trong không gian Descartes. Một SO-100 cho biết sáu servo nên đi đâu. Chuyển đổi cần một mô hình động học và một bộ giải, chứ không phải là một sự định hình lại.

LeRobot thực sự cung cấp phần còn thiếu: bộ theo dõi SO có bộ xử lý động học với các bước InverseKinematicsEEToJoints và ForwardKinematicsJointsToEE. Các khóa của nó là ee.x, ee.y, ee.z cộng với một vector quay ee.wx, ee.wy, ee.wz và ee.gripper_pos, vì vậy ngay cả mã hóa hướng cũng khác với roll-pitch-yaw trong các tệp. Bước IK nhận một orientation_weight, mặc định 0.01, mà docstring của nó nói rằng hãy đặt 0.0 cho IK chỉ vị trí trên các cánh tay thiếu truyền động. Bạn có thể xây dựng cầu nối, nhưng nửa hướng của mọi hành động được mượn vẫn chỉ là xấp xỉ.

3. Tốc độ điều khiển

DROID là 15 Hz, BridgeData V2 5 Hz, lát google_robot 3 fps; các tác giả của pi0 mô tả phần mã nguồn mở trong hỗn hợp của họ là điều khiển tần số thấp trong khoảng từ 2 đến 10 Hz. DatasetRecordConfig của LeRobot mặc định là fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Một được huấn luyện trên dữ liệu 5 Hz đã học rằng một hành động bao gồm 200 ms. Phát lại nó ở 30 Hz và cánh tay sẽ bò; lấy mẫu lại một cách ngây thơ và bạn sẽ làm nhòe khung hình nơi kẹp đóng lại. Nó cũng tương tác kém với : một phân đoạn 100 bước là 20 giây ở 5 Hz, 3.3 ở 30 Hz.

4. Camera

BridgeData V2 đã ngẫu nhiên hóa hai tư thế camera sau mỗi 50 quỹ đạo, và trang dự án của nó lưu ý rằng hầu hết dữ liệu chỉ mang góc nhìn cố định. DROID đã sử dụng giá đỡ ZED 2 có thể điều chỉnh cùng với một ZED Mini gắn ở cổ tay. Bạn có hai webcam USB được định vị bằng mắt. Tư thế camera không phải là một biến gây phiền toái đối với một ; nó là phần lớn những gì bộ mã hóa thị giác đã tập trung vào, và không có gì trong định dạng tệp cho bạn biết các tư thế khác nhau.

Điều gì xảy ra khi bạn vẫn cố gắng hợp nhất dữ liệu

Kế hoạch rõ ràng là nối chuỗi: vài nghìn tập DROID cộng với 50 tập của bạn. LeRobot từ chối, và sự từ chối đó nêu ra ba điểm khác biệt.

1. 1
   Tải mẫu 100 tập, không phải toàn bộ 1.7 TB

   2 GB là đủ để xem cấu trúc.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Chuyển đổi RLDS sang định dạng LeRobot

   openx2lerobot bao bọc các chuyển đổi tiêu chuẩn OXE và chú thích loại robot cũng như tần số điều khiển. README đặt điều này trong convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Đọc meta/info.json trước bất cứ điều gì khác

   Tệp này quyết định liệu phần còn lại trong ngày của bạn có hoạt động hay không.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Thử hợp nhất và đọc lỗi

   merge tải mọi tập dữ liệu, sau đó validate_all_metadata kiểm tra fps, robot_type và các tính năng so với tập đầu tiên trong danh sách, báo lỗi ngay khi có sự không khớp đầu tiên.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Các giá trị tham chiếu đến từ tập dữ liệu nào bạn liệt kê đầu tiên, đó là lý do tại sao thông báo phàn nàn về 30 fps của bạn thay vì 15 của DROID. Sửa fps và bạn sẽ gặp kiểm tra robot_type; sửa lỗi đó và bạn sẽ gặp kiểm tra tính năng, 7 so với 6 cho hành động. Không có thứ tự nào vượt qua được, và cùng một cơ chế bảo vệ chạy tại thời điểm ghi thông qua sanity_check_dataset_robot_compatibility.

Vậy điều gì thực sự được chuyển giao?

Trọng số, không phải tập dữ liệu. Mọi chính sách tổng quát hiện đại đều hấp thụ một phần trong quá trình tiền huấn luyện, và khi bạn từ một đã phát hành, bạn sẽ kế thừa nó đã được điều chỉnh bởi những người có đủ năng lực tính toán để thực hiện đúng cách. Bài báo của pi0 thẳng thắn về tỷ lệ: 9.1 phần trăm hỗn hợp tiền huấn luyện của nó, tính theo bước thời gian, là dữ liệu mã nguồn mở bao gồm OXE, Bridge v2 và DROID. Con số đó là của pi0; hỗn hợp của mỗi nhà cung cấp khác nhau.

Đây là lý do tại sao SmolVLA hoạt động khác biệt trên một cánh tay robot chi phí thấp. Bài báo của nó chọn 481 bộ dữ liệu cộng đồng từ Hugging Face, được lọc theo loại hình thể hiện, số lượng tập, chất lượng dữ liệu và độ phủ khung hình: 22.9K tập, 10.6M khung hình, được đánh giá trên các cánh tay robot SO-100 và SO-101 thực tế. Nhỏ và phù hợp sẽ tốt hơn lớn và không phù hợp. So sánh trên ACT so với SmolVLA.

Ba con đường đáng đi

Con đường A: tinh chỉnh từ một điểm kiểm tra đã hấp thụ dữ liệu

Hầu hết mọi người nên chọn con đường này. Bạn không bao giờ cần chạm vào DROID hoặc Open X-Embodiment: chọn một chính sách mà quá trình tiền huấn luyện của nó đã hấp thụ dữ liệu đa hình thể, ghi lại các tập của riêng bạn, sau đó tinh chỉnh.

ACT là trường hợp ngoại lệ trung thực: không có mô hình cơ sở, vì vậy không có dữ liệu công khai nào tiếp cận được nó. Đây không tự động là một bất lợi, vì với 20 ms mỗi bước hành động, nó là một trong năm mô hình duy nhất có thể đóng một vòng lặp nhanh, như trang ACT đã nêu. Chọn theo tác vụ bằng cách sử dụng cả năm mô hình được so sánh, GR00T N1.7 so với Pi0.5, và 332 kết quả benchmark trên 85 mô hình trong đấu trường.

Đường dẫn B: sử dụng DROID làm thiết bị kiểm tra

Mẫu 100 tập là 2 GB tốt nhất bạn sẽ tải xuống tháng này, và không phải để huấn luyện. Đây là một tập dữ liệu mà bạn biết là chính xác. Chạy bộ chuyển đổi, bộ tải và một tác vụ GPU ngắn trên đó; bất cứ thứ gì thất bại đều là lỗi hạ tầng được tìm thấy khi chi phí còn thấp. NVIDIA cũng làm điều tương tự ở quy mô lớn: thẻ GR00T N1.7 liệt kê bốn biến thể đã được huấn luyện sau, cho Bridge và Fractal trong SimplerEnv, DROID và LIBERO.

Đường dẫn C: tự ghi lại, một cách có chủ đích

Ba mươi đến năm mươi nghe có vẻ nhỏ bé so với 76.000 cho đến khi bạn nhớ rằng của bạn là những tập duy nhất có cánh tay, camera và bàn của bạn. Với cài đặt mặc định của LeRobot, 50 tập là 100 phút thời gian thực. Xem , và .

Hai cách để chuyển từ dữ liệu công khai sang một chính sách hoạt động

Chi phí của mỗi đường dẫn

Điểm mấu chốt là sự bất đối xứng: con đường vay mượn nhiều dữ liệu nhất là đắt nhất và ít có khả năng di chuyển cánh tay của bạn nhất. Dưới hai giờ vận hành từ xa của riêng bạn tốt hơn một terabyte dữ liệu Franka của người khác. Chưa có cánh tay robot? /live phát trực tiếp một SO-100 vật lý mà không cần đăng ký. Sau đó, huấn luyện chính sách đầu tiên của bạn, và SmolVLA trên SO-100 để có hướng dẫn cụ thể.