Làm việc với dataset

Định dạng dataset LeRobot

AY-Robots lưu trữ toàn bộ dữ liệu minh họa theo định dạng dataset LeRobot do Hugging Face duy trì. Lợi ích thực tế là tính di động: một dataset được ghi ở đây tải trực tiếp vào mã huấn luyện dựa trên LeRobot, và các dataset được ghi ở nơi khác theo cùng định dạng có thể được tải lên và sử dụng trên nền tảng mà không cần chuyển đổi.

Một dataset là một tập hợp các episode. Một episode là một lần thử hoàn chỉnh cho một nhiệm vụ, từ một trạng thái ban đầu được xác định đến điểm bạn dừng ghi. Trên đĩa, một episode được chia thành ba loại tệp: một tệp Parquet với các stream số, một tệp video cho mỗi camera, và metadata liên kết tất cả lại với nhau.

Cấu trúc đặc trưng trong info.json là những gì mã huấn luyện đọc để hiểu dữ liệu của bạn: những khóa quan sát nào tồn tại, hình dạng của chúng, và tốc độ ghi. Hai dataset chỉ tương thích nếu cấu trúc của chúng khớp nhau, đó chính xác là điều mà việc xác thực gộp kiểm tra.

Giá trị khớp là phần trăm, không phải độ

Tất cả giá trị khớp trong dataset của AY-Robots được chuẩn hóa theo LeRobot: mỗi giá trị nằm trong khoảng từ -100 đến 100 và đại diện cho một phần trăm của phạm vi đã hiệu chỉnh của khớp đó, không phải góc tính theo độ. Giá trị đọc 0 là tâm của phạm vi đã hiệu chỉnh, -100 và 100 là các giới hạn của nó.

Dataset trên cloud trong trang tổng quan

Dashboard > Datasets liệt kê các dataset cloud của bạn với số lượng episode, kích thước tệp, và trạng thái thu thập. Dataset được tạo tự động khi một phiên điều khiển từ xa ghi dữ liệu, và bạn cũng có thể tạo một dataset một cách rõ ràng và điền vào nó bằng cách tải lên các bản ghi từ ứng dụng desktop.

• Tạo: dataset mới xuất hiện tự động từ các phiên, hoặc tạo một dataset trống và tải lên vào đó.
• Đổi tên: thay đổi tên hiển thị bất cứ lúc nào; thay đổi này không đụng đến bản thân dữ liệu.
• Xóa: loại bỏ dataset và toàn bộ episode cùng tệp của nó. Việc xóa là vĩnh viễn, vì vậy hãy tải xuống một bản lưu trữ trước nếu bạn có thể cần dữ liệu này lần nữa.

Trình duyệt episode

Mở một dataset đưa bạn đến trình duyệt episode. Mỗi episode có một trình phát video cho các luồng camera của nó và các biểu đồ khớp đồng bộ vẽ các giá trị khớp đã chuẩn hóa trong suốt episode. Tua video di chuyển con trỏ biểu đồ theo, điều này giúp việc phát hiện vấn đề trở nên nhanh chóng: một lần tiếp cận giật cục hiện lên như các đỉnh nhọn trong biểu đồ, một lần nắm thất bại có thể nhìn thấy trong kênh kẹp ngay cả trước khi bạn xem video.

Nhãn episode: Success, Recovery, Failure

Mỗi episode có thể mang một trong ba nhãn. Success đánh dấu một minh họa sạch của nhiệm vụ. Recovery đánh dấu một episode mà điều gì đó đã sai giữa chừng và bạn đã sửa nó; những episode này có giá trị vì chúng dạy cho policy cách quay lại đúng hướng. Failure đánh dấu các episode không đạt được mục tiêu và thường nên loại khỏi huấn luyện. Gắn nhãn khi bạn xem lại rẻ hơn nhiều so với việc debug một policy đã âm thầm học từ những minh họa xấu.

Gộp dataset

Việc gộp kết hợp nhiều bản ghi thành một dataset lớn hơn, chẳng hạn một tuần các phiên trên cùng nhiệm vụ hoặc các bản ghi từ hai cánh tay đã hiệu chỉnh. Việc gộp lấy nhiều tệp lưu trữ tar.gz, mỗi tệp chứa một dataset LeRobot, và tạo ra một dataset duy nhất với các episode được đánh chỉ số lại.

1. 1
   Chuẩn bị các tệp lưu trữ

   Mỗi đầu vào phải là một dataset LeRobot hoàn chỉnh được đóng gói dưới dạng tệp lưu trữ tar.gz, bao gồm cả thư mục meta. Các tệp lưu trữ không đầy đủ, thiếu info.json, không thể xác thực được và sẽ bị từ chối.

2. 2
   Tải lên nhiều tệp lưu trữ

   Trong Dashboard > Datasets, bắt đầu một lần gộp và chọn tất cả các tệp tar.gz bạn muốn kết hợp trong một bước.

3. 3
   Xác thực

   Nền tảng kiểm tra rằng fps, cấu trúc đặc trưng, và robot_type khớp nhau trên tất cả các đầu vào. Nếu bất kỳ điều nào trong ba điều này khác nhau, việc gộp bị từ chối với sự không khớp được nêu tên, vì một dataset kết hợp với các luồng không nhất quán sẽ âm thầm làm hỏng việc huấn luyện.

4. 4
   Xem lại kết quả

   Dataset đã gộp xuất hiện trong danh sách của bạn với số lượng episode đã kết hợp. Mở trình duyệt episode và kiểm tra ngẫu nhiên một vài episode từ mỗi nguồn trước khi bạn huấn luyện trên đó.

Ba quy tắc tương thích này nghiêm ngặt một cách có chủ đích. Sự không khớp về tốc độ khung hình thay đổi ý nghĩa của mỗi bước thời gian, sự không khớp về cấu trúc phá vỡ các bộ tải hoàn toàn, và việc trộn lẫn các loại robot tạo ra một dataset mà không policy đơn lẻ nào có thể hành động được. Nếu bạn cần kết hợp dữ liệu từ các cánh tay khác nhau của cùng một mẫu, điều đó không sao: robot_type đề cập đến mẫu, không phải đơn vị vật lý.

Chợ giao dịch dataset

Chợ giao dịch cho phép bạn mua các dataset được ghi bởi người khác và bán dataset của riêng bạn. Các dataset đã mua đến trang tổng quan của bạn theo cùng cách bố trí LeRobot như các bản ghi của riêng bạn, vì vậy chúng hoạt động với trình duyệt episode, việc gộp, và huấn luyện mà không cần bước bổ sung nào.

Nếu bạn bán, hãy chọn lọc trước khi đăng bán. Xem lại các episode, gắn nhãn trung thực, và đảm bảo các chuỗi nhiệm vụ mô tả những gì thực sự xảy ra trong các bản ghi. Một người mua đánh giá dataset của bạn thấy cùng trình duyệt episode mà bạn thấy, và các dataset có nhãn sạch và minh họa nhất quán đáng giá hơn những đống dữ liệu thô của mọi thứ bạn từng ghi.

Câu hỏi thường gặp