Bekerja dengan dataset

Format dataset LeRobot

AY-Robots menyimpan semua data demonstrasi dalam format dataset LeRobot yang dikelola oleh Hugging Face. Manfaat praktisnya adalah portabilitas: dataset yang direkam di sini bisa langsung dimuat ke kode pelatihan berbasis LeRobot, dan dataset yang direkam di tempat lain dengan format yang sama bisa diunggah dan dipakai di platform tanpa konversi.

Sebuah dataset adalah kumpulan episode. Satu episode adalah satu percobaan lengkap atas sebuah tugas, dari kondisi awal yang ditetapkan hingga titik Anda berhenti merekam. Di disk, sebuah episode terbagi ke dalam tiga jenis berkas: berkas Parquet dengan stream numerik, satu berkas video per kamera, dan metadata yang mengikat semuanya jadi satu.

Feature schema di info.json adalah yang dibaca kode pelatihan untuk memahami data Anda: observation key apa saja yang ada, bentuknya, dan laju perekaman. Dua dataset hanya kompatibel jika schema-nya cocok, dan persis itulah yang diperiksa validasi penggabungan.

Nilai joint adalah persentase, bukan derajat

Semua nilai joint di dataset AY-Robots dinormalisasi ala LeRobot: setiap nilai berkisar dari -100 sampai 100 dan merepresentasikan persentase dari rentang kalibrasi joint tersebut, bukan sudut dalam derajat. Pembacaan 0 adalah tengah rentang kalibrasi, -100 dan 100 adalah batasnya.

Dataset cloud di dashboard

Dashboard > Datasets mencantumkan dataset cloud Anda dengan jumlah episode, ukuran berkas, dan status pengumpulan. Dataset dibuat otomatis saat sesi teleoperasi merekam data, dan Anda juga bisa membuatnya secara eksplisit lalu mengisinya dengan mengunggah rekaman dari desktop client.

• Buat: dataset baru muncul dari sesi secara otomatis, atau buat yang kosong dan unggah ke dalamnya.
• Ganti nama: ubah nama tampilan kapan saja; perubahan ini tidak menyentuh datanya sendiri.
• Hapus: menghapus dataset beserta semua episode dan berkasnya. Penghapusan bersifat permanen, jadi unduh arsipnya dulu jika Anda mungkin membutuhkan datanya lagi.

Episode browser

Membuka sebuah dataset membawa Anda ke episode browser. Setiap episode punya pemutar video untuk stream kameranya dan grafik joint tersinkron yang memplot nilai joint yang dinormalisasi sepanjang episode. Menggeser videonya menggerakkan kursor grafik bersamanya, yang membuat mudah menemukan masalah: pendekatan yang tersentak-sentak muncul sebagai lonjakan di grafik, grasp yang gagal terlihat di channel gripper bahkan sebelum Anda menonton videonya.

Label episode: Success, Recovery, Failure

Setiap episode bisa membawa salah satu dari tiga label. Success menandai demonstrasi tugas yang bersih. Recovery menandai episode di mana sesuatu salah di tengah percobaan dan Anda mengoreksinya; ini berharga karena mengajarkan policy cara kembali ke jalur yang benar. Failure menandai episode yang tidak mencapai tujuan dan biasanya harus dikeluarkan dari pelatihan. Memberi label saat meninjau jauh lebih murah daripada men-debug policy yang diam-diam belajar dari demonstrasi yang buruk.

Menggabungkan dataset

Penggabungan mengombinasikan beberapa rekaman menjadi satu dataset yang lebih besar, misalnya seminggu sesi pada tugas yang sama atau rekaman dari dua lengan yang terkalibrasi. Penggabungan mengambil beberapa arsip tar.gz, masing-masing berisi sebuah dataset LeRobot, dan menghasilkan satu dataset dengan episode yang diindeks ulang.

1. 1
   Siapkan arsipnya

   Setiap input harus berupa dataset LeRobot lengkap yang dikemas sebagai arsip tar.gz, termasuk direktori meta-nya. Arsip parsial tanpa info.json tidak bisa divalidasi dan akan ditolak.

2. 2
   Unggah beberapa arsip

   Di Dashboard > Datasets, mulai sebuah penggabungan dan pilih semua arsip tar.gz yang ingin Anda gabungkan dalam satu langkah.

3. 3
   Validasi

   Platform memeriksa bahwa fps, feature schema, dan robot_type cocok di semua input. Jika salah satu dari ketiganya berbeda, penggabungan ditolak dengan ketidakcocokan yang disebutkan, karena dataset gabungan dengan stream yang tidak konsisten akan diam-diam merusak pelatihan.

4. 4
   Tinjau hasilnya

   Dataset yang digabungkan muncul di daftar Anda dengan jumlah episode gabungan. Buka episode browser dan periksa beberapa episode dari setiap sumber sebelum Anda melatih dengannya.

Tiga aturan kompatibilitas ini sengaja dibuat ketat. Ketidakcocokan frame rate mengubah arti setiap timestep, ketidakcocokan schema langsung merusak loader, dan mencampur robot type menghasilkan dataset yang tidak bisa ditindaklanjuti oleh policy mana pun. Jika Anda perlu menggabungkan data dari lengan berbeda dari model yang sama, itu tidak masalah: robot_type merujuk pada model, bukan unit fisiknya.

Marketplace dataset

Marketplace memungkinkan Anda membeli dataset yang direkam orang lain dan menjual dataset Anda sendiri. Dataset yang dibeli tiba di dashboard Anda dalam tata letak LeRobot yang sama seperti rekaman Anda sendiri, jadi dataset itu langsung bekerja dengan episode browser, penggabungan, dan pelatihan tanpa langkah tambahan apa pun.

Jika Anda menjual, kurasi dulu sebelum mendaftarkannya. Tinjau episodenya, beri label dengan jujur, dan pastikan string tugas menjelaskan apa yang benar-benar terjadi dalam rekaman. Pembeli yang mengevaluasi dataset Anda melihat episode browser yang sama dengan yang Anda lihat, dan dataset dengan label yang bersih serta demonstrasi yang konsisten bernilai lebih daripada dump mentah dari segala sesuatu yang pernah Anda rekam.

Pertanyaan yang sering diajukan