Bekerja dengan set data

Format set data LeRobot

AY-Robots menyimpan semua data demonstrasi dalam format set data LeRobot yang diselenggara oleh Hugging Face. Faedah praktikalnya ialah portabiliti: set data yang dirakam di sini dimuatkan terus ke dalam kod latihan berasaskan LeRobot, dan set data yang dirakam di tempat lain dalam format yang sama boleh dimuat naik dan digunakan pada platform tanpa penukaran.

Set data ialah koleksi episod. Satu episod ialah satu percubaan lengkap bagi satu tugas, daripada keadaan permulaan yang ditakrifkan hingga ke titik anda berhenti merakam. Pada cakera, satu episod dipisahkan kepada tiga jenis fail: satu fail Parquet dengan stream berangka, satu fail video bagi setiap kamera, dan metadata yang mengikat segala-galanya bersama.

Skema ciri dalam info.json ialah apa yang dibaca oleh kod latihan untuk memahami data anda: kunci pemerhatian apa yang wujud, bentuknya, dan kadar rakaman. Dua set data hanya serasi jika skemanya sepadan, dan itulah tepat yang disemak oleh pengesahan penggabungan.

Nilai sendi ialah peratusan, bukan darjah

Semua nilai sendi dalam set data AY-Robots dinormalkan gaya LeRobot: setiap nilai berjulat daripada -100 hingga 100 dan mewakili peratusan julat kalibrasi sendi itu, bukan sudut dalam darjah. Bacaan 0 ialah pusat julat kalibrasi, -100 dan 100 ialah hadnya.

Set data awan dalam papan pemuka

Dashboard > Datasets menyenaraikan set data awan anda dengan bilangan episod, saiz fail, dan status pengumpulan. Set data dicipta secara automatik apabila sesi teleoperasi merakam data, dan anda juga boleh mencipta satu secara eksplisit dan mengisinya dengan memuat naik rakaman daripada aplikasi desktop.

• Cipta: set data baharu dipaparkan secara automatik daripada sesi, atau cipta satu yang kosong dan muat naik ke dalamnya.
• Tukar nama: tukar nama paparan pada bila-bila masa; perubahan itu tidak menyentuh data itu sendiri.
• Padam: mengalih keluar set data dan semua episod serta failnya. Pemadaman kekal, jadi muat turun arkib dahulu jika anda mungkin memerlukan data itu lagi.

Pelayar episod

Membuka set data membawa anda ke pelayar episod. Setiap episod mempunyai pemain video untuk stream kameranya dan carta sendi yang diselaraskan yang memplot nilai sendi yang dinormalkan sepanjang episod itu. Menatal video menggerakkan penunjuk carta bersama-samanya, yang mempercepatkan pengesanan masalah: penghampiran yang tersentak-sentak muncul sebagai lonjakan dalam carta, genggaman yang gagal boleh dilihat dalam saluran penggenggam sebelum anda sempat menonton video itu.

Label episod: Success, Recovery, Failure

Setiap episod boleh membawa salah satu daripada tiga label. Success menandakan demonstrasi tugas yang bersih. Recovery menandakan episod di mana sesuatu tidak kena di pertengahan percubaan dan anda membetulkannya; ini berharga kerana ia mengajar policy cara kembali ke landasan. Failure menandakan episod yang tidak mencapai matlamat dan biasanya perlu dikeluarkan daripada latihan. Melabel semasa menyemak jauh lebih murah daripada men-debug policy yang secara senyap belajar daripada demonstrasi yang buruk.

Menggabungkan set data

Penggabungan menggabungkan beberapa rakaman menjadi satu set data yang lebih besar, contohnya seminggu sesi pada tugas yang sama atau rakaman daripada dua lengan yang dikalibrasi. Penggabungan mengambil beberapa arkib tar.gz, setiap satu mengandungi satu set data LeRobot, dan menghasilkan satu set data tunggal dengan episod yang diindeks semula.

1. 1
   Sediakan arkib

   Setiap input mesti satu set data LeRobot yang lengkap dibungkus sebagai arkib tar.gz, termasuk direktori meta-nya. Arkib separa tanpa info.json tidak dapat disahkan dan ditolak.

2. 2
   Muat naik beberapa arkib

   Dalam Dashboard > Datasets, mulakan penggabungan dan pilih semua arkib tar.gz yang anda mahu gabungkan dalam satu langkah.

3. 3
   Pengesahan

   Platform menyemak sama ada fps, skema ciri, dan robot_type sepadan merentasi semua input. Jika mana-mana daripada ketiga-tiga itu berbeza, penggabungan ditolak dengan ketidaksepadanan itu dinamakan, kerana set data gabungan dengan stream tidak konsisten akan merosakkan latihan secara senyap.

4. 4
   Semak hasilnya

   Set data gabungan dipaparkan dalam senarai anda dengan bilangan episod gabungan. Buka pelayar episod dan semak beberapa episod daripada setiap sumber sebelum melatih dengannya.

Ketiga-tiga peraturan keserasian ini sengaja ketat. Ketidaksepadanan kadar bingkai mengubah maksud setiap langkah masa, ketidaksepadanan skema memecahkan loader sepenuhnya, dan mencampurkan jenis robot menghasilkan set data yang tiada policy tunggal boleh bertindak dengannya. Jika anda perlu menggabungkan data daripada lengan berbeza bagi model yang sama, itu tidak mengapa: robot_type merujuk kepada model, bukan unit fizikal.

Pasaran set data

Pasaran membenarkan anda membeli set data yang dirakam oleh orang lain dan menjual set data anda sendiri. Set data yang dibeli tiba dalam papan pemuka anda dengan susunan LeRobot yang sama seperti rakaman anda sendiri, jadi ia berfungsi dengan pelayar episod, penggabungan, dan latihan tanpa sebarang langkah tambahan.

Jika anda menjual, uruskan sebelum menyenaraikannya. Semak episod, label dengan jujur, dan pastikan rentetan tugas menerangkan apa yang sebenarnya berlaku dalam rakaman itu. Pembeli yang menilai set data anda melihat pelayar episod yang sama seperti yang anda lihat, dan set data dengan label yang bersih serta demonstrasi yang konsisten lebih bernilai daripada longgokan mentah segala yang pernah anda rakam.

Soalan lazim