Datasetlar bilan ishlash

LeRobot dataset formati

AY-Robots barcha demonstratsiya maʼlumotini Hugging Face qoʻllab-quvvatlaydigan LeRobot dataset formatida saqlaydi. Amaliy foyda koʻchirilishi mumkinligida: shu yerda yozilgan dataset toʻgʻridan-toʻgʻri LeRobot asosidagi oʻqitish kodiga yuklanadi, boshqa joyda xuddi shu formatda yozilgan datasetlar esa hech qanday konvertatsiyasiz platformaga yuklanib ishlatilishi mumkin.

Dataset epizodlar toʻplami. Bitta epizod, belgilangan boshlangʻich holatdan yozishni toʻxtatgan nuqtagacha, vazifani bajarishga bitta toʻliq urinish. Diskda epizod uch turdagi faylga boʻlingan: raqamli oqimlarni saqlovchi Parquet fayli, har bir kamera uchun bitta video fayl, va hammasini bogʻlovchi metadata.

info.json dagi xususiyat sxemasi oʻqitish kodi maʼlumotingizni tushunish uchun oʻqiydigan narsa: qaysi kuzatuv kalitlari mavjud, ularning shakllari va yozish tezligi. Ikki dataset faqat sxemalari mos kelsagina moslashadi, aynan shuni birlashtirish tekshiruvi tekshiradi.

Boʻgʻim qiymatlari daraja emas, foiz

AY-Robots datasetlaridagi barcha boʻgʻim qiymatlari LeRobot-normalizatsiyalangan: har bir qiymat -100 dan 100 gacha oʻzgaradi va oʻsha boʻgʻimning kalibrlangan diapazoni foizini ifodalaydi, gradusdagi burchakni emas. 0 oʻqishi kalibrlangan diapazon markazi, -100 va 100 esa uning chegaralari.

Boshqaruv panelidagi bulutli datasetlar

Dashboard > Datasets bulutli datasetlaringizni epizod soni, fayl hajmi va yigʻish holati bilan roʻyxatga oladi. Teleoperatsiya sessiyasi maʼlumot yozganda datasetlar avtomatik yaratiladi, siz esa bittasini aniq yaratib, desktop klientdan yozuvlarni yuklab toʻldirishingiz ham mumkin.

• Yaratish: yangi datasetlar sessiyalardan avtomatik paydo boʻladi, yoki boʻshini yaratib ichiga yuklang.
• Nomini oʻzgartirish: koʻrsatiladigan nomni istalgan vaqt oʻzgartiring; bu oʻzgarish maʼlumotning oʻziga tegmaydi.
• Oʻchirish: datasetni va uning barcha epizodlari va fayllarini olib tashlaydi. Oʻchirish qaytarilmaydi, shuning uchun maʼlumot yana kerak boʻlishi mumkin boʻlsa avval arxiv yuklab oling.

Epizod brauzeri

Datasetni ochish sizni epizod brauzeriga olib boradi. Har bir epizodning kamera oqimlari uchun video pleyeri va epizod boʻylab normalizatsiyalangan boʻgʻim qiymatlarini chizadigan sinxronlashtirilgan grafiklari bor. Videoni surish grafik kursorini u bilan birga koʻchiradi, bu esa muammolarni topishni tezlashtiradi: kesuvchan yaqinlashish grafiklarda sakrashlar sifatida koʻrinadi, muvaffaqiyatsiz ushlash esa videoni tomosha qilishdan oldin greyfer kanalida koʻrinadi.

Epizod belgilari: Success, Recovery, Failure

Har bir epizod uchta belgidan birini olishi mumkin. Success vazifaning toza demonstratsiyasini belgilaydi. Recovery urinish oʻrtasida nimadir notoʻgʻri ketib, siz uni tuzatgan epizodni belgilaydi; bular qimmatli, chunki policyga yoʻlga qaytishni oʻrgatadi. Failure maqsadga yetmagan epizodlarni belgilaydi va odatda oʻqitishdan tashqarida qoldirilishi kerak. Koʻrib chiqayotganda belgilash yomon demonstratsiyalardan sezilmasdan oʻrgangan policyni debug qilishdan ancha arzon.

Datasetlarni birlashtirish

Birlashtirish bir necha yozuvni bitta kattaroq datasetga qoʻshadi, masalan bir xil vazifa boʻyicha bir haftalik sessiyalar yoki ikkita kalibrlangan qoʻldan olingan yozuvlar. Birlashtirish har biri LeRobot datasetini oʻz ichiga olgan bir nechta tar.gz arxivini oladi va qayta indekslangan epizodlar bilan bitta dataset hosil qiladi.

1. 1
   Arxivlarni tayyorlang

   Har bir kiritma meta katalogi bilan birga tar.gz arxivi sifatida oʻralgan toʻliq LeRobot dataseti boʻlishi kerak. info.json siz qisman arxivlarni tekshirib boʻlmaydi va ular rad etiladi.

2. 2
   Bir nechta arxivni yuklang

   Dashboard > Datasets da birlashtirishni boshlang va bitta qadamda birlashtirmoqchi boʻlgan barcha tar.gz arxivlarini tanlang.

3. 3
   Tekshiruv

   Platforma fps, xususiyat sxemasi va robot_type barcha kiritmalarda mos kelishini tekshiradi. Uchtasidan biri farq qilsa, birlashtirish nomuvofiqlik koʻrsatilgan holda rad etiladi, chunki nomuvofiq oqimli birlashtirilgan dataset oʻqitishni sezilmasdan buzadi.

4. 4
   Natijani koʻrib chiqing

   Birlashtirilgan dataset roʻyxatingizda umumiy epizod soni bilan paydo boʻladi. Oʻqitishdan oldin epizod brauzerini ochib, har bir manbadan bir nechta epizodni tekshirib koʻring.

Uchta moslik qoidasi ataylab qat'iy. Freym tezligi nomuvofiqligi har bir vaqt qadamining maʼnosini oʻzgartiradi, sxema nomuvofiqligi yuklovchilarni butunlay buzadi, robot turlarini aralashtirish esa bironta policy ham harakat qila olmaydigan dataset hosil qiladi. Bir xil modelning turli qoʻllaridan maʼlumotni birlashtirish kerak boʻlsa, bu yaxshi: robot_type modelga tegishli, jismoniy birlikka emas.

Dataset bozori

Bozor boshqalar yozib olgan datasetlarni sotib olishga va oʻzingizinikini sotishga imkon beradi. Sotib olingan datasetlar boshqaruv panelingizga oʻz yozuvlaringiz bilan bir xil LeRobot tuzilmasida keladi, shuning uchun ular epizod brauzeri, birlashtirish va oʻqitish bilan hech qanday qoʻshimcha qadamlarsiz ishlaydi.

Sotmoqchi boʻlsangiz, roʻyxatga qoʻyishdan oldin kuratsiya qiling. Epizodlarni koʻrib chiqing, ularni halol belgilang va vazifa matnlari yozuvlarda aslida nima sodir boʻlishini tasvirlashini tekshiring. Datasetingizni baholayotgan xaridor siz koʻrgan xuddi shu epizod brauzerini koʻradi, toza belgilar va izchil demonstratsiyali datasetlar esa hech qachon yozib olgan hamma narsangizning xom uyumidan qimmatroq.

Koʻp beriladigan savollar