Veri kümeleriyle çalışma

LeRobot veri kümesi formatı

AY-Robots tüm demonstrasyon verisini Hugging Face tarafından sürdürülen LeRobot veri kümesi formatında saklar. Pratik yararı taşınabilirliktir: burada kaydedilen bir veri kümesi doğrudan LeRobot tabanlı eğitim koduna yüklenir, aynı formatta başka yerde kaydedilen veri kümeleri de dönüştürme yapılmadan platforma yüklenip kullanılabilir.

Bir veri kümesi bölümlerden oluşan bir koleksiyondur. Bir bölüm, tanımlı bir başlangıç durumundan kaydı durdurduğunuz noktaya kadar bir görevin tam bir denemesidir. Diskte bir bölüm üç tür dosyaya bölünür: sayısal akışları içeren bir Parquet dosyası, kamera başına bir video dosyası ve her şeyi birbirine bağlayan meta veri.

info.json içindeki özellik şeması, eğitim kodunun verinizi anlamak için okuduğu şeydir: hangi gözlem anahtarlarının var olduğu, biçimleri ve kayıt hızı. İki veri kümesi yalnızca şemaları uyuştuğunda uyumludur; birleştirme doğrulaması tam olarak bunu kontrol eder.

Eklem değerleri derece değil yüzdedir

AY-Robots veri kümelerindeki tüm eklem değerleri LeRobot normalizasyonuna tabidir: her değer -100 ile 100 arasında değişir ve derece cinsinden bir açıyı değil, o eklemin kalibre edilmiş aralığının yüzdesini temsil eder. 0 okuması kalibre edilmiş aralığın merkezidir, -100 ve 100 ise sınırlarıdır.

Panodaki bulut veri kümeleri

Dashboard > Datasets, bulut veri kümelerinizi bölüm sayıları, dosya boyutları ve toplama durumuyla listeler. Bir teleoperasyon oturumu veri kaydettiğinde veri kümeleri otomatik olarak oluşturulur; ayrıca açıkça bir tane oluşturup masaüstü istemciden kayıtlar yükleyerek doldurabilirsiniz.

• Oluşturma: yeni veri kümeleri oturumlardan otomatik olarak belirir veya boş bir tane oluşturup içine yükleyin.
• Yeniden adlandırma: görünen adı istediğiniz zaman değiştirin; değişiklik verinin kendisine dokunmaz.
• Silme: veri kümesini ve tüm bölümlerini, dosyalarını kaldırır. Silme kalıcıdır, bu yüzden veriye tekrar ihtiyacınız olabilirse önce bir arşiv indirin.

Bölüm tarayıcısı

Bir veri kümesini açmak sizi bölüm tarayıcısına götürür. Her bölümün kamera akışları için bir video oynatıcısı ve bölüm boyunca normalize edilmiş eklem değerlerini çizen senkronize eklem grafikleri vardır. Videoyu ileri geri gezdirmek grafik imlecini onunla birlikte hareket ettirir, bu da sorunları hızlıca fark etmenizi sağlar: sarsıntılı bir yaklaşma grafiklerde sıçramalar olarak görünür, başarısız bir kavrama videoyu izlemeden önce bile tutucu kanalında görünür.

Bölüm etiketleri: Success, Recovery, Failure

Her bölüm üç etiketten birini taşıyabilir. Success, görevin temiz bir demonstrasyonunu işaretler. Recovery, deneme sırasında bir şeylerin ters gittiği ve sizin düzelttiğiniz bir bölümü işaretler; bunlar değerlidir çünkü bir policy'ye rotaya nasıl döneceğini öğretir. Failure, hedefe ulaşmamış ve genellikle eğitimin dışında tutulması gereken bölümleri işaretler. İncelerken etiketlemek, kötü demonstrasyonlardan sessizce öğrenmiş bir policy'yi hata ayıklamaktan çok daha ucuzdur.

Veri kümelerini birleştirme

Birleştirme, örneğin aynı görevde bir haftalık oturumları veya iki kalibre edilmiş koldan gelen kayıtları, birden fazla kaydı tek bir büyük veri kümesinde birleştirir. Birleştirme, her biri bir LeRobot veri kümesi içeren birden fazla tar.gz arşivi alır ve yeniden indekslenmiş bölümlere sahip tek bir veri kümesi üretir.

1. 1
   Arşivleri hazırlayın

   Her girdi, meta dizini dahil olmak üzere tar.gz arşivi olarak paketlenmiş tam bir LeRobot veri kümesi olmalıdır. info.json olmadan kısmi arşivler doğrulanamaz ve reddedilir.

2. 2
   Birden fazla arşiv yükleyin

   Dashboard > Datasets üzerinde bir birleştirme başlatın ve birleştirmek istediğiniz tüm tar.gz arşivlerini tek adımda seçin.

3. 3
   Doğrulama

   Platform, tüm girdiler arasında fps, özellik şeması ve robot_type'ın eşleştiğini kontrol eder. Üçünden herhangi biri farklıysa birleştirme, uyumsuzluk belirtilerek reddedilir; çünkü tutarsız akışlara sahip birleşik bir veri kümesi eğitimi sessizce bozar.

4. 4
   Sonucu inceleyin

   Birleştirilmiş veri kümesi, birleşik bölüm sayısıyla listenizde görünür. Üzerinde eğitim yapmadan önce bölüm tarayıcısını açın ve her kaynaktan birkaç bölümü örnekleyerek kontrol edin.

Üç uyumluluk kuralı kasıtlı olarak katıdır. Kare hızı uyumsuzlukları her zaman adımının anlamını değiştirir, şema uyumsuzlukları yükleyicileri doğrudan bozar ve robot tiplerini karıştırmak hiçbir policy'nin üzerinde işlem yapamayacağı bir veri kümesi üretir. Aynı modelin farklı kollarından veri birleştirmeniz gerekiyorsa bu sorun değildir: robot_type fiziksel birime değil modele karşılık gelir.

Veri kümesi pazar yeri

Pazar yeri, başkaları tarafından kaydedilen veri kümelerini satın almanızı ve kendi veri kümelerinizi satmanızı sağlar. Satın alınan veri kümeleri panonuza kendi kayıtlarınızla aynı LeRobot düzeninde gelir, bu yüzden ek adım gerekmeden bölüm tarayıcısı, birleştirme ve eğitimle çalışırlar.

Satıyorsanız listelemeden önce düzenleyin. Bölümleri inceleyin, dürüstçe etiketleyin ve görev dizelerinin kayıtlarda gerçekte olanı tanımladığından emin olun. Veri kümenizi değerlendiren bir alıcı sizinle aynı bölüm tarayıcısını görür; temiz etiketlere ve tutarlı demonstrasyonlara sahip veri kümeleri, kaydettiğiniz her şeyin ham yığınlarından daha değerlidir.

Sık sorulan sorular