Praca z datasetami

Format datasetu LeRobot

AY-Robots przechowuje wszystkie dane demonstracyjne w formacie datasetu LeRobot, utrzymywanym przez Hugging Face. Praktyczną korzyścią jest przenośność: dataset nagrany tutaj wczytuje się bezpośrednio do kodu treningowego opartego na LeRobot, a datasety nagrane gdzie indziej w tym samym formacie można przesłać i wykorzystać na platformie bez konwersji.

Dataset to zbiór epizodów. Jeden epizod to jedna kompletna próba wykonania zadania, od zdefiniowanego stanu początkowego do momentu, w którym zatrzymano nagrywanie. Na dysku epizod jest podzielony na trzy rodzaje plików: plik Parquet ze strumieniami liczbowymi, jeden plik wideo na kamerę oraz metadane, które łączą to wszystko w całość.

Schemat cech w info.json to to, co kod treningowy odczytuje, by zrozumieć Twoje dane: jakie klucze obserwacji istnieją, ich kształty i częstotliwość nagrywania. Dwa datasety są kompatybilne tylko wtedy, gdy ich schematy się zgadzają, i dokładnie to sprawdza walidacja łączenia.

Wartości przegubów to procenty, nie stopnie

Wszystkie wartości przegubów w datasetach AY-Robots są znormalizowane według LeRobot: każda wartość mieści się w zakresie od -100 do 100 i reprezentuje procent skalibrowanego zakresu danego przegubu, a nie kąt w stopniach. Odczyt 0 to środek skalibrowanego zakresu, -100 i 100 to jego granice.

Datasety w chmurze w panelu

Dashboard > Datasets wyświetla Twoje datasety w chmurze z liczbą epizodów, rozmiarami plików i statusem zbierania. Datasety powstają automatycznie, gdy sesja teleoperacji nagrywa dane, a możesz też utworzyć jeden jawnie i wypełnić go, przesyłając nagrania z desktop clienta.

• Tworzenie: nowe datasety pojawiają się automatycznie z sesji, albo utwórz pusty i prześlij do niego dane.
• Zmiana nazwy: zmień nazwę wyświetlaną w dowolnym momencie; zmiana nie dotyka samych danych.
• Usuwanie: usuwa dataset oraz wszystkie jego epizody i pliki. Usunięcie jest trwałe, więc jeśli dane mogą się jeszcze przydać, najpierw pobierz archiwum.

Przeglądarka epizodów

Otwarcie datasetu przenosi Cię do przeglądarki epizodów. Każdy epizod ma odtwarzacz wideo dla swoich strumieni kamer oraz zsynchronizowane wykresy przegubów, które nanoszą znormalizowane wartości przegubów na oś czasu epizodu. Przewijanie wideo przesuwa kursor na wykresie razem z nim, co pozwala szybko wychwytywać problemy: szarpane podejście widać jako skoki na wykresach, nieudany chwyt jest widoczny w kanale chwytaka, jeszcze zanim obejrzysz wideo.

Etykiety epizodów: Success, Recovery, Failure

Każdy epizod może nosić jedną z trzech etykiet. Success oznacza czystą demonstrację zadania. Recovery oznacza epizod, w którym coś poszło nie tak w trakcie próby i zostało skorygowane; są cenne, ponieważ uczą policy, jak wrócić na właściwy kurs. Failure oznacza epizody, które nie osiągnęły celu i zwykle powinny zostać poza treningiem. Etykietowanie w trakcie przeglądu jest dużo tańsze niż debugowanie policy, która po cichu nauczyła się ze złych demonstracji.

Łączenie datasetów

Łączenie scala kilka nagrań w jeden większy dataset, na przykład tydzień sesji na tym samym zadaniu albo nagrania z dwóch skalibrowanych ramion. Łączenie przyjmuje wiele archiwów tar.gz, każde zawierające dataset LeRobot, i produkuje jeden dataset z epizodami ponownie zindeksowanymi.

1. 1
   Przygotuj archiwa

   Każde wejście musi być kompletnym datasetem LeRobot spakowanym jako archiwum tar.gz, wraz z katalogiem meta. Częściowe archiwa bez info.json nie mogą zostać zwalidowane i są odrzucane.

2. 2
   Prześlij wiele archiwów

   W Dashboard > Datasets rozpocznij łączenie i wybierz wszystkie archiwa tar.gz, które chcesz połączyć w jednym kroku.

3. 3
   Walidacja

   Platforma sprawdza, czy fps, schemat cech i robot_type zgadzają się we wszystkich wejściach. Jeśli którekolwiek z trzech się różni, łączenie jest odrzucane z podaną niezgodnością, ponieważ połączony dataset z niespójnymi strumieniami po cichu zepsułby trening.

4. 4
   Przejrzyj wynik

   Połączony dataset pojawia się na Twojej liście z łączną liczbą epizodów. Otwórz przeglądarkę epizodów i wyrywkowo sprawdź kilka epizodów z każdego źródła, zanim zaczniesz na nim trenować.

Trzy zasady kompatybilności są celowo restrykcyjne. Niezgodności częstotliwości klatek zmieniają znaczenie każdego kroku czasowego, niezgodności schematów całkowicie psują loadery, a mieszanie typów robotów tworzy dataset, na którym żadna policy nie może działać. Jeśli musisz połączyć dane z różnych ramion tego samego modelu, to w porządku: robot_type odnosi się do modelu, nie do fizycznego egzemplarza.

Marketplace datasetów

Marketplace pozwala kupować datasety nagrane przez innych i sprzedawać własne. Kupione datasety trafiają do Twojego panelu w tym samym układzie LeRobot co Twoje własne nagrania, więc działają z przeglądarką epizodów, łączeniem i treningiem bez dodatkowych kroków.

Jeśli sprzedajesz, uporządkuj dane przed wystawieniem. Przejrzyj epizody, oznacz je uczciwie i upewnij się, że opisy zadań opisują to, co faktycznie dzieje się w nagraniach. Kupujący oceniający Twój dataset widzi tę samą przeglądarkę epizodów co Ty, a datasety z czystymi etykietami i spójnymi demonstracjami są warte więcej niż surowe zrzuty wszystkiego, co kiedykolwiek nagrałeś.

Najczęściej zadawane pytania