Práca s datasetmi

Formát datasetu LeRobot

AY-Robots ukladá všetky demonštračné dáta vo formáte datasetu LeRobot, ktorý spravuje Hugging Face. Praktickou výhodou je prenositeľnosť: dataset nahraný tu sa dá priamo načítať do tréningového kódu založeného na LeRobot a datasety nahraté inde v rovnakom formáte možno nahrať a použiť na platforme bez konverzie.

Dataset je zbierka epizód. Jedna epizóda je jeden úplný pokus o úlohu, od definovaného počiatočného stavu až po bod, kde ste nahrávanie zastavili. Na disku je epizóda rozdelená do troch typov súborov: súbor Parquet s číselnými streamami, jeden video súbor na kameru a metadáta, ktoré všetko spájajú.

Schéma funkcií v info.json je to, čo tréningový kód číta, aby porozumel vašim dátam: aké kľúče pozorovania existujú, ich tvary a rýchlosť nahrávania. Dva datasety sú kompatibilné len vtedy, keď sa ich schémy zhodujú, a presne to overuje validácia pri zlučovaní.

Hodnoty kĺbov sú percentá, nie stupne

Všetky hodnoty kĺbov v datasetoch AY-Robots sú normalizované podľa LeRobot: každá hodnota sa pohybuje od -100 do 100 a predstavuje percento kalibrovaného rozsahu daného kĺbu, nie uhol v stupňoch. Hodnota 0 je stred kalibrovaného rozsahu, -100 a 100 sú jeho hranice.

Cloudové datasety v dashboarde

Dashboard > Datasets zobrazuje vaše cloudové datasety s počtami epizód, veľkosťami súborov a stavom zberu. Datasety vznikajú automaticky, keď relácia teleoperácie nahrá dáta, a môžete tiež jeden vytvoriť explicitne a naplniť ho nahrávaním záznamov z desktopového klienta.

• Vytvorenie: nové datasety vznikajú z relácií automaticky, alebo si vytvoríte prázdny a nahráte do neho.
• Premenovanie: zobrazovaný názov môžete zmeniť kedykoľvek; zmena sa netýka samotných dát.
• Vymazanie: odstráni dataset so všetkými epizódami a súbormi. Vymazanie je trvalé, takže si najprv stiahnite archív, ak by ste dáta ešte mohli potrebovať.

Prehliadač epizód

Otvorenie datasetu vás zavedie do prehliadača epizód. Každá epizóda má prehrávač videa pre svoje kamerové streamy a synchronizované grafy kĺbov, ktoré vykresľujú normalizované hodnoty kĺbov v priebehu epizódy. Posúvanie vo videu presúva aj kurzor v grafe, čo umožňuje rýchlo odhaliť problémy: trhavé priblíženie sa prejaví ako výkyvy v grafoch, neúspešné uchopenie je viditeľné v kanáli chápadla ešte skôr, ako sa vôbec pozriete na video.

Štítky epizód: Success, Recovery, Failure

Každá epizóda môže niesť jeden z troch štítkov. Success označuje čistú demonštráciu úlohy. Recovery označuje epizódu, v ktorej sa uprostred pokusu niečo pokazilo a vy ste to napravili; takéto epizódy sú cenné, pretože učia policy, ako sa vrátiť späť na správnu cestu. Failure označuje epizódy, ktoré cieľ nedosiahli a zvyčajne by mali zostať mimo trénovania. Označovanie počas kontroly je oveľa lacnejšie než ladenie policy, ktorá sa potichu naučila z chybných demonštrácií.

Zlučovanie datasetov

Zlučovanie kombinuje viacero záznamov do jedného väčšieho datasetu, napríklad týždeň relácií na tej istej úlohe alebo záznamy z dvoch kalibrovaných ramien. Zlúčenie prijme viacero archívov tar.gz, každý s jedným datasetom LeRobot, a vytvorí jeden dataset s preindexovanými epizódami.

1. 1
   Pripravte archívy

   Každý vstup musí byť úplný dataset LeRobot zabalený ako archív tar.gz, vrátane adresára meta. Neúplné archívy bez info.json sa nedajú overiť a sú odmietnuté.

2. 2
   Nahrajte viacero archívov

   V Dashboard > Datasets spustite zlúčenie a v jednom kroku vyberte všetky archívy tar.gz, ktoré chcete skombinovať.

3. 3
   Validácia

   Platforma overí, či sa fps, schéma funkcií a robot_type zhodujú naprieč všetkými vstupmi. Ak sa niektorý z troch líši, zlúčenie sa odmietne s uvedením nezhody, pretože kombinovaný dataset s nekonzistentnými streamami by potichu poškodil trénovanie.

4. 4
   Skontrolujte výsledok

   Zlúčený dataset sa objaví vo vašom zozname s kombinovaným počtom epizód. Otvorte prehliadač epizód a namátkovo skontrolujte niekoľko epizód z každého zdroja skôr, ako na ňom začnete trénovať.

Tri pravidlá kompatibility sú prísne zámerne. Rozdielne snímkové frekvencie menia význam každého časového kroku, nezhody v schéme lámu loadery úplne a zmiešané typy robotov vytvárajú dataset, na ktorom nemôže konať žiadna jednotlivá policy. Kombinovať dáta z rôznych ramien toho istého modelu je naopak v poriadku: robot_type sa vzťahuje na model, nie na konkrétny fyzický kus.

Trhovisko datasetov

Na trhovisku môžete kupovať datasety nahraté inými a predávať vlastné. Zakúpené datasety sa objavia vo vašom dashboarde v rovnakom rozložení LeRobot ako vaše vlastné záznamy, takže bez ďalších krokov fungujú s prehliadačom epizód, zlučovaním aj trénovaním.

Ak predávate, kurátorujte pred zverejnením. Prejdite epizódy, označte ich úprimne a uistite sa, že reťazce úloh opisujú, čo sa v záznamoch skutočne deje. Kupujúci, ktorý hodnotí váš dataset, vidí ten istý prehliadač epizód ako vy, a datasety s čistými štítkami a konzistentnými demonštráciami majú vyššiu hodnotu než surové haldy všetkého, čo ste kedy nahrali.

Časté otázky