Arbejde med datasæt

LeRobot-datasætformatet

AY-Robots gemmer alle demonstrationsdata i LeRobot-datasætformatet, som vedligeholdes af Hugging Face. Den praktiske fordel er portabilitet: et datasæt optaget her indlæses direkte i LeRobot-baseret træningskode, og datasæt optaget andre steder i samme format kan uploades og bruges på platformen uden konvertering.

Et datasæt er en samling af episoder. Én episode er ét komplet forsøg på en opgave, fra en defineret starttilstand til det punkt, hvor du stoppede optagelsen. På disken deles en episode op på tre typer filer: en Parquet-fil med de numeriske streams, én videofil per kamera og metadata, der binder det hele sammen.

Featureskemaet i info.json er det, træningskode læser for at forstå dine data: hvilke observationsnøgler der findes, deres former og optagelsesraten. To datasæt er kun kompatible, hvis deres skemaer stemmer overens, hvilket er præcis, hvad fletningsvalideringen tjekker.

Ledværdier er procenter, ikke grader

Alle ledværdier i AY-Robots-datasæt er LeRobot-normaliserede: hver værdi går fra -100 til 100 og repræsenterer en procentdel af det pågældende leds kalibrerede område, ikke en vinkel i grader. En værdi på 0 er midten af det kalibrerede område, -100 og 100 er dets grænser.

Skydatasæt i dashboardet

Dashboard > Datasets viser dine skydatasæt med episodeantal, filstørrelser og indsamlingsstatus. Datasæt oprettes automatisk, når en teleoperationssession optager data, og du kan også oprette ét eksplicit og fylde det ved at uploade optagelser fra desktopklienten.

• Opret: nye datasæt dukker automatisk op fra sessioner, eller opret ét tomt og upload til det.
• Omdøb: skift visningsnavnet når som helst; ændringen rører ikke selve dataene.
• Slet: fjerner datasættet og alle dets episoder og filer. Sletning er permanent, så download et arkiv først, hvis du kan komme til at få brug for dataene igen.

Episodebrowseren

At åbne et datasæt tager dig til episodebrowseren. Hver episode har en videoafspiller til sine kamerastreams og synkroniserede ledgrafer, der plotter de normaliserede ledværdier gennem episoden. At spole i videoen flytter grafmarkøren med den, hvilket gør det hurtigt at få øje på problemer: en rykvis tilgang viser sig som udsving i graferne, et mislykket greb ses i griberkanalen, før du overhovedet ser videoen.

Episodemærker: Success, Recovery, Failure

Hver episode kan bære ét af tre mærker. Success markerer en ren demonstration af opgaven. Recovery markerer en episode, hvor noget gik galt midtvejs, og du rettede det; disse er værdifulde, fordi de lærer en policy at komme på ret spor igen. Failure markerer episoder, der ikke nåede målet, og som normalt bør holdes ude af træningen. At mærke undervejs, mens du gennemgår, er langt billigere end at fejlfinde en policy, der stille har lært af dårlige demonstrationer.

Fletning af datasæt

Fletning kombinerer flere optagelser til ét større datasæt, for eksempel en uges sessioner på samme opgave eller optagelser fra to kalibrerede arme. Fletningen tager flere tar.gz-arkiver, hver indeholdende ét LeRobot-datasæt, og producerer ét samlet datasæt med genindekserede episoder.

1. 1
   Forbered arkiverne

   Hvert input skal være et komplet LeRobot-datasæt pakket som et tar.gz-arkiv, inklusive dets meta-mappe. Delvise arkiver uden info.json kan ikke valideres og afvises.

2. 2
   Upload flere arkiver

   I Dashboard > Datasets starter du en fletning og vælger alle de tar.gz-arkiver, du vil kombinere, i ét trin.

3. 3
   Validering

   Platformen tjekker, at fps, featureskemaet og robot_type stemmer overens på tværs af alle input. Hvis blot ét af de tre afviger, afvises fletningen med uoverensstemmelsen navngivet, fordi et kombineret datasæt med inkonsistente streams stille ville ødelægge træningen.

4. 4
   Gennemgå resultatet

   Det flettede datasæt vises på din liste med det kombinerede episodeantal. Åbn episodebrowseren, og stikprøvetjek nogle episoder fra hver kilde, før du træner på det.

De tre kompatibilitetsregler er bevidst strenge. Uoverensstemmelser i billedrate ændrer betydningen af hvert tidstrin, skemaafvigelser bryder loaders helt, og blanding af robottyper giver et datasæt, som ingen enkelt policy kan handle på. Har du brug for at kombinere data fra forskellige arme af samme model, er det fint: robot_type refererer til modellen, ikke den fysiske enhed.

Markedspladsen for datasæt

Markedspladsen lader dig købe datasæt optaget af andre og sælge dine egne. Købte datasæt ankommer til dit dashboard i samme LeRobot-layout som dine egne optagelser, så de fungerer med episodebrowseren, fletning og træning uden ekstra trin.

Sælger du, så kurater før du lister. Gennemgå episoderne, mærk dem ærligt, og sørg for, at opgavestrengene beskriver, hvad der reelt sker i optagelserne. En køber, der vurderer dit datasæt, ser den samme episodebrowser som dig, og datasæt med rene mærker og konsistente demonstrationer er mere værd end rå dumps af alt, du nogensinde har optaget.

Ofte stillede spørgsmål