Arbeide med datasett

LeRobot-datasettformatet

AY-Robots lagrer alle demonstrasjonsdata i LeRobot-datasettformatet, vedlikeholdt av Hugging Face. Den praktiske fordelen er portabilitet: et datasett tatt opp her lastes rett inn i LeRobot-basert treningskode, og datasett tatt opp andre steder i samme format kan lastes opp og brukes på plattformen uten konvertering.

Et datasett er en samling episoder. Én episode er ett fullstendig forsøk på en oppgave, fra en definert starttilstand til punktet der du stoppet opptaket. På disk er en episode delt over tre typer filer: en Parquet-fil med de numeriske strømmene, én videofil per kamera, og metadata som binder alt sammen.

Feature-skjemaet i info.json er det treningskode leser for å forstå dataene dine: hvilke observasjonsnøkler som finnes, formene deres, og opptaksraten. To datasett er bare kompatible hvis skjemaene deres stemmer overens, og det er nøyaktig det sammenslåingsvalideringen sjekker.

Leddverdier er prosenter, ikke grader

Alle leddverdier i AY-Robots-datasett er LeRobot-normaliserte: hver verdi går fra -100 til 100 og representerer en prosentandel av det aktuelle leddets kalibrerte område, ikke en vinkel i grader. En avlesning på 0 er midten av det kalibrerte området, -100 og 100 er grensene.

Skydatasett i dashbordet

Dashboard > Datasets viser skydatasettene dine med episodeantall, filstørrelser og innsamlingsstatus. Datasett opprettes automatisk når en teleoperasjonsøkt tar opp data, og du kan også opprette ett eksplisitt og fylle det ved å laste opp opptak fra skrivebordsklienten.

• Opprett: nye datasett dukker opp fra økter automatisk, eller opprett et tomt og last opp inn i det.
• Endre navn: bytt visningsnavnet når som helst; endringen rører ikke ved selve dataene.
• Slett: fjerner datasettet med alle episoder og filer. Sletting er permanent, så last ned et arkiv først hvis du kan komme til å trenge dataene igjen.

Episodeutforskeren

Å åpne et datasett tar deg til episodeutforskeren. Hver episode har en videospiller for kamerastrømmene og synkroniserte leddgrafer som plotter de normaliserte leddverdiene gjennom episoden. Å spole i videoen flytter graf-markøren med, noe som gjør det raskt å oppdage problemer: en rykkete tilnærming vises som topper i grafene, et mislykket grep er synlig i griperkanalen før du i det hele tatt ser videoen.

Episode-etiketter: Success, Recovery, Failure

Hver episode kan bære én av tre etiketter. Success merker en ren demonstrasjon av oppgaven. Recovery merker en episode der noe gikk galt midt i forsøket og du korrigerte det; slike episoder er verdifulle fordi de lærer en policy hvordan den kommer på rett spor igjen. Failure merker episoder som ikke nådde målet og som vanligvis bør holdes utenfor treningen. Å merke mens du gjennomgår er langt billigere enn å feilsøke en policy som stille lærte av dårlige demonstrasjoner.

Slå sammen datasett

Sammenslåing kombinerer flere opptak til ett større datasett, for eksempel en ukes økter på samme oppgave eller opptak fra to kalibrerte armer. Sammenslåingen tar imot flere tar.gz-arkiver, hvert med et LeRobot-datasett, og produserer ett enkelt datasett med nyindekserte episoder.

1. 1
   Forbered arkivene

   Hver inndata må være et komplett LeRobot-datasett pakket som et tar.gz-arkiv, inkludert meta-katalogen. Delvise arkiver uten info.json kan ikke valideres og avvises.

2. 2
   Last opp flere arkiver

   Start en sammenslåing i Dashboard > Datasets og velg alle tar.gz-arkivene du vil kombinere, i ett steg.

3. 3
   Validering

   Plattformen sjekker at fps, feature-skjemaet og robot_type stemmer overens på tvers av alle inndata. Avviker ett av de tre, avvises sammenslåingen med avviket navngitt, fordi et kombinert datasett med inkonsistente strømmer stille ville ødelegge treningen.

4. 4
   Gjennomgå resultatet

   Det sammenslåtte datasettet dukker opp i listen din med det kombinerte episodeantallet. Åpne episodeutforskeren og stikkprøvekontroller noen episoder fra hver kilde før du trener på det.

De tre kompatibilitetsreglene er strenge med hensikt. Avvikende bildefrekvenser endrer betydningen av hvert tidssteg, skjemaavvik knekker lastere rett og slett, og blandede robottyper gir et datasett ingen enkelt policy kan handle på. Å kombinere data fra ulike armer av samme modell er derimot greit: robot_type viser til modellen, ikke det fysiske eksemplaret.

Markedsplassen for datasett

På markedsplassen kan du kjøpe datasett tatt opp av andre og selge dine egne. Kjøpte datasett havner i dashbordet ditt i samme LeRobot-oppsett som dine egne opptak, og fungerer dermed uten ekstra steg med episodeutforskeren, sammenslåing og trening.

Selger du, kurater før du legger ut. Gjennomgå episodene, merk dem ærlig, og sørg for at task-strengene beskriver hva som faktisk skjer i opptakene. En kjøper som vurderer datasettet ditt, ser den samme episodeutforskeren som deg, og datasett med rene etiketter og konsistente demonstrasjoner er mer verdt enn rå hauger av alt du noensinne har tatt opp.

Ofte stilte spørsmål