Lucrul cu seturile de date

Formatul setului de date LeRobot

AY-Robots stochează toate datele demonstrative în formatul setului de date LeRobot, întreținut de Hugging Face. Avantajul practic este portabilitatea: un set de date înregistrat aici se încarcă direct în cod de antrenare bazat pe LeRobot, iar seturile de date înregistrate în altă parte, în același format, pot fi încărcate și folosite pe platformă fără conversie.

Un set de date este o colecție de episoade. Un episod este o încercare completă a unei sarcini, de la o stare de start definită până la punctul în care ați oprit înregistrarea. Pe disc, un episod este împărțit în trei tipuri de fișiere: un fișier Parquet cu fluxurile numerice, un fișier video per cameră și metadate care leagă totul.

Schema de feature-uri din info.json este ceea ce citește codul de antrenare pentru a înțelege datele dumneavoastră: ce chei de observație există, formele lor și rata de înregistrare. Două seturi de date sunt compatibile doar dacă schemele lor coincid, și exact asta verifică validarea de îmbinare.

Valorile articulațiilor sunt procente, nu grade

Toate valorile articulațiilor din seturile de date AY-Robots sunt normalizate LeRobot: fiecare valoare variază între -100 și 100 și reprezintă un procent din intervalul calibrat al articulației respective, nu un unghi în grade. O valoare de 0 este centrul intervalului calibrat, iar -100 și 100 sunt limitele sale.

Seturi de date în cloud în panoul de control

Dashboard > Datasets listează seturile dumneavoastră de date din cloud, cu numărul de episoade, dimensiunile fișierelor și starea colectării. Seturile de date sunt create automat atunci când o sesiune de teleoperare înregistrează date, și puteți crea și unul explicit, apoi îl puteți popula încărcând înregistrări din clientul desktop.

• Creare: seturile de date noi apar automat din sesiuni, sau creați unul gol și încărcați în el.
• Redenumire: schimbați numele afișat oricând; schimbarea nu afectează datele în sine.
• Ștergere: elimină setul de date și toate episoadele și fișierele sale. Ștergerea este permanentă, deci descărcați mai întâi o arhivă dacă ați putea avea nevoie de date din nou.

Browserul de episoade

Deschiderea unui set de date vă duce în browserul de episoade. Fiecare episod are un player video pentru fluxurile sale de la camere și grafice sincronizate ale articulațiilor, care afișează valorile normalizate ale articulațiilor pe parcursul episodului. Derularea videoclipului mișcă și cursorul graficului odată cu el, ceea ce face rapidă identificarea problemelor: o apropiere sacadată apare ca vârfuri în grafice, o prindere eșuată este vizibilă pe canalul gripper-ului chiar înainte de a viziona videoclipul.

Etichete de episod: Success, Recovery, Failure

Fiecare episod poate purta una dintre trei etichete. Success marchează o demonstrație curată a sarcinii. Recovery marchează un episod în care ceva a mers greșit în timpul încercării, iar dumneavoastră ați corectat; astfel de episoade sunt valoroase pentru că învață o policy cum să revină pe drumul cel bun. Failure marchează episoadele care nu au atins obiectivul și, de regulă, ar trebui să rămână în afara antrenării. Etichetarea în timpul revizuirii este mult mai ieftină decât depanarea unei policy care a învățat în tăcere din demonstrații proaste.

Îmbinarea seturilor de date

Îmbinarea combină mai multe înregistrări într-un singur set de date mai mare, de exemplu o săptămână de sesiuni pe aceeași sarcină sau înregistrări de la două brațe calibrate. Îmbinarea acceptă mai multe arhive tar.gz, fiecare conținând un set de date LeRobot, și produce un singur set de date cu episoade reindexate.

1. 1
   Pregătiți arhivele

   Fiecare intrare trebuie să fie un set de date LeRobot complet, împachetat ca arhivă tar.gz, inclusiv directorul meta. Arhivele parțiale, fără info.json, nu pot fi validate și sunt respinse.

2. 2
   Încărcați mai multe arhive

   În Dashboard > Datasets, porniți o îmbinare și selectați într-un singur pas toate arhivele tar.gz pe care vreți să le combinați.

3. 3
   Validare

   Platforma verifică dacă fps, schema de feature-uri și robot_type coincid pe toate intrările. Dacă oricare dintre cele trei diferă, îmbinarea este respinsă cu neconcordanța precizată, pentru că un set de date combinat cu fluxuri inconsistente ar corupe silențios antrenarea.

4. 4
   Revizuiți rezultatul

   Setul de date îmbinat apare în lista dumneavoastră cu numărul combinat de episoade. Deschideți browserul de episoade și verificați prin sondaj câteva episoade din fiecare sursă înainte de a antrena pe el.

Cele trei reguli de compatibilitate sunt stricte intenționat. Neconcordanțele de rată de cadre schimbă sensul fiecărui pas temporal, neconcordanțele de schemă strică direct loaderele, iar amestecarea tipurilor de roboți produce un set de date pe care nicio policy singulară nu poate acționa. Combinarea datelor de la brațe diferite ale aceluiași model este, în schimb, în regulă: robot_type se referă la model, nu la unitatea fizică.

Piața de seturi de date

Piața vă permite să cumpărați seturi de date înregistrate de alții și să le vindeți pe ale dumneavoastră. Seturile de date cumpărate ajung în panoul dumneavoastră de control în aceeași structură LeRobot ca și înregistrările proprii, deci funcționează cu browserul de episoade, îmbinarea și antrenarea fără pași suplimentari.

Dacă vindeți, curatoriați înainte de a lista. Revizuiți episoadele, etichetați onest și asigurați-vă că textele sarcinilor descriu ce se întâmplă efectiv în înregistrări. Un cumpărător care evaluează setul dumneavoastră de date vede același browser de episoade ca dumneavoastră, iar seturile de date cu etichete curate și demonstrații consecvente valorează mai mult decât o grămadă brută a tot ce ați înregistrat vreodată.

Întrebări frecvente