Datasetien käyttö

LeRobot-datasetin muoto

AY-Robots tallentaa kaiken demonstraatiodatan Hugging Facen ylläpitämässä LeRobot-datasetmuodossa. Käytännön hyöty on siirrettävyys: täällä tallennettu dataset latautuu suoraan LeRobot-pohjaiseen koulutuskoodiin, ja muualla samassa muodossa tallennetut datasetit voidaan ladata alustalle ja käyttää siellä ilman muunnosta.

Dataset on kokoelma episodeja. Yksi episodi on yksi täydellinen yritys tehtävään, määritellystä alkutilasta siihen pisteeseen, jossa lopetit tallennuksen. Levyllä episodi jakautuu kolmenlaisiin tiedostoihin: Parquet-tiedosto numeerisille virroille, yksi videotiedosto per kamera, sekä metadata, joka sitoo kaiken yhteen.

info.json-tiedoston ominaisuusskeema on se, mitä koulutuskoodi lukee ymmärtääkseen datasi: mitkä havaintoavaimet ovat olemassa, niiden muodot ja tallennusnopeus. Kaksi datasetiä ovat yhteensopivia vain, jos niiden skeemat täsmäävät, ja juuri sitä yhdistämisen validointi tarkistaa.

Nivelarvot ovat prosentteja, eivät asteita

Kaikki AY-Robotsin datasetien nivelarvot ovat LeRobot-normalisoituja: jokainen arvo vaihtelee välillä -100-100 ja edustaa prosenttiosuutta kyseisen nivelen kalibroidusta alueesta, ei astekulmaa. Arvo 0 on kalibroidun alueen keskikohta, -100 ja 100 ovat sen rajat.

Pilvidatasetit dashboardissa

Dashboard > Datasets listaa pilvidatasetisi episodimäärineen, tiedostokokoineen ja keräystilanteineen. Datasetit luodaan automaattisesti, kun teleoperointi-istunto tallentaa dataa, ja voit myös luoda yhden nimenomaisesti ja täyttää sen lataamalla tallenteita työpöytäsovelluksesta.

• Luo: uudet datasetit ilmestyvät istunnoista automaattisesti, tai luo tyhjä ja lataa siihen.
• Nimeä uudelleen: vaihda näyttönimeä milloin tahansa; muutos ei koske itse dataa.
• Poista: poistaa datasetin ja kaikki sen episodit ja tiedostot. Poistaminen on pysyvää, joten lataa arkisto ensin, jos saatat tarvita dataa vielä myöhemmin.

Episodiselain

Datasetin avaaminen vie sinut episodiselaimeen. Jokaisessa episodissa on videosoitin sen kameravirroille ja synkronoidut nivelkaaviot, jotka piirtävät normalisoidut nivelarvot episodin ajalta. Videon selaaminen liikuttaa kaavion kursoria mukana, mikä tekee ongelmien havaitsemisesta nopeaa: nykivä lähestyminen näkyy piikkeinä kaavioissa, epäonnistunut tarttuminen näkyy tarraimen kanavassa jo ennen kuin edes katsot videota.

Episodien merkinnät: Success, Recovery, Failure

Jokainen episodi voi kantaa yhtä kolmesta merkinnästä. Success merkitsee tehtävän puhdasta demonstraatiota. Recovery merkitsee episodia, jossa jokin meni pieleen kesken yrityksen ja korjasit sen; nämä ovat arvokkaita, koska ne opettavat policylle, miten palata takaisin oikealle radalle. Failure merkitsee episodeja, jotka eivät saavuttaneet tavoitetta ja jotka pitäisi yleensä jättää koulutuksen ulkopuolelle. Merkitseminen tarkastuksen yhteydessä on paljon halvempaa kuin sellaisen policyn virheenjäljitys, joka on hiljaa oppinut huonoista demonstraatioista.

Datasetien yhdistäminen

Yhdistäminen yhdistää useita tallenteita yhdeksi suuremmaksi datasetiksi, esimerkiksi viikon istunnot samasta tehtävästä tai tallenteet kahdesta kalibroidusta käsivarresta. Yhdistäminen ottaa useita tar.gz-arkistoja, joista jokainen sisältää yhden LeRobot-datasetin, ja tuottaa yhden datasetin, jossa episodit on indeksoitu uudelleen.

1. 1
   Valmistele arkistot

   Jokaisen syötteen täytyy olla täydellinen LeRobot-dataset pakattuna tar.gz-arkistoksi, mukaan lukien sen meta-hakemisto. Osittaisia arkistoja ilman info.json-tiedostoa ei voida validoida, ja ne hylätään.

2. 2
   Lataa useita arkistoja

   Aloita yhdistäminen kohdassa Dashboard > Datasets ja valitse kaikki yhdistettävät tar.gz-arkistot yhdellä kertaa.

3. 3
   Validointi

   Alusta tarkistaa, että fps, ominaisuusskeema ja robot_type täsmäävät kaikissa syötteissä. Jos jokin näistä kolmesta eroaa, yhdistäminen hylätään ja poikkeama nimetään, koska yhdistetty dataset, jossa on epäjohdonmukaisia virtoja, turmelisi koulutuksen huomaamatta.

4. 4
   Tarkista tulos

   Yhdistetty dataset ilmestyy listaasi yhdistetyllä episodimäärällä. Avaa episodiselain ja pistokoetarkasta muutama episodi kustakin lähteestä ennen kuin koulutat sillä.

Nämä kolme yhteensopivuussääntöä ovat tarkoituksella tiukkoja. Kuvataajuuden erot muuttavat jokaisen aika-askeleen merkityksen, skeemaerot rikkovat latausohjelmat suoraan, ja robottityyppien sekoittaminen tuottaa datasetin, jolla mikään yksittäinen policy ei voi toimia. Jos sinun täytyy yhdistää dataa saman mallin eri käsivarsista, se on ihan sallittua: robot_type viittaa malliin, ei fyysiseen yksikköön.

Datasetien markkinapaikka

Markkinapaikan avulla voit ostaa muiden tallentamia dataseteja ja myydä omiasi. Ostetut datasetit saapuvat dashboardiisi samassa LeRobot-asettelussa kuin omat tallenteesi, joten ne toimivat episodiselaimen, yhdistämisen ja koulutuksen kanssa ilman lisävaiheita.

Jos myyt, kuratoi ennen listaamista. Tarkista episodit, merkitse ne rehellisesti, ja varmista, että tehtävämerkkijonot kuvaavat sitä, mitä tallenteissa todella tapahtuu. Ostaja, joka arvioi datasetiäsi, näkee saman episodiselaimen kuin sinä, ja datasetit, joissa on siistit merkinnät ja johdonmukaiset demonstraatiot, ovat arvokkaampia kuin raa'at kaatopaikat kaikesta koskaan tallentamastasi.

Usein kysytyt kysymykset