DROIDin, BridgeData V2:n ja Open X:n käyttö SO-100:lla

Google Cloud -säilössä on miljoonan trajektorin julkinen tietokokonaisuus ja pöydällä, joka maksoi 110–150 EUR osina. Miksi ensimmäinen ei voi opettaa toista? Osittain se voi, mutta lähes mikään siirto ei tapahdu siellä, missä ihmiset odottavat, ja helpoimmalta näyttävä osa ei toimi lainkaan.

Seuraavaksi: mitä on sisällä , ja , missä jokainen törmää edulliseen 5-DoF-varteen, ja mitä tehdä sen sijaan. Jokainen alla oleva luku on peräisin siihen kuuluvasta paperista, tietokortista tai lähdetiedostosta.

Mitä kolme tietokokonaisuutta todella sisältävät

DROID

Kolmesta standardoiduin. Yksi laitteisto kaikkialla: Franka Panda Robotiq 2F-85 -tarttujalla, kaksi säädettävää ZED 2 -stereokameraa ja ranteessa ZED Mini, etäohjattu Meta Quest 2 -ohjaimilla, tallennettu Polymetiksen kautta 15 Hz:n taajuudella sekä nivel- että loppukäsittelylaite tilassa. Kielimerkinnät tulivat myöhemmin tasq.ai:n kautta, enintään kolme per jakso.

• 76k trajektoria, 350 tuntia, 564 kohtausta, 84 tehtävää, 50 kerääjää kolmella mantereella.
• Päätulos on yhteiskoulutus, ei itsenäinen koulutus: erät, jotka on sekoitettu 50/50 toimialueen sisäisten demonstraatioiden kanssa, voittivat seuraavaksi parhaan menetelmän 22 prosentilla absoluuttisella menestyksellä jakaumassa, 17 prosentilla sen ulkopuolella.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 GB:n, 100 jakson virheenkorjausnäyte sijaitsee osoitteessa gs://gresearch/robotics/droid_100. Aloita siitä.

BridgeData V2

Lähimpänä harrastajakokoonpanoa: WidowX 250 6-DoF-varsi, 60,096 trajektoria 24 ympäristössä ja 13 taidossa 5 Hz:n taajuudella. Huomaa koostumus: 50,365 asiantuntijan etäohjattua demonstraatiota plus 9,731 satunnaistetusta skriptatusta poimi-ja-aseta-politiikasta, joten noin 16 prosenttia ei ole ihmisen demonstraatiota, mikä on tärkeää jäljittelyoppimisen laadun kannalta. Tavallinen lataus, IPEC-COMMUNITY/bridge_orig_lerobot, ilmoittaa 53,192 jaksoa ja 1,893,026 kuvaa 5 fps:n nopeudella, robot_type widowx: vähemmän kuin artikkelin 60,096, joten lue määrä meta/info.json-tiedostosta sen sijaan, että lainaisit kumpaakaan.

Open X-Embodiment

Ei tietojoukko samassa mielessä: 60 olemassa olevaa robottitietojoukkoa 34 laboratoriosta yhdistettynä yhdeksi RLDS-kokoelmaksi, joka kattaa 22 toteutusta ja yli miljoona trajektoria. BridgeData V2 sijaitsee sen sisällä nimellä bridge_orig; google_robot-viipale, fractal20220817_data, muuntuu 87 212 jaksoksi nopeudella 3 fps.

Yhdistämiseen liittyy varoitus, jonka artikkeli toteaa suoraan. RT-X-kokeissa kirjoittajat muuntavat jokaisen lähteen 7-DoF-loppukäsittelytoiminnoksi, mutta eivät kohdista koordinaattikehyksiä tietojoukkojen välillä, ja sallivat toiminta-arvojen olevan absoluuttisia tai suhteellisia sijainteja tai nopeuksia kunkin robotin alkuperäisen ohjausjärjestelmän mukaisesti. Heidän johtopäätöksensä: sama toimintavektori voi aiheuttaa hyvin erilaisia liikkeitä eri roboteille.

Epäsuhta, neljässä osassa

Ruumiillistumisen epäsuhta käsitetään yleensä yhtenä epämääräisenä ongelmana. Niitä on neljä, ne epäonnistuvat eri tavoin, ja kahta ei voi korjata skriptaamalla.

1. Vapausasteet

SO-100:ssa on viisi käsivarsiniveltä ja tarttuja. Moottoreina laskettuna se on 6-DoF-käsivarsi, ja SmolVLA-paperi kutsuu sitä sellaiseksi; paikannusmekanismina laskettuna se on 5-DoF, ja LeRobot kutsuu sitä sellaiseksi käänteisen kinematiikan docstringissään, joka kuvaa pehmeän suunnan IK:ta 5-DOF SO-101:ssä, jossa ranne seuraa suuntaa vain osittain. Frankassa on seitsemän paikannusniveltä. Tämä ero määrittää, mitkä asennot ovat mahdollisia: 5-DoF-käsivarsi ei yleensä voi saavuttaa mielivaltaista sijaintia ja suuntaa samanaikaisesti, joten ratkaisija palauttaa lähimmän mahdollisen, joka on erilainen liike kuin esitetty. Taustaa: vapausasteet.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Valmis DROID-tarkistuspiste ei siis ole oikotie. Physical Intelligence toimittaa pi05_droidin osoitteessa gs://openpi-assets/checkpoints/pi05_droid, ja sama README, joka ylistää sen laajuutta, varoittaa, että nämä asiantuntijatarkistuspisteet eivät välttämättä yleisty sinun kokoonpanoosi. Sen tila on kahdeksan Frankan nivelnumeroa ja sen kuvien avaimet ovat exterior_image_1_left ja wrist_image_left. Mikään lippu ei muuta sitä kuusimoottoriseksi SO-100-komennoksi.

2. Mitä toimintavektori todellisuudessa kertoo

Syvemmälle kuin ulottuvuus. LeRobotin muunnoksissa kaikki kolme kertovat, minne tarttujan tulisi mennä, karteesisessa avaruudessa. SO-100 kertoo, minne kuuden servon tulisi mennä. Muuntaminen vaatii kinemaattisen mallin ja ratkaisijan, ei uudelleenmuotoilua.

LeRobot toimittaa puuttuvan palan: SO-seuraajassa on kinematiikkaprosessori, jossa on InverseKinematicsEEToJoints- ja ForwardKinematicsJointsToEE-vaiheet. Sen avaimet ovat ee.x, ee.y, ee.z sekä rotaatiovektori ee.wx, ee.wy, ee.wz ja ee.gripper_pos, joten jopa orientaation koodaus eroaa tiedostojen roll-pitch-yaw-muodosta. IK-vaihe ottaa orientation_weight-arvon, oletuksena 0.01, jonka dokumentaatio kehottaa asettamaan 0.0:ksi vain-asennon IK:lle alitoiminnallisilla käsivarsilla. Voit rakentaa sillan, mutta jokaisen lainatun toiminnon orientaatio-osa pysyy approksimoituna.

3. Ohjausnopeus

DROID on 15 Hz, BridgeData V2 5 Hz, google_robot-viipale 3 fps; pi0:n kirjoittajat kuvailevat seoksensa avoimen lähdekoodin osaa matalataajuisena ohjauksena 2 ja 10 Hz:n välillä. LeRobotin DatasetRecordConfigin oletusarvot ovat fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. joka on koulutettu 5 Hz:n datalla, oppi, että yksi toiminto kattaa 200 ms. Toista se 30 Hz:llä ja käsivarsi ryömii; näytteenotto naiivisti levittää kuvan, jossa tarttuja sulkeutuu. Se myös toimii huonosti kanssa: 100-askeleen palanen on 20 sekuntia 5 Hz:llä, 3.3 sekuntia 30 Hz:llä.

4. Kamerat

BridgeData V2 satunnaisti kaksi kameran asentoa joka 50. trajektorin kohdalla, ja sen projektisivulla todetaan, että suurin osa datasta sisältää joka tapauksessa vain kiinteän näkymän. DROID käytti säädettäviä ZED 2 -kiinnikkeitä sekä ranteeseen kiinnitettyä ZED Miniä. Sinulla on kaksi USB-webkameraa sijoitettuna silmämääräisesti. Kameran asento ei ole häiritsevä muuttuja ; se on suuri osa siitä, mihin visuaalinen enkooderi perustui, eikä tiedostomuoto kerro sinulle, että asennot eroavat.

Mitä tapahtuu, kun yrität yhdistää tiedot joka tapauksessa

Ilmeinen suunnitelma on yhdistää: muutama tuhat DROID-jaksoa plus omat 50 jaksosi. LeRobot kieltäytyy, ja kieltäytyminen nimeää kolme asiaa, jotka eroavat.

1. 1
   Hae 100 jakson näyte, älä koko 1,7 Tt.

   2 Gt riittää rakenteen näkemiseen.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Muunna RLDS LeRobot-muotoon

   openx2lerobot käärii OXE-standardimuunnokset ja annotoi robottityypin ja ohjaustaajuuden. README sijoittaa tämän convert.sh-tiedostoon.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Lue meta/info.json ennen kaikkea muuta

   Tämä tiedosto päättää, toimiiko loppupäiväsi.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Kokeile yhdistämistä ja lue virhe

   merge lataa jokaisen tietojoukon, sitten validate_all_metadata tarkistaa fps:n, robot_type:n ja ominaisuudet listan ensimmäistä vastaan, nostaen virheen ensimmäisestä epäyhteensopivuudesta.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Viitearvot tulevat siitä tietojoukosta, jonka listasit ensimmäisenä, minkä vuoksi viesti valittaa omasta 30 fps:stäsi DROIDin 15 fps:n sijaan. Korjaa fps, ja törmäät robot_type-tarkistukseen; korjaa se, ja törmäät ominaisuustarkistukseen, 7 vastaan 6 toiminnolle. Mikään järjestys ei mene läpi, ja sama tarkistus suoritetaan tallennushetkellä sanity_check_dataset_robot_compatibility-funktion kautta.

Mitä siis todella siirtyy?

Painot, ei episodit. Jokainen moderni yleiskäyttöinen toimintamalli on omaksunut osan siitä esikoulutuksessa, ja kun julkaistusta perit sen jo sovitettuna ihmisiltä, joilla on laskentatehoa tehdä se oikein. pi0:n julkaisu on suoraan sanainen osuudesta: 9,1 prosenttia sen esikoulutusseoksesta, laskettuna aikavaiheina, on avoimen lähdekoodin dataa, mukaan lukien OXE, Bridge v2 ja DROID. Tämä luku on pi0:n; kunkin toimittajan seos eroaa.

Tästä syystä SmolVLA käyttäytyy eri tavalla edullisella varrella. Sen julkaisussa valitaan 481 yhteisön datasettiä Hugging Facesta, jotka on suodatettu ruumiillistumistyypin, episodien määrän, datan laadun ja kehysten kattavuuden perusteella: 22.9K episodia, 10.6M kehystä, arvioitu todellisilla SO-100- ja SO-101-varsilla. Pieni ja yhteensopiva voittaa suuren ja yhteensopimattoman. Vertaa ACT vs. SmolVLA.

Kolme harkitsemisen arvoista polkua

Polku A: hienosäädä tarkistuspisteestä, joka on jo käsitellyt datan

Useimpien ihmisten tulisi valita tämä. Et koskaan koske DROIDiin tai Open X-Embodimentiin: valitse toimintamalli, jonka esikoulutus on jo omaksunut eri ruumiillistumien datan, tallenna omat episodisi, hienosäädä.

ACT on rehellinen reunatapaus: ei perusmallia, joten mikään julkinen data ei koskaan saavuta sitä. Tämä ei ole automaattisesti haitta, sillä 20 ms:n toimintavaiheella se on ainoa viidestä, joka voi sulkea nopean silmukan, kuten ACT-sivu esittää. Valitse tehtävän mukaan käyttäen kaikkia viittä verrattuna, GR00T N1.7 vastaan Pi0.5, ja 332 vertailutulosta 85 mallista areenalla.

Polku B: käytä DROIDia testilaitteena

100 jakson näyte on paras 2 Gt, jonka lataat tässä kuussa, eikä se ole tarkoitettu koulutukseen. Se on aineisto, jonka tiedät olevan oikein. Suorita muunnin, lataaja ja lyhyt GPU-työ sen kanssa; kaikki mikä epäonnistuu, on infrastruktuurivirhe, joka löytyi edullisesti. NVIDIA tekee samoin mittakaavassa: GR00T N1.7 -kortti listaa neljä jälkikoulutettua varianttia Bridge- ja Fractal-malleille SimplerEnvissä, DROIDille ja LIBEROlle.

Polku C: tallenna omasi tarkoituksella

Kolmestakymmenestä viiteenkymmeneen kuulostaa vähäiseltä 76 000:n rinnalla, kunnes muistat, että omasi ovat ainoita, joissa on sinun kätesi, kamerasi ja pöytäsi. LeRobotin oletusasetuksilla 50 jaksoa on 100 minuuttia todellista aikaa. Katso , ja .

Kaksi tapaa päästä julkisesta datasta toimivaan käytäntöön

Mitä kukin polku maksaa

Epäsymmetria on olennainen: polku, joka lainaa eniten dataa, on kallein ja vähiten todennäköinen liikuttamaan kättäsi. Alle kahden tunnin oma teleoperaatio voittaa teratavun jonkun toisen Frankasta. Eikö sinulla ole vielä kättä? /live suoratoistaa fyysistä SO-100:aa ilman rekisteröitymistä. Sitten kouluta ensimmäinen käytäntösi, ja SmolVLA SO-100:lla tiettyä opasta varten.