DROIDi, BridgeData V2 ja Open X-i kasutamine SO-100-l

Google Cloudi ämbris on miljoni trajektooriga avalik andmestik ja SO-100 laual, mis maksis osadena 110 kuni 150 EUR. Miks esimene ei saa teist õpetada? Osaliselt saab, kuid peaaegu ükski ülekanne ei toimu seal, kus inimesed ootavad, ja osa, mis tundub kõige lihtsam, ei tööta üldse.

Järgneb: mis on sees DROID, BridgeData V2 ja Open X-Embodiment, kus igaüks neist põrkub kokku odava 5-DoF käega, ja mida selle asemel teha. Iga allolev number pärineb paberist, andmestiku kaardilt või lähtefailist, kuhu see kuulub.

Mida need kolm andmestikku tegelikult sisaldavad

DROID

Kõige standardiseeritum kolmest. Üks seade igal pool: Franka Panda koos Robotiq 2F-85 haaratsiga, kaks reguleeritavat ZED 2 stereokaamerat ja randmele paigaldatud ZED Mini, teleopereeritud Meta Quest 2 kontrolleritega, salvestatud Polymetis'e kaudu 15 Hz sagedusega nii liigeste kui ka otsakute ruumis. Keelemärgised lisati hiljem tasq.ai kaudu, kuni kolm episoodi kohta.

• 76k trajektoori, 350 tundi, 564 stseeni, 84 ülesannet, 50 kogujat kolmel kontinendil.
• Peamine tulemus on kaastreening, mitte iseseisev treening: 50/50 segatud partiid valdkonnasisese demonstratsiooniga ületasid järgmise parima meetodi 22 protsendi võrra absoluutse edukusega jaotuses, 17 protsenti väljaspool seda.
• IPEC-COMMUNITY/droid_lerobot: 92 233 episoodi, 27 044 326 kaadrit, franka, 15 fps, codebase_version v2.0, kolm AV1 voogu 180x320 resolutsiooniga, 392 GB.
• 2 GB, 100-episoodiline silumisnäidis asub aadressil gs://gresearch/robotics/droid_100. Alustage sealt.

BridgeData V2

Kõige lähemal hobiseadistusele: WidowX 250 6-DoF arm, 60 096 trajektoori 24 keskkonnas ja 13 oskust 5 Hz juures. Pange tähele koosseisu: 50 365 eksperdi teleopereeritud demonstratsiooni pluss 9731 randomiseeritud skriptitud valimis- ja paigutuspoliitikast, seega umbes 16 protsenti ei ole inimdemonstratsioon, mis on oluline imitatsiooniõppe kvaliteedi jaoks. Tavaline allalaadimine, IPEC-COMMUNITY/bridge_orig_lerobot, teatab 53 192 episoodist ja 1 893 026 kaadrist 5 kaadrit sekundis, robot_type widowx: vähem kui artikli 60 096, seega lugege arv meta/info.json failist, mitte tsiteerige kumbagi.

Open X-Embodiment

Mitte andmestik samas mõttes: 60 olemasolevat roboti andmestikku 34 laborist koondati ühte RLDS-i kogusse, mis hõlmab 22 kehastust ja üle miljoni trajektoori. BridgeData V2 asub selles kui bridge_orig; google_robot lõik, fractal20220817_data, teisendub 87 212 episoodiks kiirusega 3 kaadrit sekundis.

Koondamine sisaldab hoiatust, mille artikkel otse välja toob. RT-X eksperimentide jaoks teisendavad autorid iga allika 7-vabadusastmega (DoF) lõppefektori tegevuseks, kuid ei joonda koordinaatsüsteeme andmestike vahel ega luba tegevuse väärtustel olla absoluutsed või suhtelised positsioonid või kiirused, vastavalt iga roboti algsele juhtimisskeemile. Nende järeldus: sama tegevusvektor võib erinevate robotite puhul esile kutsuda väga erinevaid liikumisi.

Ebakõla neljas osas

Kehastuse mittevastavust käsitletakse tavaliselt kui ühte ebamäärast probleemi. Neid on neli, need ebaõnnestuvad erinevalt ja kahte neist ei saa skriptimisega parandada.

Vabadusastmed

SO-100-l on viis käeliigest pluss haarats. Mootoritena loetuna on see 6-vabadusastmega käsi ja SmolVLA artikkel nimetab seda nii; positsioneerimismehhanismina loetuna on see 5-vabadusastmega ja LeRobot nimetab seda nii oma pöördkineetika dokstringis, mis kirjeldab pehme orientatsiooniga IK-d 5-vabadusastmega SO-101-l, kus randme jälgib orientatsiooni vaid osaliselt. Frankal on seitse positsioneerimisliigest. See vahe määrab, millised poosid eksisteerivad: 5-vabadusastmega käsi ei suuda üldjuhul korraga saavutada meelevaldset positsiooni ja orientatsiooni, seega tagastab lahendaja lähima võimaliku, mis on demonstreeritust erinev liikumine. Taust: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Seega valmis DROIDi kontrollpunkt ei ole otsetee. Physical Intelligence tarnib pi05_droidi aadressil gs://openpi-assets/checkpoints/pi05_droid, ja sama README, mis kiidab selle laiaulatuslikkust, hoiatab, et need ekspertkontrollpunktid ei pruugi teie seadistusega üldistuda. Selle olek on kaheksa Franka liigendi numbrit ja selle pildivõtmed on exterior_image_1_left ja wrist_image_left. Ükski lipp ei muuda seda kuue mootoriga SO-100 käsuks.

2. Mida tegevusvektor tegelikult ütleb

Sügavam kui dimensioonilisus. LeRoboti konversioonides ütlevad kõik kolm, kuhu haarats peaks minema, Cartesiuse ruumis. SO-100 ütleb, kuhu kuus servot peaksid minema. Konverteerimine vajab kinemaatilist mudelit ja lahendajat, mitte ümberkujundamist.

LeRobot tarnib puuduva osa: SO followeril on kinemaatika protsessor koos InverseKinematicsEEToJoints ja ForwardKinematicsJointsToEE sammudega. Selle võtmed on ee.x, ee.y, ee.z pluss pöörlemisvektor ee.wx, ee.wy, ee.wz ja ee.gripper_pos, nii et isegi orientatsiooni kodeering erineb failides olevast roll-pitch-yaw'st. IK samm võtab orientation_weight'i, vaikimisi 0.01, mille docstring ütleb, et seada 0.0 ainult asendipõhise IK jaoks alajuhitavatel kätel. Saate silla ehitada, kuid iga laenatud tegevuse orientatsioonipool jääb ligikaudseks.

3. Juhtimissagedus

DROID on 15 Hz, BridgeData V2 5 Hz, google_robot'i lõik 3 fps; pi0 autorid kirjeldavad oma segu avatud lähtekoodiga osa kui madalsageduslikku juhtimist vahemikus 2 ja 10 Hz. LeRoboti DatasetRecordConfig vaikeseaded on fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. mis on treenitud 5 Hz andmetel, õppis, et üks tegevus katab 200 ms. Esitage see uuesti 30 Hz juures ja käsi roomab; naiivselt ümberproovides määrite kaadri, kus haarats sulgub. See interakteerub halvasti ka : 100-sammuline tükk on 20 sekundit 5 Hz juures, 3.3 sekundit 30 Hz juures.

4. Kaamerad

BridgeData V2 randomiseeris kaks kaamera asendit iga 50 trajektoori järel ja selle projekti leht märgib, et enamik andmeid sisaldab niikuinii ainult fikseeritud vaadet. DROID kasutas reguleeritavaid ZED 2 kinnitusi pluss randme ZED Mini. Teil on kaks USB veebikaamerat silma järgi paigutatud. Kaamera asend ei ole tüütu muutuja ; see on suuresti see, millele visuaalne kodeerija keskendus, ja failivormingus ei ütle miski, et asendid erinevad.

Mis juhtub, kui proovite andmeid ikkagi ühendada

Ilmselge plaan on liita: paar tuhat DROIDi episoodi pluss teie 50. LeRobot keeldub ja keeldumine nimetab kolm erinevat asja.

1. 1
   Tõmba 100-episoodiline näidis, mitte täielik 1.7 TB

   2 GB on piisav struktuuri nägemiseks.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Teisenda RLDS LeRoboti vormingusse

   openx2lerobot ühendab OXE standardmuundused ja annoteerib roboti tüübi ning juhtimissageduse. README paigutab selle faili convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Loe meta/info.json enne kõike muud

   See fail otsustab, kas ülejäänud teie päev töötab.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Proovi ühendamist ja loe viga

   merge laeb iga andmestiku, seejärel validate_all_metadata kontrollib fps-i, robot_type'i ja funktsioone loendi esimese vastu, tõstes vea esimesel mittevastavusel.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Viiteväärtused pärinevad sellest andmestikust, mille te esimesena loetlesite, mistõttu teade kurdab teie 30 fps-i, mitte DROIDi 15 fps-i üle. Parandage fps ja te tabate robot_type kontrolli; parandage see ja te tabate funktsioonikontrolli, 7 vastu 6 tegevuse puhul. Ükski järjestus ei lähe läbi ja sama kaitse töötab salvestamise ajal sanity_check_dataset_robot_compatibility kaudu.

Mis siis tegelikult üle kandub?

Kaalud, mitte episoodid. Iga kaasaegne üldotstarbeline poliitika on osa sellest eelkoolituses omastanud ja kui te peenhäälestate välja antud kontrollpunktist pärite selle juba õigesti arvutusvõimsusega inimeste poolt ühildatuna. pi0 artikkel on avameelne proportsiooni osas: 9,1 protsenti selle eelkoolituse segust, ajasammudes arvestatuna, on avatud lähtekoodiga andmed, sealhulgas OXE, Bridge v2 ja DROID. See näitaja on pi0 oma; iga tarnija segu erineb.

Seepärast SmolVLA käitub odaval robotkäel erinevalt. Selle artikkel valib Hugging Face'ist 481 kogukonna andmestikku, mis on filtreeritud kehastuse tüübi, episoodide arvu, andmekvaliteedi ja kaadri katvuse järgi: 22,9K episoodi, 10,6M kaadrit, hinnatud reaalsetel SO-100 ja SO-101 kätel. Väike ja sobitatud võidab suure ja mittesobitatud. Võrdle ACT against SmolVLA.

Kolm teed, mida tasub minna

Tee A: peenhäälesta kontrollpunktist, mis on andmed juba omastanud

Enamik inimesi peaks selle valima. Sa ei puutu kunagi DROIDi ega Open X-Embodimenti: vali poliitika, mille eelkoolitus on juba omastanud kehastusteülesed andmed, salvesta oma episoodid, peenhäälesta.

ACT on aus äärmusjuhtum: baasmudelit pole, seega ei jõua ükski avalik andmestik sinna. See ei ole automaatselt puudus, sest 20 ms tegevussammu kohta on see ainus viiest, mis suudab kiire tsükli sulgeda, nagu ACT leht kirjeldab. Valige ülesande järgi, kasutades kõiki viit võrrelduna, GR00T N1.7 Pi0.5 vastu, ja 332 võrdlustulemust 85 mudeli kohta areenil.

Tee B: kasutage DROIDi testseadisena

100-episoodiline näidis on parim 2 GB, mille te sel kuul alla laadite, ja mitte treenimiseks. See on andmestik, mille õigsuses olete kindel. Käivitage sellel oma konverter, laadur ja lühike GPU töö; kõik, mis ebaõnnestub, on infrastruktuuri viga, mis leiti odavalt. NVIDIA teeb sama suures ulatuses: GR00T N1.7 kaart loetleb neli järeltreenitud varianti Bridge'i ja Fractali jaoks SimplerEnvis, DROIDi ja LIBERO jaoks.

Tee C: salvesta oma, tahtlikult

Kolmkümmend kuni viiskümmend kõlab vähe 76 000 kõrval, kuni sa meenutad, et sinu omad on ainsad, millel on sinu käsi, sinu kaamerad ja sinu laud. LeRoboti vaikeseadete järgi on 50 episoodi 100 minutit reaalajas. Vaata , ja .

Kaks viisi avalikest andmetest töötava poliitikani jõudmiseks

Mida iga tee maksab

Asümmeetria ongi point: tee, mis laenab kõige rohkem andmeid, on kõige kallim ja kõige ebatõenäolisem, et see teie kätt liigutab. Alla kahe tunni teie enda teleoperatsioon on parem kui terabait kellegi teise Franka andmeid. Kätt veel pole? /live voogedastab füüsilist SO-100 ilma registreerimiseta. Seejärel treenige oma esimene poliitika, ja SmolVLA SO-100-l konkreetse juhendi jaoks.