Að nota DROID, BridgeData V2 og Open X á SO-100

Það er opinber gagnasafn með milljón ferlum á Google Cloud geymslu og SO-100 á skrifborðinu sem kostaði 110 til 150 EUR í hlutum. Hvers vegna getur sá fyrri ekki kennt þeim síðari? Það getur að hluta til, en næstum enginn flutningur á sér stað þar sem fólk býst við, og sá hluti sem virðist auðveldastur virkar alls ekki.

Hér á eftir: hvað er inni í DROID, BridgeData V2 og Open X-Embodiment, þar sem hvert þeirra rekst á ódýran 5-DoF arm, og hvað á að gera í staðinn. Hver tala hér að neðan kom úr greininni, gagnasafnskortinu eða frumskránni sem hún tilheyrir.

Hvað gagnasöfnin þrjú innihalda í raun

DROID

Sá staðlaðasti af þremur. Einn búnaður alls staðar: Franka Panda með Robotiq 2F-85 gripara, tvær stillanlegar ZED 2 steríómyndavélar og úlnliðs ZED Mini, fjarstýrt með Meta Quest 2 stýripinnum, skráð í gegnum Polymetis á 15 Hz í bæði lið- og enda-búnaðar rými. Tungumálamerkingar komu síðar í gegnum tasq.ai, allt að þrjár á hverja þátt.

• 76k ferlar, 350 klukkustundir, 564 senur, 84 verkefni, 50 safnarar á þremur heimsálfum.
• Helsta niðurstaðan er samþjálfun, ekki sjálfstæð þjálfun: lotur blandaðar 50/50 með sýnikennslu innan léns slógu næstbestu aðferðina um 22 prósent algjöran árangur í dreifingu, 17 prósent utan hennar.
• IPEC-COMMUNITY/droid_lerobot: 92.233 þættir, 27.044.326 rammar, franka, 15 fps, codebase_version v2.0, þrjár AV1 straumar á 180x320, 392 GB.
• 2 GB, 100 þátta kembisýni er staðsett á gs://gresearch/robotics/droid_100. Byrjaðu þar.

BridgeData V2

Næst því að vera áhugamanna uppsetning: WidowX 250 6-DoF armur, 60.096 ferlar yfir 24 umhverfi og 13 færni á 5 Hz. Athugið samsetninguna: 50.365 sérfræðinga fjarstýrðar sýnikennslur auk 9.731 frá slembuðu skrifuðu pick-and-place stefnu, svo um 16 prósent er ekki mannleg sýnikennsla, sem skiptir máli fyrir eftirhermu nám gæði. Venjulega niðurhalið, IPEC-COMMUNITY/bridge_orig_lerobot, skýrir frá 53.192 þáttum og 1.893.026 römmum á 5 fps, robot_type widowx: færri en 60.096 í greininni, svo lestu fjöldann úr meta/info.json frekar en að vitna í annaðhvort.

Open X-Embodiment

Ekki gagnasafn í sama skilningi: 60 núverandi vélmennagagnasöfn frá 34 rannsóknarstofum sameinuð í eitt RLDS safn sem nær yfir 22 útfærslur og yfir milljón ferla. BridgeData V2 er inni í því sem bridge_orig; google_robot sneiðin, fractal20220817_data, breytist í 87.212 þætti á 3 fps.

Samruninn hefur í för með sér fyrirvara sem greinin tekur fram. Fyrir RT-X tilraunirnar breyta höfundarnir hverri uppsprettu í 7-DoF endabúnaðaraðgerð, en samræma ekki hnitakerfi milli gagnasafna, og leyfa aðgerðargildum að vera algildar eða hlutfallslegar stöður eða hraðar, samkvæmt upprunalegu stjórnkerfi hvers vélmennis. Niðurstaða þeirra: sami aðgerðarvigur getur valdið mjög mismunandi hreyfingum fyrir mismunandi vélmenni.

Ósamræmið, í fjórum hlutum

Ósamræmi í útfærslu er venjulega litið á sem eitt óljóst vandamál. Þau eru fjögur, þau bila á mismunandi hátt, og tvö þeirra eru ekki laganleg með skriftum.

1. Frelsisgráður

SO-100 er með fimm armliði auk gripara. Talið sem mótorar er það 6-DoF armur, og SmolVLA ritgerðin kallar það það; talið sem staðsetningarbúnaður er það 5-DoF, og LeRobot kallar það það í inverse-kinematics docstring sínum, sem lýsir mjúkri stefnu IK á 5-DOF SO-101 þar sem úlnliðurinn fylgist aðeins að hluta með stefnu. Franka er með sjö staðsetningarliði. Þetta bil ræður því hvaða stellingar eru til: 5-DoF armur getur almennt ekki náð handahófskenndri stöðu og stefnu í einu, svo lausnarinn skilar því næsta sem hann getur, annarri hreyfingu en þeirri sem sýnd var. Bakgrunnur: frelsisgráður.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Þannig að tilbúinn DROID gátpunktur er engin flýtileið. Physical Intelligence sendir pi05_droid á gs://openpi-assets/checkpoints/pi05_droid, og sama README skráin sem lofar breidd þess varar við því að þessir sérfræðigátpunktar gætu ekki alhæfst á þína uppsetningu. Ástand þess er átta Franka liðtölur og myndalyklar þess eru exterior_image_1_left og wrist_image_left. Enginn fáni breytir því í sex-mótora SO-100 skipun.

2. Hvað aðgerðarvigurinn raunverulega segir

Dýpra en vídd. Í LeRobot umbreytingunum segja allir þrír hvert gripurinn ætti að fara, í kartesísku rúmi. SO-100 segir hvert sex servóar ættu að fara. Til að umbreyta þarf hreyfilíkan og lausnara, ekki endurmótun.

LeRobot sendir þó vantar hlutann: SO follower hefur hreyfifræðivinnslu með InverseKinematicsEEToJoints og ForwardKinematicsJointsToEE skrefum. Lyklar þess eru ee.x, ee.y, ee.z auk snúningsvigurs ee.wx, ee.wy, ee.wz og ee.gripper_pos, svo jafnvel stefnu kóðunin er frábrugðin roll-pitch-yaw í skrám. IK skrefið tekur orientation_weight, sjálfgefið 0.01, en skjöl þess segja að stilla 0.0 fyrir stöðu-eingöngu IK á vanvirkum örmum. Þú getur byggt brúna, en stefnuhelmingur hverrar lánaðrar aðgerðar helst nálgaður.

3. Stýrihraði

DROID er 15 Hz, BridgeData V2 5 Hz, google_robot sneiðin 3 fps; höfundar pi0 lýsa opna hluta blöndu sinnar sem lág-tíðni stýringu á milli 2 og 10 Hz. Sjálfgefnar stillingar LeRobot's DatasetRecordConfig eru fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. A þjálfuð á 5 Hz gögnum lærði að ein aðgerð nær yfir 200 ms. Spilaðu það aftur á 30 Hz og armurinn skríður; endursýna á einfaldan hátt og þú smyrir rammann þar sem gripurinn lokast. Það hefur einnig slæm áhrif á : 100-skrefa hluti er 20 sekúndur á 5 Hz, 3.3 á 30 Hz.

4. Myndavélar

BridgeData V2 slembivaldi tvær myndavélarstöður á 50 ferlum, og verkefnasíða þess tekur fram að mest af gögnunum innihalda hvort eð er aðeins fasta sýn. DROID notaði stillanleg ZED 2 festingar auk ZED Mini á úlnlið. Þú ert með tvær USB vefmyndavélar staðsettar eftir auga. Staða myndavélar er ekki óþægileg breyta fyrir ; það er mikið af því sem sjónkóðarinn byggði á, og ekkert í skráarsniðinu segir þér að stöðurnar séu ólíkar.

Hvað gerist ef þú reynir að sameina gögnin samt

Augljósa áætlunin er að tengja saman: nokkur þúsund DROID þætti auk þinna 50. LeRobot neitar, og neitunin nefnir þrjá hluti sem eru ólíkir.

1. 1
   Sæktu 100 þátta sýnishornið, ekki allan 1.7 TB pakkann

   2 GB er nóg til að sjá uppbygginguna.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Umbreyttu RLDS í LeRobot snið

   openx2lerobot umlykur staðlaðar OXE umbreytingar og skráir gerð vélmennis og stjórntíðni. README skráin setur þetta í convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Lestu meta/info.json áður en nokkuð annað er gert

   Þessi skrá ræður því hvort restin af deginum þínum virkar.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Reyndu að sameina og lestu villuna

   merge hleður öllum gagnasöfnum, síðan athugar validate_all_metadata fps, robot_type og eiginleika miðað við það fyrsta á listanum og gefur villu við fyrsta ósamræmi.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Viðmiðunargildin koma frá því gagnasafni sem þú skráðir fyrst, þess vegna kvartar skilaboðin yfir 30 fps þínum frekar en 15 fps DROID. Lagaðu fps og þú lendir í robot_type athuguninni; lagaðu það og þú lendir í eiginleikaathuguninni, 7 á móti 6 fyrir aðgerðina. Engin röðun kemst í gegn, og sama vörnin keyrir við upptökutíma í gegnum sanity_check_dataset_robot_compatibility.

Hvað flyst í raun yfir?

Þyngdir, ekki þættir. Sérhver nútíma almenn stefna hefur tekið upp hluta af því í forþjálfun, og þegar þú frá útgefnu erfirðu það sem þegar hefur verið samræmt af fólki með reiknigetu til að gera það rétt. Grein pi0 er hreinskilin um hlutfallið: 9.1 prósent af forþjálfunarblöndu þess, talið í tímaskrefum, eru opinn hugbúnaðargögn, þar á meðal OXE, Bridge v2 og DROID. Sú tala er frá pi0; blanda hvers söluaðila er mismunandi.

Þetta er ástæðan fyrir því að SmolVLA hegðar sér öðruvísi á ódýrum armi. Grein þess velur 481 samfélagsgagnasafn frá Hugging Face, síað eftir gerð útfærslu, fjölda þátta, gæðum gagna og rammaumfjöllun: 22.9K þættir, 10.6M rammar, metið á raunverulegum SO-100 og SO-101 örmum. Lítið og samsvarað vinnur stórt og ósamsvarað. Berðu saman á ACT against SmolVLA.

Þrjár leiðir sem vert er að fara

Leið A: fínstilla frá geymslupunkti sem hefur þegar tekið inn gögnin

Flestir ættu að velja þessa. Þú snertir aldrei DROID eða Open X-Embodiment: veldu stefnu þar sem forþjálfun hefur þegar tekið inn gögn yfir mismunandi útfærslur, skráðu þína eigin þætti, fínstilltu.

ACT er heiðarlegt jaðartilfelli: ekkert grunnlíkan, svo engin af opinberu gögnunum ná nokkurn tíma til þess. Ekki sjálfkrafa ókostur, þar sem á 20 ms á hverju aðgerðarskrefi er það eina af fimm sem getur lokað hröðum lykkju, eins og ACT síðan, kemur fram. Veldu eftir verkefni með því að nota öll fimm borin saman, GR00T N1.7 á móti Pi0.5, og 332 viðmiðunarniðurstöður yfir 85 líkön í vettvanginum.

Leið B: notaðu DROID sem prófunarbúnað

100 þátta sýnishornið er bestu 2 GB sem þú munt hlaða niður í þessum mánuði, og ekki til þjálfunar. Þetta er gagnasafn sem þú veist að er rétt. Keyrðu umbreytirinn þinn, hleðslutækið og stutt GPU verkefni á því; allt sem bilar er innviðagalli sem fannst á meðan það var ódýrt. NVIDIA gerir það sama í stórum stíl: GR00T N1.7 kortið sýnir fjórar eftirþjálfaðar útgáfur, fyrir Bridge og Fractal í SimplerEnv, DROID og LIBERO.

Leið C: taka upp þín eigin, viljandi

Þrjátíu til fimmtíu hljómar lítið miðað við 76.000 þar til þú manst að þínir eru þeir einu með þinn arm, þínar myndavélar og þitt borð. Með sjálfgefnum stillingum LeRobot eru 50 þættir 100 mínútur af rauntíma. Sjáðu , og .

Tvær leiðir til að komast frá opinberum gögnum að virkri stefnu

Hvað hver leið kostar

Ósamhverfan er kjarninn: leiðin sem fær flest gögn lánað er dýrust og ólíklegust til að hreyfa handlegginn þinn. Undir tveimur tímum af þinni eigin fjarstýringu er betra en terabæti af Franka einhvers annars. Enginn handleggur ennþá? /live streymir líkamlegum SO-100 án skráningar. Þjálfaðu síðan fyrstu stefnuna þína, og SmolVLA á SO-100 fyrir sérstaka leiðbeiningar.