Përdorimi i DROID, BridgeData V2 dhe Open X në një SO-100

Ekziston një grup të dhënash publik me një milion trajektore në një bucket të Google Cloud dhe një SO-100 në tavolinë që kushtoi 110 deri në 150 EUR në pjesë. Pse e para nuk mund t'i mësojë të dytës? Pjesërisht mundet, por pothuajse asnjë nga transferimi nuk ndodh aty ku njerëzit presin, dhe pjesa që duket më e lehtë nuk funksionon fare.

Çfarë vijon: çfarë ka brenda DROID, BridgeData V2 dhe Open X-Embodiment, ku secila përplaset me një krah 5-DoF me kosto të ulët, dhe çfarë të bëni në vend të kësaj. Çdo numër më poshtë erdhi nga punimi, karta e grupit të të dhënave ose skedari burimor të cilit i përket.

Çfarë përmbajnë në të vërtetë tre grupet e të dhënave

DROID

Më i standardizuari nga të tre. Një pajisje kudo: një Franka Panda me një kapëse Robotiq 2F-85, dy kamera stereo të rregullueshme ZED 2 dhe një ZED Mini për kyçin e dorës, e teleoperuar me kontrollues Meta Quest 2, e regjistruar përmes Polymetis në 15 Hz si në hapësirën e nyjeve ashtu edhe në atë të efektorin fundor hapësirë. Etiketat gjuhësore erdhën më vonë nëpërmjet tasq.ai, deri në tre për episod.

• 76k trajektore, 350 orë, 564 skena, 84 detyra, 50 kolektorë në tre kontinente.
• Rezultati kryesor është bashkë-trajnimi, jo trajnimi i pavarur: grupet e përziera 50/50 me demonstrime brenda-domenit tejkaluan metodën tjetër më të mirë me 22 për qind sukses absolut në shpërndarje, 17 për qind jashtë saj.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episode, 27,044,326 korniza, franka, 15 fps, codebase_version v2.0, tre transmetime AV1 në 180x320, 392 GB.
• Një mostër debugimi prej 2 GB, 100-episodësh ndodhet në gs://gresearch/robotics/droid_100. Filloni aty.

BridgeData V2

Më afër një konfigurimi hobi: një krah WidowX 250 6-DoF, 60,096 trajektore në 24 mjedise dhe 13 aftësi në 5 Hz. Vini re përbërjen: 50,365 demonstrime ekspertësh të teleoperuar plus 9,731 nga një politikë e rastësishme e skriptuar pick-and-place, kështu që rreth 16 për qind nuk është demonstrim njerëzor, gjë që ka rëndësi për mësimi imitues cilësinë. Shkarkimi i zakonshëm, IPEC-COMMUNITY/bridge_orig_lerobot, raporton 53,192 episode dhe 1,893,026 korniza në 5 fps, robot_type widowx: më pak se 60,096 të punimit, prandaj lexoni numrin nga meta/info.json në vend që të citoni njërën prej tyre.

Open X-Embodiment

Jo një grup të dhënash në të njëjtin kuptim: 60 grupe të dhënash ekzistuese robotësh nga 34 laboratorë të bashkuara në një koleksion RLDS që mbulon 22 mishërime dhe mbi një milion trajektore. BridgeData V2 ndodhet brenda tij si bridge_orig; pjesa google_robot, fractal20220817_data, konvertohet në 87,212 episode me 3 fps.

Bashkimi i të dhënave përmban një paralajmërim që artikulli e thekson qartë. Për eksperimentet RT-X, autorët konvertojnë çdo burim në një veprim fund-efektor me 7-DoF, por nuk i rreshtojnë kornizat koordinative nëpër grupe të dhënash, dhe lejojnë që vlerat e veprimit të jenë pozicione ose shpejtësi absolute ose relative, sipas skemës origjinale të kontrollit të çdo roboti. Përfundimi i tyre: i njëjti vektor veprimi mund të shkaktojë lëvizje shumë të ndryshme për robotë të ndryshëm.

Mosbalancimi, në katër pjesë

Përputhja e gabuar e mishërimit zakonisht trajtohet si një problem i paqartë. Janë katër, ato dështojnë ndryshe, dhe dy nuk mund të rregullohen me skriptim.

1. Shkallët e lirisë

Një SO-100 ka pesë nyje krahu plus një kapëse. E numëruar si motorë, është një krah 6-DoF, dhe dokumenti SmolVLA e quan kështu; e numëruar si mekanizëm pozicionimi është 5-DoF, dhe LeRobot e quan kështu në docstring-un e tij të kinematikës së anasjelltë, i cili përshkruan IK me orientim të butë në SO-101 5-DOF ku kyçi i dorës ndjek orientimin vetëm pjesërisht. Një Franka ka shtatë nyje pozicionimi. Ky boshllëk vendos se cilat poza ekzistojnë: një krah 5-DoF nuk mund të arrijë përgjithësisht një pozicion dhe orientim arbitrar menjëherë, kështu që zgjidhësi kthen atë më të afërtin që mundet, një lëvizje e ndryshme nga ajo e demonstruar. Sfondi: shkallët e lirisë.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Pra, një pikë kontrolli DROID e gatshme nuk është një rrugë e shkurtër. Physical Intelligence dërgon pi05_droid në gs://openpi-assets/checkpoints/pi05_droid, dhe i njëjti README që lavdëron gjerësinë e tij paralajmëron se këto pika kontrolli ekspertësh mund të mos përgjithësohen në konfigurimin tuaj. Gjendja e tij është tetë numra nyjesh Franka dhe çelësat e imazhit të tij janë exterior_image_1_left dhe wrist_image_left. Asnjë flamur nuk e kthen atë në një komandë SO-100 me gjashtë motorë.

2. Çfarë thotë në të vërtetë vektori i veprimit

Më thellë se dimensionaliteti. Në konvertimet LeRobot të treja thonë ku duhet të shkojë kapësi, në hapësirën karteziane. Një SO-100 thotë ku duhet të shkojnë gjashtë servo. Konvertimi kërkon një model kinematik dhe një zgjidhës, jo një ri-formësim.

LeRobot ofron pjesën që mungon: ndjekësi SO ka një procesor kinematike me hapat InverseKinematicsEEToJoints dhe ForwardKinematicsJointsToEE. Çelësat e tij janë ee.x, ee.y, ee.z plus një vektor rrotullimi ee.wx, ee.wy, ee.wz dhe ee.gripper_pos, kështu që edhe kodimi i orientimit ndryshon nga roll-pitch-yaw në skedarë. Hapi IK merr një orientation_weight, parazgjedhur 0.01, docstring-u i të cilit thotë të vendoset 0.0 për IK vetëm me pozicion në krahë të nën-aktuuar. Ju mund të ndërtoni urën, por gjysma e orientimit të çdo veprimi të huazuar mbetet e përafërt.

3. Shpejtësia e kontrollit

DROID është 15 Hz, BridgeData V2 5 Hz, pjesa google_robot 3 fps; autorët e pi0 e përshkruajnë pjesën me burim të hapur të përzierjes së tyre si kontroll me frekuencë të ulët midis 2 dhe 10 Hz. DatasetRecordConfig i LeRobot parazgjedh fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Një i trajnuar me të dhëna 5 Hz mësoi se një veprim mbulon 200 ms. Riprodhojeni atë në 30 Hz dhe krahu zvarritet; ri-mostroni në mënyrë naive dhe ju turbulloni kornizën ku kapësja mbyllet. Gjithashtu ndërvepron keq me : një bllok me 100 hapa është 20 sekonda në 5 Hz, 3.3 në 30 Hz.

4. Kamera

BridgeData V2 randomizoi dy poza kamerash çdo 50 trajektore, dhe faqja e projektit të tij thekson se shumica e të dhënave mbartin gjithsesi vetëm pamjen fikse. DROID përdori montime të rregullueshme ZED 2 plus një ZED Mini në kyç. Ju keni dy kamera USB të pozicionuara me sy. Pozicioni i kamerës nuk është një variabël bezdisës për një ; është shumë nga ajo që enkoderi vizual ka fokusuar, dhe asgjë në formatin e skedarit nuk tregon se pozat ndryshojnë.

Çfarë ndodh kur përpiqeni t'i bashkoni të dhënat gjithsesi

Plani i qartë është të bashkëngjisni: disa mijëra episode DROID plus 50 tuajat. LeRobot refuzon, dhe refuzimi emëron tre gjërat që ndryshojnë.

1. 1
   Shkarkoni mostër prej 100 episodesh, jo të plotë 1.7 TB

   2 GB mjaftojnë për të parë strukturën.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Konvertoni RLDS në formatin LeRobot

   openx2lerobot përfshin transformimet standarde OXE dhe shënon llojin e robotit dhe frekuencën e kontrollit. README e vendos këtë në convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Lexoni meta/info.json para çdo gjëje tjetër

   Kjo skedar vendos nëse pjesa tjetër e ditës suaj funksionon.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Provoni bashkimin dhe lexoni gabimin

   merge ngarkon çdo dataset, pastaj validate_all_metadata kontrollon fps, robot_type dhe features kundrejt të parit në listë, duke ngritur një gabim në mospërputhjen e parë.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Vlerat referencë vijnë nga cilido dataset që keni listuar i pari, prandaj mesazhi ankohet për 30 fps tuajat në vend të 15 të DROID. Rregulloni fps dhe do të hasni kontrollin robot_type; rregulloni atë dhe do të hasni kontrollin e veçorive, 7 kundrejt 6 për veprimin. Asnjë renditje nuk kalon, dhe i njëjti kontrollues ekzekutohet në kohën e regjistrimit nëpërmjet sanity_check_dataset_robot_compatibility.

Pra, çfarë transferohet në të vërtetë?

Peshat, jo episodet. Çdo politikë moderne gjeneralistësh ka absorbuar një pjesë të saj në paratrajnim, dhe kur ju nga një të lëshuar, ju e trashëgoni atë tashmë të pajtuar nga njerëz me fuqinë llogaritëse për ta bërë siç duhet. Punimi i pi0 është i sinqertë për proporcionin: 9.1 për qind e përzierjes së tij të paratrajnimit, e numëruar në hapa kohorë, janë të dhëna me burim të hapur duke përfshirë OXE, Bridge v2 dhe DROID. Kjo shifër është e pi0-s; përzierja e çdo shitësi ndryshon.

Kjo është arsyeja pse SmolVLA sillet ndryshe në një krah me kosto të ulët. Punimi i tij zgjedh 481 grupe të dhënash komunitare nga Hugging Face, të filtruara sipas llojit të mishërimit, numrit të episodeve, cilësisë së të dhënave dhe mbulimit të kornizës: 22.9K episode, 10.6M korniza, të vlerësuara në krahë realë SO-100 dhe SO-101. E vogla dhe e përputhur mund të mëdhenjtë dhe të papërputhurit. Krahasoni në ACT kundrejt SmolVLA.

Tre rrugë që ia vlen të ndiqen

Rruga A: rregullim i imët nga një pikë kontrolli që tashmë ka përthithur të dhënat

Shumica e njerëzve duhet ta zgjedhin këtë. Ju nuk prekni kurrë DROID ose Open X-Embodiment: zgjidhni një politikë, paratrajnimi i së cilës tashmë ka përthithur të dhëna ndër-mishërimi, regjistroni episodet tuaja, bëni rregullimin e imët.

ACT është rasti i sinqertë kufitar: pa model bazë, kështu që asnjë nga të dhënat publike nuk e arrin atë. Jo automatikisht një disavantazh, pasi me 20 ms për hap veprimi është i vetmi nga të pesë që mund të mbyllë një lak të shpejtë, siç faqja e ACT parashtron. Zgjidhni sipas detyrës duke përdorur të pesë të krahasuara, GR00T N1.7 kundrejt Pi0.5, dhe 332 rezultatet e standardeve në 85 modele në arena.

Rruga B: përdorni DROID si pajisje testimi

Mostra me 100 episode është 2 GB më e mira që do të shkarkoni këtë muaj, dhe jo për trajnim. Është një grup të dhënash që e dini se është i saktë. Ekzekutoni konvertuesin, ngarkuesin dhe një punë të shkurtër GPU-je mbi të; çdo gjë që dështon është një gabim infrastrukture i gjetur ndërsa ishte i lirë. NVIDIA bën të njëjtën gjë në shkallë: karta GR00T N1.7 liston katër variante të post-trajnuara, për Bridge dhe Fractal në SimplerEnv, DROID dhe LIBERO.

Rruga C: regjistroni tuajat, me qëllim

Tridhjetë deri në pesëdhjetë tingëllon pak pranë 76,000 derisa të kujtoni se tuajat janë të vetmet me krahun tuaj, kamerat tuaja dhe tavolinën tuaj. Me parazgjedhjet e LeRobot, 50 episode janë 100 minuta kohë reale. Shih , dhe .

Dy mënyra për të kaluar nga të dhënat publike në një politikë funksionale

Kostoja e çdo rruge

Asimetria është thelbi: shtegu që merr më shumë të dhëna është më i shtrenjti dhe më pak i mundshëm për të lëvizur krahun tuaj. Më pak se dy orë të tuajat teleoperacion mundin një terabajt të Franka-s së dikujt tjetër. Nuk keni ende një krah? /live transmeton një SO-100 fizik pa regjistrim. Më pas trajnoni politikën tuaj të parë, dhe SmolVLA on SO-100 për udhëzuesin specifik.