Kutumia DROID, BridgeData V2 na Open X kwenye SO-100

Kuna hifadhidata ya umma ya mamilioni ya mienendo kwenye Google Cloud bucket na SO-100 mezani iliyogharimu 110 hadi 150 EUR kwa vipuri. Kwa nini ya kwanza haiwezi kufundisha ya pili? Kwa kiasi fulani inaweza, lakini karibu hakuna uhamisho unaotokea pale watu wanapotarajia, na sehemu inayoonekana rahisi haifanyi kazi kabisa.

Kinachofuata: kile kilicho ndani ya DROID, BridgeData V2 na Open X-Embodiment, ambapo kila moja inagongana na mkono wa 5-DoF wa gharama nafuu, na nini cha kufanya badala yake. Kila namba hapa chini ilitoka kwenye karatasi, kadi ya hifadhidata au faili chanzo inayoihusu.

Kile ambacho hifadhidata hizo tatu zinazo kwa kweli

DROID

Iliyosanifishwa zaidi kati ya hizi tatu. Kifaa kimoja kila mahali: Franka Panda yenye kishika cha Robotiq 2F-85, kamera mbili za stereo za ZED 2 zinazoweza kurekebishwa na ZED Mini ya mkono, inayoendeshwa kwa mbali na vidhibiti vya Meta Quest 2, iliyorekodiwa kupitia Polymetis kwa 15 Hz katika nafasi ya viungo na kiambato cha mwisho nafasi. Lebo za lugha zilikuja baadaye kupitia tasq.ai, hadi tatu kwa kila kipindi.

• Mikusanyiko 76k, saa 350, matukio 564, kazi 84, wakusanyaji 50 katika mabara matatu.
• Matokeo makuu ni mafunzo ya pamoja, si mafunzo ya pekee: makundi yaliyochanganywa 50/50 na maonyesho ya ndani ya kikoa yalishinda njia bora inayofuata kwa asilimia 22 ya mafanikio kamili katika usambazaji, asilimia 17 nje yake.
• IPEC-COMMUNITY/droid_lerobot: vipindi 92,233, fremu 27,044,326, franka, 15 fps, codebase_version v2.0, mitiririko mitatu ya AV1 kwa 180x320, 392 GB.
• Sampuli ya utatuzi ya GB 2, vipindi 100 inapatikana kwenye gs://gresearch/robotics/droid_100. Anza hapo.

BridgeData V2

Karibu zaidi na usanidi wa hobby: mkono wa WidowX 250 6-DoF, mikusanyiko 60,096 katika mazingira 24 na ujuzi 13 kwa 5 Hz. Zingatia muundo: maonyesho 50,365 ya wataalamu yaliyodhibitiwa kwa mbali pamoja na 9,731 kutoka kwa sera ya nasibu ya kuokota na kuweka, hivyo karibu asilimia 16 si maonyesho ya binadamu, jambo ambalo ni muhimu kwa ujifunzaji wa kuiga ubora. Upakuaji wa kawaida, IPEC-COMMUNITY/bridge_orig_lerobot, unaripoti vipindi 53,192 na fremu 1,893,026 kwa 5 fps, robot_type widowx: chache kuliko 60,096 za karatasi, kwa hivyo soma hesabu kutoka meta/info.json badala ya kunukuu mojawapo.

Open X-Embodiment

Sio hifadhidata kwa maana ile ile: Hifadhidata 60 zilizopo za roboti kutoka maabara 34 zimekusanywa katika mkusanyiko mmoja wa RLDS unaojumuisha miundo 22 na zaidi ya mamilioni ya miondoko. BridgeData V2 inakaa ndani yake kama bridge_orig; sehemu ya google_robot, fractal20220817_data, inabadilika kuwa vipindi 87,212 kwa 3 fps.

Ukusanyaji huu una tahadhari ambayo karatasi inasema waziwazi. Kwa majaribio ya RT-X, waandishi hubadilisha kila chanzo kuwa hatua ya 7-DoF ya kiambato cha mwisho, lakini hawaunganishi fremu za kuratibu katika hifadhidata zote, na huruhusu thamani za hatua kuwa nafasi kamili au za jamaa au kasi, kulingana na mpango asili wa udhibiti wa kila roboti. Hitimisho lao: vekta ile ile ya hatua inaweza kusababisha miondoko tofauti sana kwa roboti tofauti.

Kutolingana, katika sehemu nne

Kutolingana kwa umbo kwa kawaida huchukuliwa kama tatizo moja lisiloeleweka. Ni manne, hushindwa kwa njia tofauti, na mawili hayawezi kurekebishwa kwa kuandika hati.

1. Viwango vya uhuru

SO-100 ina viungo vitano vya mkono pamoja na kishika. Ikihesabiwa kama mota, ni mkono wa 6-DoF, na karatasi ya SmolVLA inauita hivyo; ikihesabiwa kama utaratibu wa kuweka nafasi ni 5-DoF, na LeRobot inauita hivyo katika docstring yake ya inverse-kinematics, ambayo inaelezea IK ya mwelekeo laini kwenye SO-101 ya 5-DOF ambapo kifundo cha mkono hufuatilia mwelekeo kwa sehemu tu. Franka ina viungo saba vya kuweka nafasi. Pengo hilo huamua ni pozi gani zipo: mkono wa 5-DoF kwa ujumla hauwezi kufikia nafasi na mwelekeo holela kwa wakati mmoja, kwa hivyo kirekebishaji hurudisha kilicho karibu zaidi kinachoweza, mwendo tofauti na ule ulioonyeshwa. Mandharinyuma: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Kwa hivyo, kituo cha ukaguzi cha DROID kilichotengenezwa tayari si njia ya mkato. Physical Intelligence husafirisha pi05_droid kwenye gs://openpi-assets/checkpoints/pi05_droid, na README hiyo hiyo inayopongeza upana wake inaonya kuwa vituo hivi vya ukaguzi vya wataalamu huenda visiweze kutumika kwa usanidi wako. Hali yake ni namba nane za viungo vya Franka na funguo zake za picha ni exterior_image_1_left na wrist_image_left. Hakuna bendera inayogeuka kuwa amri ya SO-100 ya motor sita.

2. Kile ambacho vekta ya kitendo inasema kweli

Kina zaidi ya vipimo. Katika ubadilishaji wa LeRobot zote tatu zinasema mahali ambapo kishika kinapaswa kwenda, katika nafasi ya Cartesian. SO-100 inasema mahali ambapo servomotor sita zinapaswa kwenda. Kubadilisha kunahitaji mfumo wa kinematiki na kisuluhishi, si kubadilisha umbo.

LeRobot inatoa kipande kinachokosekana: mfuasi wa SO ana kichakataji cha kinematiki chenye hatua za InverseKinematicsEEToJoints na ForwardKinematicsJointsToEE. Funguo zake ni ee.x, ee.y, ee.z pamoja na vekta ya mzunguko ee.wx, ee.wy, ee.wz na ee.gripper_pos, hivyo hata usimbaji wa mwelekeo unatofautiana na roll-pitch-yaw kwenye faili. Hatua ya IK inachukua orientation_weight, chaguomsingi 0.01, ambayo docstring yake inasema kuweka 0.0 kwa IK ya nafasi pekee kwenye mikono isiyo na nguvu za kutosha. Unaweza kujenga daraja, lakini nusu ya mwelekeo ya kila kitendo kilichokopwa inabaki kukadiriwa.

3. Kiwango cha udhibiti

DROID ni 15 Hz, BridgeData V2 5 Hz, sehemu ya google_robot 3 fps; waandishi wa pi0 wanaelezea sehemu ya chanzo huria ya mchanganyiko wao kama udhibiti wa masafa ya chini kati ya 2 na 10 Hz. DatasetRecordConfig ya LeRobot inatumia chaguomsingi ya fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. A iliyefunzwa kwa data ya 5 Hz ilijifunza kuwa kitendo kimoja kinachukua 200 ms. Icheze tena kwa 30 Hz na mkono utatambaa; sampuli upya bila kufikiri na utaharibu fremu ambapo kishika kinafunga. Pia inaingiliana vibaya na : kipande cha hatua 100 ni sekunde 20 kwa 5 Hz, 3.3 kwa 30 Hz.

4. Kamera

BridgeData V2 ilichagua nasibu pozi mbili za kamera kila mizunguko 50, na ukurasa wake wa mradi unaeleza kuwa data nyingi hubeba tu mtazamo usiobadilika. DROID ilitumia viunga vya ZED 2 vinavyoweza kurekebishwa pamoja na ZED Mini ya mkono. Una kamera mbili za USB zilizowekwa kwa macho. Pozi ya kamera si kigezo cha usumbufu kwa ; ni sehemu kubwa ya kile ambacho kisimbuzi cha kuona kilizingatia, na hakuna chochote katika umbizo la faili kinachokuambia kuwa pozi zinatofautiana.

Nini kinatokea unapojaribu kuunganisha data hata hivyo

Mpango dhahiri ni kuunganisha: vipindi elfu chache vya DROID pamoja na 50 yako. LeRobot inakataa, na kukataa huko kunataja mambo matatu yanayotofautiana.

1. 1
   Vuta sampuli ya vipindi 100, siyo TB 1.7 kamili

   GB 2 zinatosha kuona muundo.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Badilisha RLDS kuwa umbizo la LeRobot

   openx2lerobot inafunga mabadiliko ya kawaida ya OXE na kuweka alama kwenye aina ya roboti na marudio ya udhibiti. README inaweka hii kwenye convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Soma meta/info.json kabla ya kitu kingine chochote

   Faili hili linaamua kama siku yako iliyobaki itafanya kazi.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Jaribu kuunganisha na soma kosa

   merge inapaki kila seti ya data, kisha validate_all_metadata inakagua fps, robot_type na vipengele dhidi ya cha kwanza kwenye orodha, ikitoa kosa kwenye kutofautiana kwa kwanza.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Thamani za marejeleo hutoka kwenye seti ya data yoyote uliyoorodhesha kwanza, ndiyo maana ujumbe unalalamika kuhusu fps yako 30 badala ya 15 ya DROID. Rekebisha fps na utakutana na ukaguzi wa robot_type; rekebisha hilo na utakutana na ukaguzi wa kipengele, 7 dhidi ya 6 kwa kitendo. Hakuna mpangilio unaopita, na mlinzi huyo huyo huendeshwa wakati wa kurekodi kupitia sanity_check_dataset_robot_compatibility.

Kwa hivyo, ni nini hasa kinachohamishwa?

Uzito, si vipindi. Kila sera ya kisasa ya jumla ilichukua baadhi yake katika mafunzo ya awali, na unapo rekebisha vizuri kutoka kwa kituo cha ukaguzi unairithi tayari ikiwa imerekebishwa na watu wenye uwezo wa kompyuta kuifanya ipasavyo. Karatasi ya pi0 inazungumzia waziwazi uwiano: asilimia 9.1 ya mchanganyiko wake wa mafunzo ya awali, ikihesabiwa kwa hatua za muda, ni data ya chanzo huria ikiwemo OXE, Bridge v2 na DROID. Takwimu hiyo ni ya pi0; mchanganyiko wa kila muuzaji unatofautiana.

Hii ndiyo sababu SmolVLA hufanya kazi tofauti kwenye mkono wa gharama nafuu. Karatasi yake huchagua seti data 481 za jamii kutoka Hugging Face, zilizochujwa kwa aina ya umbo, idadi ya vipindi, ubora wa data na ufunikaji wa fremu: vipindi 22.9K, fremu 10.6M, zilizotathminiwa kwenye mikono halisi ya SO-100 na SO-101. Ndogo na iliyolingana inashinda kubwa na isiyolingana. Linganisha kwenye ACT dhidi ya SmolVLA.

Njia tatu zinazofaa kuchukuliwa

Njia A: rekebisha kutoka kwenye kituo cha ukaguzi ambacho tayari kimechukua data

Watu wengi wanapaswa kuchukua hii. Hutawahi kugusa DROID au Open X-Embodiment: chagua sera ambayo mafunzo yake ya awali tayari yamechukua data ya miili tofauti, rekodi vipindi vyako mwenyewe, rekebisha.

ACT ni kisa cha kipekee cha kweli: hakuna modeli ya msingi, kwa hivyo hakuna data yoyote ya umma inayoifikia. Hii si hasara kiotomatiki, kwani kwa 20 ms kwa kila hatua ya kitendo ndiyo pekee kati ya tano inayoweza kufunga kitanzi cha haraka, kama vile ukurasa wa ACT, inavyoeleza. Chagua kwa kazi ukitumia zote tano zikilinganishwa, GR00T N1.7 dhidi ya Pi0.5, na matokeo 332 ya vigezo katika modeli 85 ndani ya uwanja.

Njia B: tumia DROID kama kifaa cha majaribio

Sampuli ya vipindi 100 ndiyo GB 2 bora utakayopakua mwezi huu, na si kwa ajili ya mafunzo. Ni seti ya data unayojua ni sahihi. Endesha kigeuzi chako, kipakiaji na kazi fupi ya GPU juu yake; chochote kinachoshindwa ni hitilafu ya miundombinu iliyopatikana wakati ilikuwa rahisi. NVIDIA hufanya vivyo hivyo kwa kiwango kikubwa: kadi ya GR00T N1.7 inaorodhesha lahaja nne zilizofunzwa baada ya hapo, kwa Bridge na Fractal katika SimplerEnv, DROID na LIBERO.

Njia C: rekodi yako mwenyewe, kwa makusudi

Thelathini hadi hamsini inaonekana kidogo ikilinganishwa na 76,000 hadi utakumbuka kuwa zako ndizo pekee zenye mkono wako, kamera zako na meza yako. Kwa mipangilio chaguomsingi ya LeRobot, vipindi 50 ni dakika 100 za saa ya ukuta. Tazama , na .

Njia mbili za kupata sera inayofanya kazi kutoka kwa data ya umma

Gharama ya kila njia

Asymmetry ndio hoja: njia inayokopa data nyingi zaidi ndiyo ghali zaidi na isiyowezekana kusogeza mkono wako. Chini ya saa mbili za teleoperesheni yako mwenyewe inashinda terabyte ya Franka ya mtu mwingine. Bado huna mkono? /live huonyesha SO-100 halisi bila kujisajili. Kisha funza sera yako ya kwanza, na SmolVLA kwenye SO-100 kwa mwongozo maalum.