Izmantojot DROID, BridgeData V2 un Open X ar SO-100

Google Cloud krātuvē ir publisks datu kopums ar miljons trajektorijām un SO-100 uz galda, kas detaļās izmaksāja 110 līdz 150 EUR. Kāpēc pirmais nevar iemācīt otrajam? Daļēji var, bet gandrīz neviena pārsūtīšana nenotiek tur, kur cilvēki sagaida, un daļa, kas izskatās visvieglākā, vispār nedarbojas.

Tālāk: kas atrodas DROID, BridgeData V2 un Open X-Embodiment, kur katrs saduras ar zemu izmaksu 5-DoF robotu roku, un ko darīt tā vietā. Katrs zemāk norādītais skaitlis nāk no attiecīgā raksta, datu kopas kartes vai avota faila.

Ko patiesībā satur šie trīs datu kopumi

DROID

Visstandartizētākais no trim. Viens aprīkojums visur: Franka Panda ar Robotiq 2F-85 satvērēju, divas regulējamas ZED 2 stereo kameras un plaukstas ZED Mini, tālvadāms ar Meta Quest 2 kontrolieriem, ierakstīts caur Polymetis ar 15 Hz gan locītavu, gan gala efektora telpā. Valodu etiķetes tika pievienotas vēlāk, izmantojot tasq.ai, līdz trim uz epizodi.

• 76k trajektorijas, 350 stundas, 564 ainas, 84 uzdevumi, 50 datu vācēji trīs kontinentos.
• Galvenais rezultāts ir kopīga apmācība, nevis atsevišķa apmācība: partijas, kas sajauktas 50/50 ar domēna demonstrācijām, pārspēj nākamo labāko metodi par 22 procentiem absolūtas veiksmes sadalījumā, 17 procentiem ārpus tā.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, trīs AV1 straumes ar 180x320, 392 GB.
• 2 GB, 100 epizožu atkļūdošanas paraugs atrodas gs://gresearch/robotics/droid_100. Sāciet ar to.

BridgeData V2

Vislīdzīgākais hobija iestatījumam: WidowX 250 6-DoF roka, 60,096 trajektorijas 24 vidēs un 13 prasmēs ar 5 Hz. Ievērojiet sastāvu: 50,365 ekspertu tālvadības demonstrācijas plus 9,731 no randomizētas skriptētas paņemšanas un novietošanas politikas, tātad aptuveni 16 procenti nav cilvēka demonstrācijas, kas ir svarīgi imitācijas mācīšanās kvalitātei. Parastā lejupielāde, IPEC-COMMUNITY/bridge_orig_lerobot, ziņo par 53,192 epizodēm un 1,893,026 kadriem ar 5 fps, robot_type widowx: mazāk nekā rakstā minētie 60,096, tāpēc lasiet skaitu no meta/info.json, nevis citējiet kādu no tiem.

Open X-Embodiment

Nav datu kopa tādā pašā nozīmē: 60 esošas robotu datu kopas no 34 laboratorijām apvienotas vienā RLDS kolekcijā, aptverot 22 iemiesojumus un vairāk nekā miljonu trajektoriju. BridgeData V2 atrodas tajā kā bridge_orig; google_robot šķēle, fractal20220817_data, pārvēršas par 87 212 epizodēm ar 3 kadriem sekundē.

Apvienošanai ir brīdinājums, ko raksts skaidri norāda. RT-X eksperimentiem autori katru avotu pārvērš par 7-DoF gala efektora darbību, taču nesaskaņo koordinātu rāmjus starp datu kopām un ļauj darbības vērtībām būt absolūtām vai relatīvām pozīcijām vai ātrumiem, saskaņā ar katra robota oriģinālo vadības shēmu. Viņu secinājums: viens un tas pats darbības vektors var izraisīt ļoti atšķirīgas kustības dažādiem robotiem.

Nesakritība, četros posmos

Iemiesojuma neatbilstība parasti tiek uzskatīta par vienu neskaidru problēmu. Tās ir četras, tās sabojājas atšķirīgi, un divas nav labojamas ar skriptēšanu.

1. Brīvības pakāpes

SO-100 ir piecas rokas locītavas plus satvērējs. Saskaitot kā motorus, tā ir 6-DoF roka, un SmolVLA raksts to tā dēvē; saskaitot kā pozicionēšanas mehānismu, tā ir 5-DoF, un LeRobot to tā dēvē savā apgrieztās kinemātikas dokumentācijā, kas apraksta mīkstas orientācijas IK uz 5-DOF SO-101, kur plaukstas locītava seko orientācijai tikai daļēji. Franka ir septiņas pozicionēšanas locītavas. Šī atšķirība nosaka, kādas pozas pastāv: 5-DoF roka parasti nevar vienlaikus sasniegt patvaļīgu pozīciju un orientāciju, tāpēc risinātājs atgriež tuvāko iespējamo, kas ir atšķirīga kustība no demonstrētās. Fons: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Tātad gatavs DROID kontrolpunkts nav īsceļš. Physical Intelligence piegādā pi05_droid vietnē gs://openpi-assets/checkpoints/pi05_droid, un tas pats README, kas slavē tā plašumu, brīdina, ka šie ekspertu kontrolpunkti var nebūt vispārināmi jūsu iestatījumam. Tā stāvoklis ir astoņi Franka savienojumu numuri, un tā attēlu atslēgas ir exterior_image_1_left un wrist_image_left. Neviens karogs to nepārvērš par sešu motoru SO-100 komandu.

2. Ko patiesībā saka darbības vektors

Dziļāk par dimensionalitāti. LeRobot konversijās visi trīs norāda, kur jāiet satvērējam, Dekarta telpā. SO-100 norāda, kur jāiet sešiem servomotoriem. Pārveidošanai nepieciešams kinemātiskais modelis un risinātājs, nevis pārveidošana.

LeRobot piegādā trūkstošo daļu: SO sekotājam ir kinemātikas procesors ar InverseKinematicsEEToJoints un ForwardKinematicsJointsToEE soļiem. Tā atslēgas ir ee.x, ee.y, ee.z, kā arī rotācijas vektors ee.wx, ee.wy, ee.wz un ee.gripper_pos, tāpēc pat orientācijas kodējums atšķiras no failos esošā roll-pitch-yaw. IK solis izmanto orientation_weight, noklusējuma vērtība 0.01, kura docstring norāda iestatīt 0.0 pozīcijas-tikai IK gadījumā nepietiekami aktuatorizētām rokām. Jūs varat uzbūvēt tiltu, taču katras aizgūtās darbības orientācijas puse paliek aptuvena.

3. Vadības ātrums

DROID ir 15 Hz, BridgeData V2 5 Hz, google_robot daļa 3 fps; pi0 autori apraksta savas jaukto datu kopas atvērtā koda daļu kā zemas frekvences vadību starp 2 un 10 Hz. LeRobot DatasetRecordConfig noklusējuma vērtības ir fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. apmācīta ar 5 Hz datiem, iemācījās, ka viena darbība aptver 200 ms. Atskaņojot to ar 30 Hz, roka rāpo; naivi pārsamplējot, jūs izpludināt kadru, kurā satvērējs aizveras. Tas arī slikti mijiedarbojas ar : 100 soļu gabals ir 20 sekundes pie 5 Hz, 3.3 sekundes pie 30 Hz.

4. Kameras

BridgeData V2 nejaušināja divas kameras pozas ik pēc 50 trajektorijām, un tā projekta lapā norādīts, ka lielākā daļa datu anyway satur tikai fiksētu skatu. DROID izmantoja regulējamus ZED 2 stiprinājumus, kā arī plaukstas ZED Mini. Jums ir divas USB tīmekļa kameras, kas novietotas ar aci. Kameras poza nav traucējošs mainīgais priekš ; tas ir liela daļa no tā, uz ko vizuālais kodētājs balstījās, un nekas faila formātā neliecina, ka pozas atšķiras.

Kas notiek, ja jūs tomēr mēģināt apvienot datus

Acīmredzamais plāns ir apvienot: dažus tūkstošus DROID epizožu plus jūsu 50. LeRobot atsakās, un atteikums nosauc trīs lietas, kas atšķiras.

1. 1
   Iegūstiet 100 epizožu paraugu, nevis pilnus 1,7 TB

   2 GB ir pietiekami, lai redzētu struktūru.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Pārvērst RLDS uz LeRobot formātu

   openx2lerobot ietver OXE standarta transformācijas un anotē robota tipu un vadības frekvenci. README fails to ievieto convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Izlasiet meta/info.json pirms jebkā cita

   Šis fails nosaka, vai pārējā jūsu diena strādās.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Izmēģiniet apvienošanu un izlasiet kļūdu

   merge ielādē katru datu kopu, pēc tam validate_all_metadata pārbauda fps, robot_type un funkcijas pret pirmo sarakstā, izraisot kļūdu pie pirmās neatbilstības.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Atsauces vērtības nāk no tās datu kopas, kuru norādījāt pirmo, tāpēc ziņojums sūdzas par jūsu 30 fps, nevis DROID 15. Izlabojiet fps, un jūs saskarsieties ar robot_type pārbaudi; izlabojiet to, un jūs saskarsieties ar funkciju pārbaudi, 7 pret 6 darbībai. Neviena secība netiek cauri, un tas pats sargs darbojas ierakstīšanas laikā, izmantojot sanity_check_dataset_robot_compatibility.

Kas tad īsti tiek pārsūtīts?

Svari, nevis epizodes. Katra moderna vispārīga politika daļu no tā absorbēja pirmsapmācībā, un, kad jūs no izlaista jūs to mantojat jau saskaņotu no cilvēkiem, kuriem ir pietiekama skaitļošanas jauda, lai to paveiktu pareizi. pi0 raksts atklāti runā par proporciju: 9,1 procenti no tā pirmsapmācības maisījuma, skaitot laika soļos, ir atvērtā koda dati, tostarp OXE, Bridge v2 un DROID. Šis skaitlis ir pi0; katra piegādātāja maisījums atšķiras.

Tāpēc SmolVLA uzvedas atšķirīgi uz zemu izmaksu rokas. Tā rakstā ir atlasītas 481 kopienas datu kopas no Hugging Face, filtrētas pēc iemiesojuma veida, epizožu skaita, datu kvalitātes un kadru pārklājuma: 22.9K epizodes, 10.6M kadri, novērtēti uz reālām SO-100 un SO-101 rokām. Mazs un saskaņots pārspēj lielu un nesaskaņotu. Salīdziniet ACT pret SmolVLA.

Trīs ceļi, ko vērts iet

A ceļš: precizēt no kontrolpunkta, kas jau ir apstrādājis datus

Lielākajai daļai cilvēku vajadzētu izvēlēties šo. Jūs nekad nepieskaraties DROID vai Open X-Embodiment: izvēlieties politiku, kuras iepriekšējā apmācība jau ir absorbējusi starp-ķermeņu datus, ierakstiet savas epizodes, precizējiet.

ACT ir godīgs robežgadījums: nav bāzes modeļa, tāpēc neviens no publiskajiem datiem to nekad nesasniedz. Tas nav automātiski trūkums, jo ar 20 ms uz vienu darbības soli tas ir vienīgais no pieciem, kas var noslēgt ātru cilpu, kā ACT lapa norādīts. Izvēlieties pēc uzdevuma, izmantojot visi pieci salīdzināti, GR00T N1.7 pret Pi0.5, un 332 etalonuzdevumu rezultātus 85 modeļiem arēnā.

B ceļš: izmantojiet DROID kā testa aprīkojumu

100 epizožu paraugs ir labākie 2 GB, ko šomēnes lejupielādēsiet, un ne apmācībai. Tā ir datu kopa, par kuru zināt, ka tā ir pareiza. Palaidiet savu pārveidotāju, ielādētāju un īsu GPU darbu ar to; viss, kas neizdodas, ir infrastruktūras kļūda, kas atrasta, kamēr tas bija lēti. NVIDIA dara to pašu lielā mērogā: GR00T N1.7 karte uzskaita četrus pēcapmācītus variantus Bridge un Fractal SimplerEnv, DROID un LIBERO.

Ceļš C: ierakstiet savu, apzināti

Trīsdesmit līdz piecdesmit šķiet maz, salīdzinot ar 76 000, līdz atceraties, ka jūsu ir vienīgās ar jūsu roku, jūsu kamerām un jūsu galdu. Pēc LeRobot noklusējuma iestatījumiem 50 epizodes ir 100 minūtes reālā laika. Skatiet , un .

Divi veidi, kā no publiskiem datiem iegūt funkcionējošu politiku

Cik maksā katrs ceļš

Asimetrija ir būtiska: ceļš, kas aizņemas visvairāk datu, ir visdārgākais un vismazāk ticams, ka tas kustinās jūsu roku. Mazāk nekā divas stundas jūsu pašu teleoperācija pārspēj terabaitu kāda cita Franka datiem. Vēl nav rokas? /live straumē fizisku SO-100 bez reģistrācijas. Pēc tam apmāciet savu pirmo politiku, un SmolVLA uz SO-100 lai iegūtu konkrētu ceļvedi.