Naudojant DROID, BridgeData V2 ir Open X su SO-100

Yra milijono trajektorijų viešas duomenų rinkinys „Google Cloud“ kibire ir SO-100 ant stalo, kuris dalimis kainavo nuo 110 iki 150 EUR. Kodėl pirmasis negali išmokyti antrojo? Iš dalies gali, bet beveik joks perkėlimas nevyksta ten, kur žmonės tikisi, o lengviausiai atrodanti dalis visai neveikia.

Toliau: kas yra viduje DROID, BridgeData V2 ir Open X-Embodiment, kur kiekvienas susiduria su pigia 5 laisvės laipsnių ranka, ir ką daryti vietoj to. Kiekvienas žemiau pateiktas skaičius paimtas iš atitinkamo straipsnio, duomenų rinkinio kortelės ar šaltinio failo.

Ką iš tikrųjų sudaro trys duomenų rinkiniai

DROID

Standartizuotiausias iš trijų. Vienas įrenginys visur: Franka Panda su Robotiq 2F-85 griebtuvu, dvi reguliuojamos ZED 2 stereo kameros ir riešo ZED Mini, valdomas nuotoliniu būdu su Meta Quest 2 valdikliais, įrašytas per Polymetis 15 Hz dažniu tiek jungčių, tiek galinio efektoriaus erdvėje. Kalbos žymės atsirado vėliau per tasq.ai, iki trijų vienam epizodui.

• 76 tūkst. trajektorijų, 350 valandų, 564 scenos, 84 užduotys, 50 rinkėjų trijuose žemynuose.
• Pagrindinis rezultatas yra bendrasis mokymas, o ne savarankiškas mokymas: partijos, sumaišytos 50/50 su srities demonstracijomis, aplenkė kitą geriausią metodą 22 procentais absoliučios sėkmės pasiskirstyme ir 17 procentų už jo ribų.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 GB, 100 epizodų derinimo pavyzdys yra adresu gs://gresearch/robotics/droid_100. Pradėkite nuo jo.

BridgeData V2

Arčiausiai hobio sąrankos: WidowX 250 6-DoF ranka, 60 096 trajektorijos per 24 aplinkas ir 13 įgūdžių 5 Hz dažniu. Atkreipkite dėmesį į sudėtį: 50 365 ekspertų nuotoliniu būdu valdomos demonstracijos plius 9 731 iš atsitiktinai sugeneruotos „paimk ir padėk“ politikos, taigi apie 16 procentų nėra žmogaus demonstracijos, o tai svarbu imitaciniam mokymuisi kokybei. Įprastas atsisiuntimas, IPEC-COMMUNITY/bridge_orig_lerobot, praneša apie 53 192 epizodus ir 1 893 026 kadrus 5 kadrų per sekundę greičiu, robot_type widowx: mažiau nei straipsnyje nurodyti 60 096, todėl skaitykite skaičių iš meta/info.json, o ne cituokite nė vieno.

Open X-Embodiment

Ne duomenų rinkinys ta pačia prasme: 60 esamų robotų duomenų rinkinių iš 34 laboratorijų, sujungtų į vieną RLDS kolekciją, apimančią 22 įgyvendinimus ir daugiau nei milijoną trajektorijų. BridgeData V2 yra joje kaip bridge_orig; google_robot dalis, fractal20220817_data, konvertuojama į 87 212 epizodų 3 kadrų per sekundę greičiu.

Sujungimas turi įspėjimą, kurį straipsnis aiškiai nurodo. RT-X eksperimentams autoriai kiekvieną šaltinį konvertuoja į 7 laisvės laipsnių galinio efektoriaus veiksmą, tačiau nesuderina koordinačių sistemų tarp duomenų rinkinių ir leidžia veiksmų reikšmėms būti absoliučiomis arba santykinėmis padėtimis ar greičiais, pagal kiekvieno roboto originalią valdymo schemą. Jų išvada: tas pats veiksmų vektorius gali sukelti labai skirtingus judesius skirtingiems robotams.

Nesutapimas, keturiomis dalimis

Įkūnijimo neatitikimas dažniausiai traktuojamas kaip viena neaiški problema. Jų yra keturios, jos skiriasi gedimais, o dvi iš jų negalima ištaisyti scenarijais.

1. Laisvės laipsniai

SO-100 turi penkis rankos sąnarius ir griebtuvą. Skaičiuojant kaip variklius, tai yra 6 laisvės laipsnių (DoF) ranka, ir SmolVLA straipsnis ją taip vadina; skaičiuojant kaip pozicionavimo mechanizmą, tai yra 5 laisvės laipsnių (DoF), ir LeRobot ją taip vadina savo atvirkštinės kinematikos dokumentacijos eilutėje, kuri aprašo minkštos orientacijos IK 5 laisvės laipsnių (DoF) SO-101, kur riešas seka orientaciją tik iš dalies. Franka turi septynis pozicionavimo sąnarius. Šis skirtumas lemia, kokios pozos egzistuoja: 5 laisvės laipsnių (DoF) ranka paprastai negali vienu metu pasiekti savavališkos padėties ir orientacijos, todėl sprendėjas grąžina artimiausią įmanomą, judesį, kuris skiriasi nuo demonstruoto. Pagrindinė informacija: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Taigi, paruoštas DROID kontrolinis taškas nėra trumpesnis kelias. Physical Intelligence pristato pi05_droid adresu gs://openpi-assets/checkpoints/pi05_droid, o tas pats README, kuris giria jo platumą, įspėja, kad šie ekspertiniai kontroliniai taškai gali netikti jūsų sąrankai. Jo būsena yra aštuoni Franka jungčių numeriai, o jo vaizdo raktai yra exterior_image_1_left ir wrist_image_left. Joks žymeklis to nepaverčia šešių variklių SO-100 komanda.

2. Ką iš tikrųjų sako veiksmo vektorius

Giliau nei matmenys. LeRobot konversijose visi trys nurodo, kur turėtų eiti griebtuvas, Dekarto erdvėje. SO-100 nurodo, kur turėtų eiti šeši servovarikliai. Konvertavimui reikia kinematinio modelio ir sprendiklio, o ne pertvarkymo.

LeRobot pateikia trūkstamą dalį: SO sekiklis turi kinematikos procesorių su InverseKinematicsEEToJoints ir ForwardKinematicsJointsToEE žingsniais. Jo raktai yra ee.x, ee.y, ee.z plius sukimosi vektorius ee.wx, ee.wy, ee.wz ir ee.gripper_pos, todėl net orientacijos kodavimas skiriasi nuo failuose esančio roll-pitch-yaw. IK žingsnis naudoja orientation_weight, numatytasis 0.01, kurio docstring nurodo nustatyti 0.0 tik padėties IK nepakankamai valdomoms rankoms. Galite sukurti tiltą, tačiau kiekvieno pasiskolinto veiksmo orientacijos pusė lieka apytikslė.

3. Valdymo dažnis

DROID yra 15 Hz, BridgeData V2 5 Hz, google_robot iškarpa 3 kadrų per sekundę; pi0 autoriai apibūdina atvirojo kodo savo mišinio dalį kaip žemo dažnio valdymą tarp 2 ir 10 Hz. LeRobot DatasetRecordConfig numatytieji nustatymai yra 30 kadrų per sekundę, episode_time_s 60, reset_time_s 60, num_episodes 50. A apmokyta su 5 Hz duomenimis išmoko, kad vienas veiksmas apima 200 ms. Atkūrus jį 30 Hz dažniu, ranka šliaužia; naiviai perrinkus, išplaukiate kadrą, kuriame griebtuvas užsidaro. Tai taip pat blogai sąveikauja su : 100 žingsnių gabalas yra 20 sekundžių esant 5 Hz, 3.3 esant 30 Hz.

4. Kameros

BridgeData V2 atsitiktinai parinko dvi kamerų pozas kas 50 trajektorijų, o jo projekto puslapyje pažymima, kad dauguma duomenų vis tiek turi tik fiksuotą vaizdą. DROID naudojo reguliuojamus ZED 2 laikiklius ir riešo ZED Mini. Jūs turite dvi USB internetines kameras, pastatytas apytiksliai. Kameros poza nėra trukdanti kintamoji ; tai yra didelė dalis to, į ką vizualinis kodavimo įrenginys atsižvelgė, ir niekas failo formate nenurodo, kad pozos skiriasi.

Kas nutinka, kai vis tiek bandote sujungti duomenis

Akivaizdus planas yra sujungti: kelis tūkstančius DROID epizodų plius jūsų 50. LeRobot atsisako, o atsisakyme nurodomi trys besiskiriantys dalykai.

1. 1
   Atsisiųskite 100 epizodų pavyzdį, o ne visą 1,7 TB.

   2 GB pakanka struktūrai pamatyti.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Konvertuoti RLDS į LeRobot formatą.

   openx2lerobot apjungia OXE standartines transformacijas ir anotuoja roboto tipą bei valdymo dažnį. README faile tai pateikiama convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Prieš ką nors kita perskaitykite meta/info.json.

   Šis failas lemia, ar likusi dienos dalis veiks.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Išbandykite sujungimą ir perskaitykite klaidą.

   merge įkelia kiekvieną duomenų rinkinį, tada validate_all_metadata patikrina fps, robot_type ir features pagal pirmąjį sąraše, iškeldamas klaidą esant pirmajam neatitikimui.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Etaloninės vertės gaunamos iš to duomenų rinkinio, kurį nurodėte pirmąjį, todėl pranešime skundžiamasi dėl jūsų 30 fps, o ne DROID 15. Pataisykite fps ir susidursite su robot_type patikra; pataisykite tai ir susidursite su funkcijų patikra, 7 prieš 6 veiksmui. Joks eiliškumas neleidžiamas, ir tas pats apsaugos mechanizmas veikia įrašymo metu per sanity_check_dataset_robot_compatibility.

Taigi, kas iš tikrųjų persikelia?

Svorio koeficientai, ne epizodai. Kiekviena moderni bendroji politika dalį to absorbavo išankstinio apmokymo metu, o kai jūs iš išleisto jūs paveldite jį jau suderintą žmonių, turinčių pakankamai skaičiavimo galios tai atlikti tinkamai. pi0 straipsnis atvirai kalba apie proporciją: 9,1 procento jo išankstinio apmokymo mišinio, skaičiuojant laiko žingsniais, yra atvirojo kodo duomenys, įskaitant OXE, Bridge v2 ir DROID. Šis skaičius yra pi0; kiekvieno tiekėjo mišinys skiriasi.

Štai kodėl SmolVLA elgiasi skirtingai su nebrangia ranka. Jo straipsnyje atrinkti 481 bendruomenės duomenų rinkiniai iš Hugging Face, filtruoti pagal įkūnijimo tipą, epizodų skaičių, duomenų kokybę ir kadrų aprėptį: 22.9K epizodų, 10.6M kadrų, įvertinti ant tikrų SO-100 ir SO-101 rankų. Mažas ir suderintas pranašesnis už didelį ir nesuderintą. Palyginkite ACT prieš SmolVLA.

Trys verti dėmesio keliai

A kelias: tikslinti iš kontrolinio taško, kuris jau apdorojo duomenis

Dauguma žmonių turėtų rinktis šį. Niekada nelieskite DROID ar Open X-Embodiment: pasirinkite politiką, kurios išankstinis apmokymas jau absorbavo kryžminio įkūnijimo duomenis, įrašykite savo epizodus, tikslinkite.

ACT yra sąžiningas kraštutinis atvejis: nėra bazinio modelio, todėl jokie vieši duomenys jo niekada nepasiekia. Tai nėra automatiškai trūkumas, nes esant 20 ms vienam veiksmo žingsniui, tai yra vienintelis iš penkių, galintis uždaryti greitą ciklą, kaip ACT puslapis nurodo. Pasirinkite pagal užduotį naudodami visi penki palyginti, GR00T N1.7 prieš Pi0.5, ir 332 etaloninius rezultatus iš 85 modelių arena.

Kelias B: naudokite DROID kaip bandymo įrenginį

100 epizodų pavyzdys yra geriausi 2 GB, kuriuos atsisiųsite šį mėnesį, ir ne mokymui. Tai duomenų rinkinys, apie kurį žinote, kad jis yra teisingas. Paleiskite savo konverterį, įkroviklį ir trumpą GPU užduotį; bet kas, kas nepavyksta, yra infrastruktūros klaida, rasta pigiai. NVIDIA daro tą patį dideliu mastu: GR00T N1.7 kortelėje yra keturi po apmokymo variantai, skirti Bridge ir Fractal SimplerEnv, DROID ir LIBERO.

Kelias C: įrašykite savo, apgalvotai

Trisdešimt iki penkiasdešimt atrodo nedaug, palyginti su 76 000, kol neprisiminsite, kad jūsų yra vieninteliai su jūsų ranka, jūsų kameromis ir jūsų stalu. Pagal LeRobot numatytuosius nustatymus, 50 epizodų yra 100 minučių realaus laiko. Žr. , ir .

Du būdai, kaip pereiti nuo viešųjų duomenų prie veikiančios politikos

Kiekvieno kelio kaina

Asimetrija yra esmė: kelias, kuris pasiskolina daugiausiai duomenų, yra brangiausias ir mažiausiai tikėtina, kad pajudins jūsų ranką. Mažiau nei dvi valandos jūsų pačių teleoperacijos pranoksta terabaitą kito Franka duomenų. Dar neturite roboto rankos? /live transliuoja fizinį SO-100 be registracijos. Tada apmokykite savo pirmąją politiką, ir SmolVLA ant SO-100 konkrečiam vadovui.