Korišćenje DROID, BridgeData V2 i Open X na SO-100

Postoji javni skup podataka od milion trajektorija na Google Cloud bucketu i SO-100 na stolu koji je koštao 110 do 150 EUR u dijelovima. Zašto prvi ne može naučiti drugog? Djelimično može, ali gotovo nikakav prijenos se ne dešava tamo gdje ljudi očekuju, a dio koji izgleda najlakše uopšte ne radi.

Slijedi: šta se nalazi unutar DROID, BridgeData V2 i Open X-Embodiment, gdje se svaki sudara sa jeftinom 5-DoF rukom, i šta učiniti umjesto toga. Svaki broj ispod potiče iz rada, kartice skupa podataka ili izvorne datoteke kojoj pripada.

Šta tri skupa podataka zapravo sadrže

DROID

Najstandardizovaniji od tri. Jedna oprema svuda: Franka Panda sa Robotiq 2F-85 hvataljkom, dvije podesive ZED 2 stereo kamere i ZED Mini za zglob, teleoperisana sa Meta Quest 2 kontrolerima, snimljena putem Polymetisa na 15 Hz u prostoru zgloba i krajnjeg efektora prostoru. Jezičke oznake su došle kasnije putem tasq.ai, do tri po epizodi.

• 76k trajektorija, 350 sati, 564 scene, 84 zadatka, 50 sakupljača na tri kontinenta.
• Glavni rezultat je ko-trening, a ne samostalni trening: serije pomiješane 50/50 sa demonstracijama unutar domena nadmašile su sljedeću najbolju metodu za 22 posto apsolutnog uspjeha u distribuciji, 17 posto izvan nje.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• Uzorak za otklanjanje grešaka od 2 GB, 100 epizoda, nalazi se na gs://gresearch/robotics/droid_100. Počnite tamo.

BridgeData V2

Najbliže hobi postavu: WidowX 250 6-DoF ruka, 60,096 trajektorija kroz 24 okruženja i 13 vještina na 5 Hz. Obratite pažnju na sastav: 50,365 ekspertnih teleoperiranih demonstracija plus 9,731 iz randomizirane skriptirane politike odabira i postavljanja, tako da oko 16 posto nije ljudska demonstracija, što je važno za učenje imitacijom kvalitetu. Uobičajeno preuzimanje, IPEC-COMMUNITY/bridge_orig_lerobot, izvještava o 53,192 epizode i 1,893,026 sličica pri 5 fps, robot_type widowx: manje od 60,096 iz rada, stoga pročitajte broj iz meta/info.json umjesto da citirate bilo koji.

Open X-Embodiment

Nije skup podataka u istom smislu: 60 postojećih skupova podataka robota iz 34 laboratorija objedinjeno je u jednu RLDS kolekciju koja pokriva 22 utjelovljenja i preko milijun putanja. BridgeData V2 se nalazi unutar nje kao bridge_orig; google_robot isječak, fractal20220817_data, pretvara se u 87.212 epizoda pri 3 fps.

Objedinjavanje nosi upozorenje koje rad izravno navodi. Za RT-X eksperimente autori pretvaraju svaki izvor u akciju krajnjeg efektora sa 7 stupnjeva slobode (DoF), ali ne poravnavaju koordinatne okvire između skupova podataka i dopuštaju da vrijednosti akcija budu apsolutne ili relativne pozicije ili brzine, prema originalnoj kontrolnoj shemi svakog robota. Njihov zaključak: isti vektor akcije može izazvati vrlo različite pokrete za različite robote.

Nepodudarnost, u četiri dijela

Nepodudarnost utjelovljenja se obično tretira kao jedan nejasan problem. Postoje četiri, koji se različito manifestuju, a dva se ne mogu popraviti skriptiranjem.

1. Stepeni slobode

SO-100 ima pet zglobova ruke plus hvataljku. Brojano kao motori, to je ruka sa 6 stepeni slobode (DoF), i SmolVLA rad je tako naziva; brojano kao mehanizam za pozicioniranje, to je 5-DoF, i LeRobot je tako naziva u svom docstringu za inverznu kinematiku, koji opisuje IK meke orijentacije na 5-DoF SO-101 gdje zglob prati orijentaciju samo djelimično. Franka ima sedam zglobova za pozicioniranje. Taj jaz određuje koje poze postoje: ruka sa 5 stepeni slobode ne može generalno istovremeno dostići proizvoljnu poziciju i orijentaciju, tako da rješavač vraća najbliže što može, pokret drugačiji od demonstriranog. Pozadina: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Dakle, gotova DROID kontrolna tačka nije prečica. Physical Intelligence isporučuje pi05_droid na gs://openpi-assets/checkpoints/pi05_droid, a isti README koji hvali njegovu širinu upozorava da se ove ekspertske kontrolne tačke možda neće generalizovati na vašu postavku. Njegovo stanje je osam Franka brojeva zglobova, a njegovi ključevi slika su exterior_image_1_left i wrist_image_left. Nijedna zastavica to ne pretvara u SO-100 komandu sa šest motora.

2. Šta akcioni vektor zapravo govori

Dublje od dimenzionalnosti. U LeRobot konverzijama sva tri govore gde bi hvataljka trebalo da ide, u Kartezijanskom prostoru. SO-100 govori gde bi šest servoa trebalo da ide. Konverzija zahteva kinematički model i rešavač, a ne preoblikovanje.

LeRobot isporučuje deo koji nedostaje: SO follower ima procesor kinematike sa koracima InverseKinematicsEEToJoints i ForwardKinematicsJointsToEE. Njegovi ključevi su ee.x, ee.y, ee.z plus vektor rotacije ee.wx, ee.wy, ee.wz i ee.gripper_pos, tako da se čak i kodiranje orijentacije razlikuje od roll-pitch-yaw u datotekama. IK korak uzima orientation_weight, podrazumevano 0.01, čiji docstring kaže da se postavi 0.0 za IK samo za poziciju na nedovoljno aktuiranim rukama. Možete izgraditi most, ali orijentaciona polovina svake pozajmljene akcije ostaje aproksimirana.

3. Brzina kontrole

DROID je 15 Hz, BridgeData V2 5 Hz, google_robot isečak 3 fps; autori pi0-a opisuju open-source deo svoje mešavine kao niskofrekventnu kontrolu između 2 i 10 Hz. LeRobot-ov DatasetRecordConfig podrazumevano postavlja fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. obučena na podacima od 5 Hz naučila je da jedna akcija pokriva 200 ms. Ponovite je na 30 Hz i ruka puzi; naivno ponovno uzorkovanje razmazuje kadar gde se hvataljka zatvara. Takođe loše interaguje sa : chunk od 100 koraka je 20 sekundi na 5 Hz, 3.3 na 30 Hz.

4. Kamere

BridgeData V2 je randomizovao dve poze kamere svakih 50 trajektorija, a na stranici projekta se navodi da većina podataka ionako nosi samo fiksni prikaz. DROID je koristio podesive ZED 2 nosače plus ZED Mini na zglobu. Imate dve USB veb kamere postavljene odokativno. Položaj kamere nije smetnja za ; to je mnogo od onoga na šta se vizuelni enkoder fokusirao, i ništa u formatu datoteke vam ne govori da se poze razlikuju.

Šta se dešava kada ipak pokušate da spojite podatke

Očigledan plan je spajanje: nekoliko hiljada DROID epizoda plus vaših 50. LeRobot odbija, a odbijanje navodi tri stvari koje se razlikuju.

1. 1
   Preuzmite uzorak od 100 epizoda, ne punih 1.7 TB

   2 GB je dovoljno da se vidi struktura.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Pretvorite RLDS u LeRobot format

   openx2lerobot obuhvata standardne OXE transformacije i anotira tip robota i frekvenciju kontrole. README ovo stavlja u convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Pročitajte meta/info.json prije bilo čega drugog

   Ova datoteka odlučuje hoće li ostatak vašeg dana funkcionirati.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Pokušajte spajanje i pročitajte grešku

   merge učitava svaki skup podataka, zatim validate_all_metadata provjerava fps, robot_type i features u odnosu na prvi na listi, podižući grešku pri prvom neslaganju.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referentne vrijednosti dolaze iz skupa podataka koji ste prvi naveli, zbog čega se poruka žali na vaših 30 fps umjesto DROID-ovih 15. Popravite fps i naići ćete na provjeru robot_type; popravite to i naići ćete na provjeru značajki, 7 naspram 6 za akciju. Nijedan redoslijed ne prolazi, a ista zaštita se pokreće u vrijeme snimanja putem sanity_check_dataset_robot_compatibility.

Šta se zapravo prenosi?

Težine, ne epizode. Svaka moderna generalistička politika je apsorbovala nešto od toga u pretreniranju, a kada fino podesite iz objavljenog kontrolne tačke to nasleđujete već usklađeno od strane ljudi sa računarskom snagom da to urade kako treba. Rad pi0-a je iskren o proporciji: 9,1 posto njegove mešavine za pretreniranje, brojeći u vremenskim koracima, su podaci otvorenog koda uključujući OXE, Bridge v2 i DROID. Ta cifra je pi0-ova; mešavina svakog dobavljača se razlikuje.

Zato se SmolVLA ponaša drugačije na jeftinom robotu. Njegov rad odabire 481 skup podataka iz zajednice sa Hugging Face-a, filtriranih po tipu utjelovljenja, broju epizoda, kvalitetu podataka i pokrivenosti kadrova: 22.9K epizoda, 10.6M kadrova, evaluirano na stvarnim SO-100 i SO-101 robotima. Malo i usklađeno nadmašuje veliko i neusklađeno. Uporedite na ACT u odnosu na SmolVLA.

Tri puta vrijedna razmatranja

Put A: fino podešavanje iz kontrolne tačke koja je već obradila podatke

Većina ljudi bi trebala izabrati ovaj put. Nikada ne dirate DROID ili Open X-Embodiment: odaberite politiku čija je pretobuka već apsorbovala podatke o unakrsnom utjelovljenju, snimite vlastite epizode, fino podesite.

ACT je iskren granični slučaj: nema osnovnog modela, tako da nijedan javni podatak nikada ne dolazi do njega. To nije automatski nedostatak, jer sa 20 ms po koraku akcije, to je jedini od pet koji može zatvoriti brzu petlju, kao što stranica ACT navodi. Odaberite po zadatku koristeći svih pet upoređenih, GR00T N1.7 protiv Pi0.5, i 332 rezultata benčmarka za 85 modela u areni.

Put B: koristite DROID kao testni uređaj

Uzorak od 100 epizoda je najboljih 2 GB koje ćete preuzeti ovog mjeseca, i to ne za obuku. To je skup podataka za koji znate da je ispravan. Pokrenite svoj konverter, učitavač i kratak GPU posao na njemu; sve što ne uspije je infrastrukturna greška pronađena dok je bila jeftina. NVIDIA radi isto u velikom obimu: GR00T N1.7 kartica navodi četiri post-trenirane varijante, za Bridge i Fractal u SimplerEnv, DROID i LIBERO.

Put C: snimite svoje, namjerno

Trideset do pedeset zvuči malo pored 76.000 dok se ne sjetite da su vaše jedine s vašom rukom, vašim kamerama i vašim stolom. Prema zadanim postavkama LeRobota, 50 epizoda je 100 minuta stvarnog vremena. Pogledajte , i .

Dva načina za prelazak s javnih podataka na funkcionalnu politiku

Koliko košta svaka putanja

Asimetrija je poenta: putanja koja pozajmljuje najviše podataka je najskuplja i najmanje verovatno će pomeriti vašu ruku. Manje od dva sata vaše sopstvene teleoperacije nadmašuje terabajt tuđe Franke. Nemate još ruku? /live strimuje fizički SO-100 bez prijave. Zatim obučite svoju prvu politiku, i SmolVLA na SO-100 za specifični vodič.