Korištenje DROID-a, BridgeData V2 i Open X na SO-100

Postoji javni skup podataka od milijun putanja na Google Cloud bucketu i SO-100 na stolu koji je koštao 110 do 150 EUR u dijelovima. Zašto prvi ne može naučiti drugog? Djelomično može, ali gotovo nikakav prijenos se ne događa tamo gdje ljudi očekuju, a dio koji izgleda najlakše uopće ne radi.

Slijedi: što se nalazi unutar DROID, BridgeData V2 i Open X-Embodiment, gdje se svaki sudara s jeftinom 5-DoF rukom, i što učiniti umjesto toga. Svaki broj ispod potječe iz rada, kartice skupa podataka ili izvorne datoteke kojoj pripada.

Što tri skupa podataka zapravo sadrže

DROID

Najstandardiziraniji od tri. Jedna oprema posvuda: Franka Panda s hvataljkom Robotiq 2F-85, dvije podesive ZED 2 stereo kamere i ZED Mini za zglob, teleoperiran s Meta Quest 2 kontrolerima, snimljen putem Polymetisa na 15 Hz u prostoru zgloba i krajnjeg efektora prostoru. Jezične oznake došle su kasnije putem tasq.ai, do tri po epizodi.

• 76k trajektorija, 350 sati, 564 scene, 84 zadatka, 50 sakupljača na tri kontinenta.
• Glavni rezultat je ko-trening, a ne samostalni trening: serije pomiješane 50/50 s demonstracijama unutar domene nadmašuju sljedeću najbolju metodu za 22 posto apsolutnog uspjeha u distribuciji, 17 posto izvan nje.
• IPEC-COMMUNITY/droid_lerobot: 92,233 epizoda, 27,044,326 sličica, franka, 15 fps, codebase_version v2.0, tri AV1 streama na 180x320, 392 GB.
• Uzorak za otklanjanje pogrešaka od 2 GB i 100 epizoda nalazi se na gs://gresearch/robotics/droid_100. Počnite tamo.

BridgeData V2

Najbliže hobi postavu: WidowX 250 6-DoF ruka, 60,096 trajektorija kroz 24 okruženja i 13 vještina na 5 Hz. Obratite pažnju na sastav: 50,365 ekspertnih teleoperiranih demonstracija plus 9,731 iz randomizirane skriptirane politike 'pick-and-place', tako da oko 16 posto nije ljudska demonstracija, što je važno za učenje imitacijom kvalitetu. Uobičajeno preuzimanje, IPEC-COMMUNITY/bridge_orig_lerobot, izvještava o 53,192 epizode i 1,893,026 sličica na 5 fps, robot_type widowx: manje od 60,096 iz rada, stoga pročitajte broj iz meta/info.json umjesto da citirate bilo koji od njih.

Open X-Embodiment

Nije skup podataka u istom smislu: 60 postojećih skupova podataka robota iz 34 laboratorija objedinjeno je u jednu RLDS kolekciju koja pokriva 22 implementacije i preko milijun putanja. BridgeData V2 se nalazi unutar nje kao bridge_orig; odsječak google_robot, fractal20220817_data, pretvara se u 87.212 epizoda pri 3 fps.

Objedinjavanje nosi upozorenje koje rad izravno navodi. Za RT-X eksperimente autori pretvaraju svaki izvor u akciju krajnjeg efektora sa 7 stupnjeva slobode (DoF), ali ne poravnavaju koordinatne sustave između skupova podataka i dopuštaju da vrijednosti akcija budu apsolutne ili relativne pozicije ili brzine, prema originalnoj kontrolnoj shemi svakog robota. Njihov zaključak: isti vektor akcije može izazvati vrlo različite pokrete za različite robote.

Nepodudarnost, u četiri dijela

Nepodudarnost utjelovljenja obično se tretira kao jedan nejasan problem. Postoje četiri, kvare se različito, a dva se ne mogu popraviti skriptiranjem.

1. Stupnjevi slobode

SO-100 ima pet zglobova ruke plus hvataljku. Brojeno kao motori, to je ruka sa 6 stupnjeva slobode, i rad SmolVLA je tako naziva; brojeno kao mehanizam za pozicioniranje, to je ruka sa 5 stupnjeva slobode, i LeRobot je tako naziva u svom docstringu inverzne kinematike, koji opisuje IK meke orijentacije na SO-101 sa 5 stupnjeva slobode gdje zglob djelomično prati orijentaciju. Franka ima sedam zglobova za pozicioniranje. Taj jaz odlučuje koje poze postoje: ruka sa 5 stupnjeva slobode općenito ne može istovremeno doseći proizvoljan položaj i orijentaciju, pa rješavač vraća najbliže što može, pokret različit od demonstriranog. Pozadina: stupnjevi slobode.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Dakle, gotova DROID kontrolna točka nije prečac. Physical Intelligence isporučuje pi05_droid na gs://openpi-assets/checkpoints/pi05_droid, a isti README koji hvali njegovu širinu upozorava da se ove stručne kontrolne točke možda neće generalizirati na vašu postavku. Njegovo stanje je osam Franka brojeva zglobova, a njegovi ključevi slika su exterior_image_1_left i wrist_image_left. Nijedna zastavica to ne pretvara u SO-100 naredbu sa šest motora.

2. Što zapravo govori vektor akcije

Dublje od dimenzionalnosti. U LeRobot konverzijama sva tri govore gdje bi hvataljka trebala ići, u Kartezijevom prostoru. SO-100 govori gdje bi šest servoa trebalo ići. Pretvaranje zahtijeva kinematički model i rješavač, a ne preoblikovanje.

LeRobot isporučuje dio koji nedostaje: SO follower ima procesor kinematike s koracima InverseKinematicsEEToJoints i ForwardKinematicsJointsToEE. Njegovi ključevi su ee.x, ee.y, ee.z plus vektor rotacije ee.wx, ee.wy, ee.wz i ee.gripper_pos, tako da se čak i kodiranje orijentacije razlikuje od roll-pitch-yaw u datotekama. IK korak uzima orientation_weight, zadano 0.01, čiji docstring kaže da se postavi 0.0 za IK samo pozicije na nedovoljno aktuiranim rukama. Možete izgraditi most, ali orijentacijska polovica svake posuđene akcije ostaje aproksimirana.

3. Brzina kontrole

DROID je 15 Hz, BridgeData V2 5 Hz, google_robot slice 3 fps; autori pi0 opisuju open-source dio svoje mješavine kao niskofrekventnu kontrolu između 2 i 10 Hz. LeRobot-ov DatasetRecordConfig zadano postavlja fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. A trenirana na podacima od 5 Hz naučila je da jedna akcija pokriva 200 ms. Ponovite je na 30 Hz i ruka puzi; naivno ponovno uzorkujte i razmažete kadar gdje se hvataljka zatvara. Također loše djeluje s : blok od 100 koraka je 20 sekundi na 5 Hz, 3.3 na 30 Hz.

4. Kamere

BridgeData V2 je randomizirao dvije poze kamere svakih 50 trajektorija, a njegova projektna stranica bilježi da većina podataka ionako nosi samo fiksni pogled. DROID je koristio podesive ZED 2 nosače plus ZED Mini na zglobu. Imate dvije USB web kamere postavljene odokativno. Položaj kamere nije smetnja za ; to je velikim dijelom ono na što se vizualni enkoder oslanjao, i ništa u formatu datoteke ne govori da se poze razlikuju.

Što se događa kada ipak pokušate spojiti podatke

Očigledan plan je spajanje: nekoliko tisuća DROID epizoda plus vaših 50. LeRobot odbija, a odbijanje navodi tri stvari koje se razlikuju.

1. 1
   Preuzmite uzorak od 100 epizoda, ne cijelih 1.7 TB

   2 GB je dovoljno za uvid u strukturu.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Pretvorite RLDS u LeRobot format

   openx2lerobot obuhvaća standardne OXE transformacije i bilježi tip robota te frekvenciju upravljanja. README to navodi u convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Pročitajte meta/info.json prije svega ostalog

   Ova datoteka odlučuje hoće li ostatak vašeg dana funkcionirati.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Pokušajte spajanje i pročitajte pogrešku

   merge učitava svaki skup podataka, zatim validate_all_metadata provjerava fps, robot_type i značajke u odnosu na prvi na popisu, podižući pogrešku pri prvom neslaganju.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referentne vrijednosti dolaze iz skupa podataka koji ste prvi naveli, zbog čega se poruka žali na vaših 30 fps umjesto DROID-ovih 15. Popravite fps i naići ćete na provjeru robot_type; popravite to i naići ćete na provjeru značajki, 7 naspram 6 za akciju. Nijedan redoslijed ne prolazi, a ista provjera se pokreće u vrijeme snimanja putem sanity_check_dataset_robot_compatibility.

Dakle, što se zapravo prenosi?

Težine, ne epizode. Svaka moderna generalistička politika apsorbirala je dio toga u pretobuci, a kada iz objavljene , nasljeđujete to već usklađeno od strane ljudi s računalnom snagom da to učine ispravno. Rad pi0-a iskreno govori o udjelu: 9.1 posto njegove mješavine za pretobuku, brojeći u vremenskim koracima, su podaci otvorenog koda uključujući OXE, Bridge v2 i DROID. Ta brojka je pi0-ova; mješavina svakog dobavljača se razlikuje.

Zato SmolVLA se ponaša drugačije na jeftinom robotu. Njegov rad odabire 481 skup podataka iz zajednice s Hugging Facea, filtriranih prema tipu utjelovljenja, broju epizoda, kvaliteti podataka i pokrivenosti okvira: 22.9K epizoda, 10.6M okvira, evaluirano na stvarnim SO-100 i SO-101 robotima. Malo i usklađeno nadmašuje veliko i neusklađeno. Usporedite na ACT protiv SmolVLA.

Tri puta vrijedna razmatranja

Put A: fino podešavanje iz kontrolne točke koja je već apsorbirala podatke

Većina ljudi bi trebala odabrati ovaj put. Nikada ne dirate DROID ili Open X-Embodiment: odaberite politiku čije je predučenje već apsorbiralo podatke o unakrsnom utjelovljenju, snimite vlastite epizode, fino podesite.

ACT je iskreni rubni slučaj: nema osnovnog modela, tako da nijedan javni podatak nikada ne dolazi do njega. To nije automatski nedostatak, budući da je s 20 ms po koraku akcije jedini od pet koji može zatvoriti brzu petlju, kao što stranica ACT-a navodi. Odaberite prema zadatku koristeći svih pet uspoređenih, GR00T N1.7 protiv Pi0.5, i 332 rezultata benchmarka za 85 modela u areni.

Put B: koristite DROID kao testni uređaj

Uzorak od 100 epizoda je najboljih 2 GB koje ćete preuzeti ovaj mjesec, i to ne za treniranje. To je skup podataka za koji znate da je ispravan. Pokrenite svoj pretvarač, učitavač i kratki GPU zadatak na njemu; sve što ne uspije je infrastrukturna greška pronađena dok je bila jeftina. NVIDIA radi isto u velikom opsegu: kartica GR00T N1.7 navodi četiri naknadno trenirane varijante, za Bridge i Fractal u SimplerEnv, DROID i LIBERO.

Put C: snimite svoje, namjerno

Trideset do pedeset zvuči malo pored 76.000 dok se ne sjetite da su vaše jedine s vašom rukom, vašim kamerama i vašim stolom. Prema zadanim postavkama LeRobota, 50 epizoda je 100 minuta stvarnog vremena. Pogledajte , i .

Dva načina za prelazak s javnih podataka na funkcionalnu politiku

Koliko košta svaki put

Asimetrija je ključna: put koji posuđuje najviše podataka je najskuplji i najmanje vjerojatan da će pomaknuti vašu ruku. Manje od dva sata vaše vlastite teleoperacije nadmašuje terabajt tuđe Franke. Još nemate ruku? /live prenosi fizički SO-100 bez prijave. Zatim trenirajte svoju prvu politiku, i SmolVLA na SO-100 za specifični vodič.