Korišćenje DROID-a, BridgeData V2 i Open X-a na SO-100

Postoji javni skup podataka od milion trajektorija na Google Cloud bucket-u i SO-100 na stolu koji je koštao 110 do 150 EUR u delovima. Zašto prvi ne može da nauči drugog? Delimično može, ali se skoro nijedan prenos ne dešava tamo gde ljudi očekuju, a deo koji izgleda najlakše uopšte ne funkcioniše.

Sledi: šta se nalazi unutar DROID, BridgeData V2 i Open X-Embodiment, gde se svaki sudara sa jeftinim 5-DoF robotom, i šta umesto toga učiniti. Svaki broj ispod potiče iz rada, kartice skupa podataka ili izvornog fajla kojem pripada.

Šta tri skupa podataka zapravo sadrže

DROID

Najstandardizovaniji od tri. Jedan sistem svuda: Franka Panda sa Robotiq 2F-85 hvataljkom, dve podesive ZED 2 stereo kamere i ZED Mini kamera na zglobu, teleoperisan sa Meta Quest 2 kontrolerima, snimljen preko Polymetis-a na 15 Hz u prostoru zgloba i krajnjeg efektora prostoru. Jezičke oznake su došle kasnije preko tasq.ai, do tri po epizodi.

• 76k trajektorija, 350 sati, 564 scene, 84 zadatka, 50 sakupljača na tri kontinenta.
• Glavni rezultat je ko-trening, a ne samostalni trening: serije pomešane 50/50 sa demonstracijama unutar domena nadmašuju sledeću najbolju metodu za 22 procenta apsolutnog uspeha u distribuciji, 17 procenata van nje.
• IPEC-COMMUNITY/droid_lerobot: 92,233 epizoda, 27,044,326 frejmova, franka, 15 fps, codebase_version v2.0, tri AV1 strima na 180x320, 392 GB.
• Uzorak za otklanjanje grešaka od 2 GB, 100 epizoda, nalazi se na gs://gresearch/robotics/droid_100. Počnite tamo.

BridgeData V2

Najbliže hobi postavci: WidowX 250 6-DoF ruka, 60,096 trajektorija kroz 24 okruženja i 13 veština na 5 Hz. Obratite pažnju na sastav: 50,365 ekspertskih teleoperisanih demonstracija plus 9,731 iz randomizovane skriptovane politike 'uzmi i postavi', tako da oko 16 procenata nije ljudska demonstracija, što je važno za učenje imitacijom kvalitet. Uobičajeno preuzimanje, IPEC-COMMUNITY/bridge_orig_lerobot, izveštava o 53,192 epizode i 1,893,026 frejmova na 5 fps, robot_type widowx: manje od 60,096 iz rada, pa pročitajte broj iz meta/info.json umesto da citirate bilo koji.

Open X-Embodiment

Nije skup podataka u istom smislu: 60 postojećih skupova podataka robota iz 34 laboratorije objedinjeno je u jednu RLDS kolekciju koja pokriva 22 implementacije i preko milion trajektorija. BridgeData V2 se nalazi unutar nje kao bridge_orig; google_robot isečak, fractal20220817_data, konvertuje se u 87.212 epizoda pri 3 fps.

Objedinjavanje nosi upozorenje koje rad jasno navodi. Za RT-X eksperimente, autori konvertuju svaki izvor u akciju krajnjeg efektora sa 7 stepeni slobode (7-DoF), ali ne poravnavaju koordinatne sisteme između skupova podataka i dozvoljavaju da vrednosti akcija budu apsolutne ili relativne pozicije ili brzine, prema originalnoj kontrolnoj šemi svakog robota. Njihov zaključak: isti vektor akcije može izazvati veoma različite pokrete za različite robote.

Nepodudarnost, u četiri dela

Neusklađenost inkarnacije se obično tretira kao jedan nejasan problem. Postoje četiri, one se razlikuju po načinu neuspeha, a dve se ne mogu popraviti skriptovanjem.

1. Stepeni slobode

SO-100 ima pet zglobova ruke plus hvataljku. Računato kao motori, to je ruka sa 6 stepeni slobode (DoF), i SmolVLA rad je tako naziva; računato kao mehanizam za pozicioniranje, to je 5-DoF, i LeRobot je tako naziva u svom docstringu za inverznu kinematiku, koji opisuje IK meke orijentacije na 5-DOF SO-101 gde zglob prati orijentaciju samo delimično. Franka ima sedam zglobova za pozicioniranje. Taj jaz odlučuje koje poze postoje: ruka sa 5 stepeni slobode generalno ne može istovremeno dostići proizvoljnu poziciju i orijentaciju, tako da rešavač vraća najbliže što može, što je drugačiji pokret od demonstriranog. Pozadina: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Dakle, gotov DROID kontrolni punkt nije prečica. Physical Intelligence isporučuje pi05_droid na gs://openpi-assets/checkpoints/pi05_droid, a isti README koji hvali njegovu širinu upozorava da se ovi ekspertski kontrolni punktovi možda neće generalizovati na vašu postavku. Njegovo stanje je osam Franka brojeva zglobova, a njegovi ključevi slika su exterior_image_1_left i wrist_image_left. Nijedna zastavica to ne pretvara u komandu za SO-100 sa šest motora.

2. Šta akcioni vektor zapravo govori

Dublje od dimenzionalnosti. U LeRobot konverzijama, sva tri govore gde bi hvataljka trebalo da ide, u Kartezijanskom prostoru. SO-100 govori gde bi šest servoa trebalo da ide. Konverzija zahteva kinematički model i rešavač, a ne preoblikovanje.

LeRobot isporučuje deo koji nedostaje: SO pratilac ima procesor kinematike sa koracima InverseKinematicsEEToJoints i ForwardKinematicsJointsToEE. Njegovi ključevi su ee.x, ee.y, ee.z plus vektor rotacije ee.wx, ee.wy, ee.wz i ee.gripper_pos, tako da se čak i kodiranje orijentacije razlikuje od roll-pitch-yaw u datotekama. IK korak uzima orientation_weight, podrazumevano 0.01, čiji docstring kaže da se postavi 0.0 za IK samo po poziciji na nedovoljno aktuiranim rukama. Možete izgraditi most, ali orijentaciona polovina svake pozajmljene akcije ostaje aproksimirana.

3. Brzina kontrole

DROID je 15 Hz, BridgeData V2 5 Hz, google_robot isečak 3 fps; autori pi0 opisuju open-source deo svoje mešavine kao niskofrekventnu kontrolu između 2 i 10 Hz. LeRobot-ov DatasetRecordConfig podrazumevano postavlja fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. obučena na podacima od 5 Hz naučila je da jedna akcija pokriva 200 ms. Ponovite je na 30 Hz i ruka će puzati; naivno ponovno uzorkovanje će razmazati kadar gde se hvataljka zatvara. Takođe loše interaguje sa : chunk od 100 koraka je 20 sekundi na 5 Hz, 3.3 na 30 Hz.

4. Kamere

BridgeData V2 je randomizovao dve poze kamere na svakih 50 trajektorija, a na stranici projekta se navodi da većina podataka ionako sadrži samo fiksni prikaz. DROID je koristio podesive ZED 2 nosače plus ZED Mini na zglobu. Imate dve USB veb kamere postavljene odokativno. Položaj kamere nije smetnja za ; to je mnogo od onoga na šta se vizuelni enkoder fokusirao, i ništa u formatu datoteke vam ne govori da se poze razlikuju.

Šta se dešava kada ipak pokušate da spojite podatke

Očigledan plan je spajanje: nekoliko hiljada DROID epizoda plus vaših 50. LeRobot odbija, a odbijanje navodi tri stvari koje se razlikuju.

1. 1
   Preuzmite uzorak od 100 epizoda, ne punih 1.7 TB

   2 GB je dovoljno da se vidi struktura.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Konvertujte RLDS u LeRobot format

   openx2lerobot obuhvata standardne OXE transformacije i anotira tip robota i frekvenciju kontrole. README ovo stavlja u convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Pročitajte meta/info.json pre bilo čega drugog

   Ovaj fajl odlučuje da li će ostatak vašeg dana funkcionisati.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Pokušajte spajanje i pročitajte grešku

   merge učitava svaki skup podataka, zatim validate_all_metadata proverava fps, robot_type i features u odnosu na prvi na listi, podižući grešku pri prvom neslaganju.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referentne vrednosti dolaze iz skupa podataka koji ste prvi naveli, zbog čega se poruka žali na vaših 30 fps umesto DROID-ovih 15. Popravite fps i naići ćete na proveru robot_type; popravite to i naići ćete na proveru features, 7 naspram 6 za akciju. Nijedan redosled ne prolazi, a ista provera se pokreće u vreme snimanja putem sanity_check_dataset_robot_compatibility.

Šta se zapravo prenosi?

Težine, ne epizode. Svaka moderna generalistička politika je apsorbovala deo toga u pretreniranju, a kada sa objavljenog nasleđujete to već usklađeno od strane ljudi sa dovoljnom računarskom snagom da to urade ispravno. Rad pi0 je iskren u pogledu proporcije: 9.1 procenat njegove mešavine za pretreniranje, brojan u vremenskim koracima, su podaci otvorenog koda uključujući OXE, Bridge v2 i DROID. Ta cifra je pi0-ova; mešavina svakog dobavljača se razlikuje.

Zato se SmolVLA ponaša drugačije na jeftinoj ruci. Njegov rad bira 481 skup podataka zajednice sa Hugging Face-a, filtriran po tipu otelotvorenja, broju epizoda, kvalitetu podataka i pokrivenosti kadrova: 22.9K epizoda, 10.6M kadrova, evaluirano na stvarnim SO-100 i SO-101 rukama. Malo i usklađeno pobeđuje veliko i neusklađeno. Uporedite na ACT u odnosu na SmolVLA.

Tri puta koja vredi slediti

Put A: fino podešavanje iz kontrolne tačke koja je već apsorbovala podatke

Većina ljudi bi trebalo da izabere ovaj. Nikada ne dirate DROID ili Open X-Embodiment: izaberite politiku čija je pretrenaža već apsorbovala podatke o unakrsnom otelotvorenju, snimite sopstvene epizode, fino podesite.

ACT je iskren granični slučaj: nema osnovnog modela, tako da nijedan javni podatak nikada ne stiže do njega. To nije automatski nedostatak, jer sa 20 ms po koraku akcije, to je jedini od pet koji može zatvoriti brzu petlju, kao što stranica ACT navodi. Izaberite po zadatku koristeći svih pet upoređenih, GR00T N1.7 protiv Pi0.5, i 332 rezultata benčmarka za 85 modela u areni.

Putanja B: koristite DROID kao testni uređaj

Uzorak od 100 epizoda je najboljih 2 GB koje ćete preuzeti ovog meseca, i to ne za obuku. To je skup podataka za koji znate da je ispravan. Pokrenite svoj konverter, učitavač i kratak GPU posao na njemu; sve što ne uspe je infrastrukturna greška pronađena dok je bila jeftina. NVIDIA radi isto u velikom obimu: kartica GR00T N1.7 navodi četiri post-trenirane varijante, za Bridge i Fractal u SimplerEnv, DROID i LIBERO.

Putanja C: snimite svoje, namerno

Trideset do pedeset zvuči malo pored 76.000 dok ne zapamtite da su vaše jedine sa vašom rukom, vašim kamerama i vašim stolom. Sa podrazumevanim postavkama LeRobota, 50 epizoda je 100 minuta realnog vremena. Pogledajte , i .

Dva načina da se od javnih podataka dođe do funkcionalne politike

Šta košta svaka putanja

Asimetrija je poenta: putanja koja pozajmljuje najviše podataka je najskuplja i najmanje verovatno će pomeriti vašu ruku. Manje od dva sata vaše sopstvene teleoperacije pobeđuje terabajt tuđe Franke. Još uvek nemate ruku? /live strimuje fizički SO-100 bez prijave. Zatim obučite svoju prvu politiku, i SmolVLA na SO-100 za specifičan vodič.