Uporaba DROID, BridgeData V2 in Open X na SO-100

Na Google Cloud vedru je javni nabor podatkov z milijonom trajektorij in SO-100 na mizi, ki je v delih stala 110 do 150 EUR. Zakaj prvi ne more učiti drugega? Delno lahko, vendar se skoraj noben prenos ne zgodi tam, kjer ljudje pričakujejo, in del, ki se zdi najlažji, sploh ne deluje.

Sledi: kaj je znotraj DROID, BridgeData V2 in Open X-Embodiment, kjer se vsak sreča z nizkocenovno 5-DoF roko, in kaj storiti namesto tega. Vsaka spodnja številka izvira iz članka, kartice nabora podatkov ali izvorne datoteke, ki ji pripada.

Kaj dejansko vsebujejo trije nabori podatkov

DROID

Najbolj standardiziran od vseh treh. Ena oprema povsod: Franka Panda z prijemalom Robotiq 2F-85, dve nastavljivi stereo kameri ZED 2 in zapestna ZED Mini, teleoperirana z Meta Quest 2 krmilniki, posneta preko Polymetisa pri 15 Hz tako v sklepu kot v končnem efektorju prostoru. Jezikovne oznake so prišle kasneje preko tasq.ai, do tri na epizodo.

• 76k trajektorij, 350 ur, 564 scen, 84 nalog, 50 zbiralcev na treh kontinentih.
• Glavni rezultat je skupno usposabljanje, ne samostojno usposabljanje: serije, pomešane 50/50 z demonstracijami znotraj domene, so premagale naslednjo najboljšo metodo za 22 odstotkov absolutnega uspeha v distribuciji, 17 odstotkov izven nje.
• IPEC-COMMUNITY/droid_lerobot: 92,233 epizod, 27,044,326 sličic, franka, 15 fps, codebase_version v2.0, trije AV1 tokovi pri 180x320, 392 GB.
• 2 GB, 100-epizodni vzorec za odpravljanje napak se nahaja na gs://gresearch/robotics/droid_100. Začnite tam.

BridgeData V2

Najbližje hobi nastavitvi: roka WidowX 250 s 6 stopnjami svobode, 60,096 trajektorij v 24 okoljih in 13 spretnostih pri 5 Hz. Upoštevajte sestavo: 50,365 strokovnih teleoperiranih demonstracij plus 9,731 iz naključne skriptirane politike pobiranja in odlaganja, tako da približno 16 odstotkov ni človeških demonstracij, kar je pomembno za učenje z imitacijo kakovost. Običajni prenos, IPEC-COMMUNITY/bridge_orig_lerobot, poroča o 53,192 epizodah in 1,893,026 sličicah pri 5 fps, robot_type widowx: manj kot 60,096 iz članka, zato preberite število iz meta/info.json namesto da citirate katerega koli.

Open X-Embodiment

Ne gre za podatkovni niz v enakem smislu: 60 obstoječih robotskih podatkovnih nizov iz 34 laboratorijev, združenih v eno zbirko RLDS, ki zajema 22 izvedb in več kot milijon trajektorij. BridgeData V2 je v njej kot bridge_orig; rezina google_robot, fractal20220817_data, se pretvori v 87.212 epizod pri 3 fps.

Združevanje prinaša opozorilo, ki ga članek jasno navaja. Za eksperimente RT-X avtorji vsak vir pretvorijo v 7-DoF akcijo končnega efektorja, vendar ne poravnajo koordinatnih sistemov med podatkovnimi nizi in dovolijo, da so vrednosti akcij absolutne ali relativne pozicije ali hitrosti, glede na originalno krmilno shemo vsakega robota. Njihov zaključek: isti akcijski vektor lahko povzroči zelo različna gibanja za različne robote.

Neskladje, v štirih delih

Neujemanje utelešenja se običajno obravnava kot en sam nejasen problem. V resnici so štirje, vsak odpove drugače, in dveh ni mogoče odpraviti s skriptiranjem.

1. Stopnje svobode

SO-100 ima pet sklepov roke in prijemalo. Štetje kot motorji je to 6-DoF roka, in članek SmolVLA jo tako imenuje; štetje kot pozicionirni mehanizem je 5-DoF, in LeRobot jo tako imenuje v svojem docstringu za inverzno kinematiko, ki opisuje IK z mehko orientacijo na 5-DOF SO-101, kjer zapestje sledi orientaciji le delno. Franka ima sedem pozicionirnih sklepov. Ta vrzel določa, katere poze obstajajo: 5-DoF roka na splošno ne more hkrati doseči poljubnega položaja in orientacije, zato reševalec vrne najbližje, kar lahko, kar je drugačno gibanje od prikazanega. Ozadje: stopnje svobode.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Torej, pripravljena kontrolna točka DROID ni bližnjica. Physical Intelligence dobavlja pi05_droid na gs://openpi-assets/checkpoints/pi05_droid, in isti README, ki hvali njegovo širino, opozarja, da se te strokovne kontrolne točke morda ne bodo posplošile na vašo nastavitev. Njegovo stanje je osem številk Franka sklepov in njegovi slikovni ključi so exterior_image_1_left in wrist_image_left. Nobena zastavica tega ne spremeni v ukaz SO-100 za šest motorjev.

2. Kaj dejansko pove vektor akcije

Globlje kot dimenzionalnost. V konverzijah LeRobot vsi trije povedo, kam naj gre prijemalo, v kartezičnem prostoru. SO-100 pove, kam naj gre šest servomotorjev. Pretvorba potrebuje kinematični model in reševalnik, ne preoblikovanja.

LeRobot res dobavlja manjkajoči del: sledilnik SO ima procesor kinematike s koraki InverseKinematicsEEToJoints in ForwardKinematicsJointsToEE. Njegovi ključi so ee.x, ee.y, ee.z plus rotacijski vektor ee.wx, ee.wy, ee.wz in ee.gripper_pos, tako da se celo kodiranje orientacije razlikuje od roll-pitch-yaw v datotekah. Korak IK sprejme orientation_weight, privzeto 0.01, katerega docstring pravi, naj se nastavi 0.0 za IK samo na položaj na podakturiranih rokah. Most lahko zgradite, vendar orientacijska polovica vsake izposojene akcije ostane približna.

3. Krmilna frekvenca

DROID je 15 Hz, BridgeData V2 5 Hz, rezina google_robot 3 fps; avtorji pi0 opisujejo odprtokodni del svoje mešanice kot nizkofrekvenčno krmiljenje med 2 in 10 Hz. DatasetRecordConfig LeRobota privzeto nastavi fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. A usposobljena na 5 Hz podatkih se je naučila, da ena akcija pokriva 200 ms. Predvajajte jo pri 30 Hz in roka se bo plazila; naivno ponovno vzorčite in razmažete okvir, kjer se prijemalo zapre. Prav tako slabo vpliva na : 100-korakni blok je 20 sekund pri 5 Hz, 3.3 pri 30 Hz.

4. Kamere

BridgeData V2 je naključno določil dve pozi kamere vsakih 50 trajektorij, in njegova projektna stran ugotavlja, da večina podatkov vsebuje le fiksni pogled. DROID je uporabljal nastavljive nosilce ZED 2 in zapestno kamero ZED Mini. Imate dve USB spletni kameri, nameščeni po občutku. Poza kamere ni moteča spremenljivka za ; je namreč velik del tistega, na kar se je osredotočil vizualni kodirnik, in nič v formatu datoteke vam ne pove, da se poze razlikujejo.

Kaj se zgodi, če vseeno poskusite združiti podatke

Očiten načrt je združiti: nekaj tisoč DROID epizod plus vaših 50. LeRobot zavrne, in zavrnitev navaja tri stvari, ki se razlikujejo.

1. 1
   Prenesite vzorec 100 epizod, ne celotnih 1.7 TB

   2 GB je dovolj za ogled strukture.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Pretvorite RLDS v obliko LeRobot

   openx2lerobot ovije standardne transformacije OXE in označi tip robota ter frekvenco krmiljenja. Datoteka README to postavi v convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Preberite meta/info.json pred vsem ostalim

   Ta datoteka odloča, ali bo preostanek vašega dneva deloval.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Poskusite združitev in preberite napako

   merge naloži vsak nabor podatkov, nato validate_all_metadata preveri fps, robot_type in značilnosti glede na prvega na seznamu, in sproži napako ob prvem neskladju.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referenčne vrednosti prihajajo iz kateregakoli nabora podatkov, ki ste ga navedli prvega, zato se sporočilo pritožuje nad vašimi 30 fps namesto DROID-ovih 15. Popravite fps in naleteli boste na preverjanje robot_type; popravite to in naleteli boste na preverjanje značilnosti, 7 proti 6 za dejanje. Nobeno razvrščanje ne uspe, in ista zaščita se izvede ob času snemanja preko sanity_check_dataset_robot_compatibility.

Kaj se torej dejansko prenese?

Uteži, ne epizode. Vsaka sodobna splošna politika je del tega absorbirala med predhodnim usposabljanjem, in ko vi iz izdane to podedujete že usklajeno s strani ljudi z računalniško močjo, da to storijo pravilno. Članek pi0 je odkrit glede deleža: 9,1 odstotka njegove mešanice za predhodno usposabljanje, šteto v časovnih korakih, so odprtokodni podatki, vključno z OXE, Bridge v2 in DROID. Ta številka je pi0-jeva; mešanica vsakega prodajalca se razlikuje.

Zato SmolVLA se obnaša drugače na nizkocenovni roki. Njegov članek izbere 481 skupnostnih podatkovnih nizov iz Hugging Face, filtriranih po tipu utelešenja, številu epizod, kakovosti podatkov in pokritosti sličic: 22.9K epizod, 10.6M sličic, ovrednotenih na resničnih rokah SO-100 in SO-101. Majhno in usklajeno premaga veliko in neusklajeno. Primerjajte na ACT proti SmolVLA.

Tri poti, vredne razmisleka

Pot A: fino uglaševanje iz kontrolne točke, ki je že absorbirala podatke

Večina ljudi bi morala izbrati to pot. Nikoli se ne dotikajte DROID ali Open X-Embodiment: izberite politiko, katere predhodno usposabljanje je že absorbiralo podatke med utelešenji, posnemite lastne epizode, fino uglasite.

ACT je iskren mejni primer: brez osnovnega modela, zato ga javni podatki nikoli ne dosežejo. To ni samodejno slabost, saj je pri 20 ms na korak dejanja edini od petih, ki lahko zaključi hitro zanko, kot stran ACT določa. Izberite glede na nalogo z uporabo vseh pet primerjanih, GR00T N1.7 proti Pi0.5, in 332 rezultatov meritev za 85 modelov v areni.

Pot B: uporabite DROID kot testno napravo

Vzorec 100 epizod je najboljših 2 GB, ki jih boste prenesli ta mesec, in ne za usposabljanje. To je nabor podatkov, za katerega veste, da je pravilen. Zaženite svoj pretvornik, nalagalnik in kratko nalogo GPE na njem; vse, kar ne uspe, je napaka v infrastrukturi, odkrita, ko je bilo to poceni. NVIDIA dela enako v velikem obsegu: kartica GR00T N1.7 navaja štiri naknadno usposobljene variante, za Bridge in Fractal v SimplerEnv, DROID in LIBERO.

Pot C: posnemite svoje, namerno

Trideset do petdeset se sliši malo v primerjavi s 76.000, dokler se ne spomnite, da so vaše edine z vašo roko, vašimi kamerami in vašo mizo. Pri privzetih nastavitvah LeRobota je 50 epizod 100 minut realnega časa. Glejte , in .

Dva načina za prehod od javnih podatkov do delujoče politike

Koliko stane vsaka pot

Asimetrija je bistvo: pot, ki si izposoja največ podatkov, je najdražja in najmanj verjetno bo premaknila vašo roko. Manj kot dve uri lastne teleoperacije premaga terabajt tuje Franke. Še nimate roke? /live pretaka fizični SO-100 brez prijave. Nato trenirajte svojo prvo politiko, in SmolVLA na SO-100 za specifičen vodnik.