Používanie DROID, BridgeData V2 a Open X na SO-100

Existuje verejný dataset s miliónom trajektórií na Google Cloud buckete a na stole, ktorý stál 110 až 150 EUR v súčiastkach. Prečo prvý nemôže naučiť druhý? Čiastočne môže, ale takmer žiadny prenos sa nedeje tam, kde ľudia očakávajú, a časť, ktorá vyzerá najjednoduchšie, vôbec nefunguje.

Čo nasleduje: čo je vo vnútri , a , kde sa každý stretáva s lacným 5-DoF ramenom, a čo robiť namiesto toho. Každé číslo nižšie pochádza z článku, karty datasetu alebo zdrojového súboru, ku ktorému patrí.

Čo tri datasety skutočne obsahujú

DROID

Najštandardizovanejší z troch. Jedna zostava všade: Franka Panda s uchopovačom Robotiq 2F-85, dve nastaviteľné stereo kamery ZED 2 a ZED Mini na zápästí, teleoperované ovládačmi Meta Quest 2, zaznamenané cez Polymetis pri 15 Hz v kĺbovom aj koncový efektor priestore. Jazykové štítky prišli neskôr cez tasq.ai, až tri na epizódu.

• 76k trajektórií, 350 hodín, 564 scén, 84 úloh, 50 zberačov na troch kontinentoch.
• Hlavným výsledkom je spoločné trénovanie, nie samostatné trénovanie: dávky zmiešané 50/50 s ukážkami z danej domény prekonali ďalšiu najlepšiu metódu o 22 percent absolútneho úspechu v distribúcii, 17 percent mimo nej.
• IPEC-COMMUNITY/droid_lerobot: 92,233 epizód, 27,044,326 snímok, franka, 15 fps, codebase_version v2.0, tri AV1 streamy pri 180x320, 392 GB.
• 2 GB, 100-epizódová vzorka na ladenie sa nachádza na gs://gresearch/robotics/droid_100. Začnite tam.

BridgeData V2

Najbližšie k hobby nastaveniu: rameno WidowX 250 6-DoF, 60,096 trajektórií naprieč 24 prostrediami a 13 zručnosťami pri 5 Hz. Všimnite si zloženie: 50,365 expertných teleoperovaných ukážok plus 9,731 z randomizovanej skriptovanej politiky „vyzdvihni a umiestni“, takže asi 16 percent nie je ľudská ukážka, čo je dôležité pre učenie napodobňovaním kvalitu. Obvyklé stiahnutie, IPEC-COMMUNITY/bridge_orig_lerobot, uvádza 53,192 epizód a 1,893,026 snímok pri 5 fps, robot_type widowx: menej ako 60,096 v článku, takže si prečítajte počet z meta/info.json namiesto citovania jedného z nich.

Open X-Embodiment

Nie je to dátový súbor v rovnakom zmysle: 60 existujúcich robotických dátových súborov z 34 laboratórií spojených do jednej kolekcie RLDS, pokrývajúcej 22 prevedení a viac ako milión trajektórií. BridgeData V2 sa nachádza vo vnútri ako bridge_orig; výrez google_robot, fractal20220817_data, sa konvertuje na 87 212 epizód pri 3 fps.

Zlúčenie so sebou nesie výhradu, ktorú článok priamo uvádza. Pre experimenty RT-X autori konvertujú každý zdroj na akciu koncového efektora so 7 stupňami voľnosti (DoF), ale nezarovnávajú súradnicové systémy naprieč dátovými súbormi a umožňujú, aby hodnoty akcií boli absolútne alebo relatívne pozície či rýchlosti, podľa pôvodnej riadiacej schémy každého robota. Ich záver: rovnaký akčný vektor môže vyvolať veľmi odlišné pohyby pre rôznych robotov.

Nezhoda, v štyroch častiach

Nezhoda stelesnenia sa zvyčajne považuje za jeden nejasný problém. Sú štyri, zlyhávajú rôzne a dve nie sú opraviteľné skriptovaním.

1. Stupne voľnosti

SO-100 má päť kĺbov ramena plus chápadlo. Počítané ako motory je to 6-stupňové rameno a článok SmolVLA ho tak nazýva; počítané ako polohovací mechanizmus je to 5-stupňové, a LeRobot ho tak nazýva vo svojom docstringu inverznej kinematiky, ktorý popisuje IK s mäkkou orientáciou na 5-stupňovom SO-101, kde zápästie sleduje orientáciu len čiastočne. Franka má sedem polohovacích kĺbov. Táto medzera rozhoduje o tom, aké pózy existujú: 5-stupňové rameno nemôže všeobecne dosiahnuť ľubovoľnú pozíciu a orientáciu naraz, takže riešiteľ vráti to najbližšie, čo dokáže, čo je iný pohyb ako ten demonštrovaný. Pozadie: .

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Takže hotový DROID checkpoint nie je skratka. Physical Intelligence dodáva pi05_droid na gs://openpi-assets/checkpoints/pi05_droid a ten istý README, ktorý chváli jeho šírku, varuje, že tieto expertné checkpointy sa nemusia zovšeobecniť na vaše nastavenie. Jeho stav je osem Franka kĺbových čísel a jeho obrazové kľúče sú exterior_image_1_left a wrist_image_left. Žiadny príznak to nepremení na šesťmotorový príkaz SO-100.

2. Čo vlastne hovorí akčný vektor

Hlbšie ako dimenzionalita. V konverziách LeRobot všetky tri hovoria, kam by mal ísť uchopovač, v karteziánskom priestore. SO-100 hovorí, kam by malo ísť šesť servomotorov. Konverzia si vyžaduje kinematický model a riešiteľ, nie preformátovanie.

LeRobot dodáva chýbajúci diel: SO follower má kinematický procesor s krokmi InverseKinematicsEEToJoints a ForwardKinematicsJointsToEE. Jeho kľúče sú ee.x, ee.y, ee.z plus rotačný vektor ee.wx, ee.wy, ee.wz a ee.gripper_pos, takže aj kódovanie orientácie sa líši od roll-pitch-yaw v súboroch. Krok IK berie orientation_weight, predvolene 0.01, ktorého docstring hovorí, aby sa nastavilo 0.0 pre IK len pre pozíciu na nedostatočne ovládaných ramenách. Môžete postaviť most, ale orientačná polovica každej požičanej akcie zostáva aproximovaná.

3. Frekvencia riadenia

DROID je 15 Hz, BridgeData V2 5 Hz, google_robot slice 3 fps; autori pi0 popisujú open-source časť ich zmesi ako nízkofrekvenčné riadenie medzi 2 a 10 Hz. Predvolené nastavenia DatasetRecordConfig LeRobot sú fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. trénovaná na 5 Hz dátach sa naučila, že jedna akcia pokrýva 200 ms. Prehrajte ju pri 30 Hz a rameno sa plazí; naivne pre-vzorkujte a rozmažete snímku, kde sa uchopovač zatvára. Tiež to zle interaguje s : 100-krokový blok je 20 sekúnd pri 5 Hz, 3.3 pri 30 Hz.

4. Kamery

BridgeData V2 náhodne menil dve pozície kamier každých 50 trajektórií a jeho projektová stránka uvádza, že väčšina dát aj tak obsahuje len fixný pohľad. DROID používal nastaviteľné držiaky ZED 2 plus ZED Mini na zápästí. Vy máte dve USB webkamery umiestnené od oka. Pozícia kamery nie je rušivá premenná pre ; je to veľká časť toho, na čo sa vizuálny kodér zameral, a nič vo formáte súboru vám nehovorí, že sa pozície líšia.

Čo sa stane, keď sa aj tak pokúsite zlúčiť dáta

Očividný plán je spojiť: niekoľko tisíc DROID epizód plus vašich 50. LeRobot odmieta a odmietnutie vymenúva tri veci, ktoré sa líšia.

1. 1
   Stiahnite si 100-epizódovú vzorku, nie celých 1.7 TB

   2 GB stačia na zobrazenie štruktúry.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Konvertujte RLDS do formátu LeRobot

   openx2lerobot obaluje štandardné transformácie OXE a anotuje typ robota a riadiacu frekvenciu. Súbor README to uvádza v convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Prečítajte si meta/info.json pred čímkoľvek iným

   Tento súbor rozhoduje o tom, či zvyšok vášho dňa bude fungovať.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Vyskúšajte zlúčenie a prečítajte si chybu

   merge načíta každý dataset, potom validate_all_metadata skontroluje fps, robot_type a features oproti prvému v zozname a vyvolá chybu pri prvej nezhode.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referenčné hodnoty pochádzajú z akéhokoľvek datasetu, ktorý ste uviedli ako prvý, preto sa správa sťažuje na vašich 30 fps namiesto DROID-ových 15. Opravte fps a narazíte na kontrolu robot_type; opravte to a narazíte na kontrolu features, 7 proti 6 pre akciu. Žiadne poradie neprejde a rovnaká ochrana sa spúšťa v čase nahrávania prostredníctvom sanity_check_dataset_robot_compatibility.

Čo sa teda skutočne prenáša?

Váhy, nie epizódy. Každá moderná všeobecná politika absorbovala časť z toho v predtréningu, a keď z vydaného už to zdedíte zosúladené ľuďmi s výpočtovým výkonom na to, aby to urobili správne. Práca pi0 je úprimná o pomere: 9,1 percenta jej predtréningovej zmesi, počítané v časových krokoch, sú open-source dáta vrátane OXE, Bridge v2 a DROID. Toto číslo je pi0; zmes každého dodávateľa sa líši.

Preto SmolVLA sa správa inak na lacnom ramene. Jeho článok vyberá 481 komunitných dátových sád z Hugging Face, filtrovaných podľa typu stelesnenia, počtu epizód, kvality dát a pokrytia snímok: 22.9K epizód, 10.6M snímok, vyhodnotených na reálnych ramenách SO-100 a SO-101. Malé a zhodné prekonáva veľké a nezhodné. Porovnajte na ACT proti SmolVLA.

Tri cesty, ktoré sa oplatí zvážiť

Cesta A: doladenie z kontrolného bodu, ktorý už dáta spracoval

Väčšina ľudí by si mala zvoliť túto cestu. Nikdy sa nedotýkate DROID ani Open X-Embodiment: vyberte si politiku, ktorej predtréning už absorboval dáta naprieč stelesneniami, zaznamenajte si vlastné epizódy, dolaďte.

ACT je úprimný okrajový prípad: žiadny základný model, takže sa k nemu nikdy nedostanú žiadne verejné dáta. To nie je automaticky nevýhoda, pretože s 20 ms na akčný krok je jediným z piatich, ktorý dokáže uzavrieť rýchlu slučku, ako stránka ACT uvádza. Vyberte si podľa úlohy pomocou všetkých piatich porovnaných, GR00T N1.7 proti Pi0.5, a 332 výsledkov benchmarkov naprieč 85 modelmi v aréne.

Cesta B: použite DROID ako testovacie zariadenie

100-epizódová vzorka je najlepších 2 GB, ktoré si tento mesiac stiahnete, a nie je určená na trénovanie. Je to dátová sada, o ktorej viete, že je správna. Spustite na nej svoj konvertor, loader a krátku úlohu na GPU; čokoľvek, čo zlyhá, je chyba infraštruktúry nájdená, kým to bolo lacné. NVIDIA robí to isté vo veľkom: karta GR00T N1.7 uvádza štyri post-trénované varianty pre Bridge a Fractal v SimplerEnv, DROID a LIBERO.

Cesta C: nahrajte si vlastné, zámerne

Tridsať až päťdesiat znie málo vedľa 76 000, kým si nespomeniete, že vaše sú jediné s vašou rukou, vašimi kamerami a vaším stolom. Pri predvolených nastaveniach LeRobotu je 50 epizód 100 minút reálneho času. Pozrite si , and .

Dva spôsoby, ako sa dostať z verejných dát k funkčnej politike

Čo stojí každá cesta

Asymetria je kľúčová: cesta, ktorá si požičiava najviac dát, je najdrahšia a najmenej pravdepodobné, že pohne vašou rukou. Menej ako dve hodiny vašej vlastnej teleoperácie prekoná terabajt Franky niekoho iného. Ešte nemáte rameno? /live streamuje fyzický SO-100 bez registrácie. Potom natrénujte svoju prvú politiku, a SmolVLA na SO-100 pre konkrétneho sprievodcu.