Použití DROID, BridgeData V2 a Open X na SO-100

Na Google Cloud bucketu je veřejný dataset s milionem trajektorií a na stole, který stál 110 až 150 EUR v dílech. Proč první nemůže učit druhého? Částečně může, ale téměř žádný přenos se neděje tam, kde lidé očekávají, a část, která vypadá nejsnadněji, nefunguje vůbec.

Následuje: co je uvnitř , a , kde se každý střetává s nízkonákladovým 5-DoF ramenem, a co dělat místo toho. Každé číslo níže pochází z příslušného článku, karty datasetu nebo zdrojového souboru.

Co tyto tři datasety skutečně obsahují

DROID

Nejstandardizovanější ze tří. Jedna souprava všude: Franka Panda s chapadlem Robotiq 2F-85, dvě nastavitelné stereo kamery ZED 2 a ZED Mini na zápěstí, teleoperováno s ovladači Meta Quest 2, nahráváno přes Polymetis na 15 Hz v kloubovém i koncovém efektoru prostoru. Jazykové štítky přišly později přes tasq.ai, až tři na epizodu.

• 76k trajektorií, 350 hodin, 564 scén, 84 úloh, 50 sběračů na třech kontinentech.
• Hlavním výsledkem je ko-trénink, nikoli samostatný trénink: dávky smíchané 50/50 s ukázkami z domény překonaly další nejlepší metodu o 22 procent absolutního úspěchu v distribuci a 17 procent mimo ni.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 GB, 100-epizodní vzorek pro ladění se nachází na gs://gresearch/robotics/droid_100. Začněte tam.

BridgeData V2

Nejblíže k hobby sestavě: rameno WidowX 250 se 6 stupni volnosti, 60 096 trajektorií napříč 24 prostředími a 13 dovednostmi při 5 Hz. Všimněte si složení: 50 365 expertních teleoperovaných demonstrací plus 9 731 z randomizované skriptované politiky pick-and-place, takže asi 16 procent není lidská demonstrace, což je důležité pro učení napodobováním kvalitu. Běžné stažení, IPEC-COMMUNITY/bridge_orig_lerobot, uvádí 53 192 epizod a 1 893 026 snímků při 5 fps, robot_type widowx: méně než 60 096 uvedených v článku, takže čtěte počet z meta/info.json namísto citování jednoho z nich.

Open X-Embodiment

Nejedná se o datovou sadu v obvyklém smyslu: 60 existujících robotických datových sad ze 34 laboratoří bylo sloučeno do jedné kolekce RLDS pokrývající 22 provedení a přes milion trajektorií. BridgeData V2 je v ní obsažena jako bridge_orig; výřez google_robot, fractal20220817_data, se převádí na 87 212 epizod při 3 fps.

Sloučení s sebou nese výhradu, kterou článek výslovně uvádí. Pro experimenty RT-X autoři převádějí každý zdroj na akci koncového efektoru se 7 stupni volnosti (7-DoF), ale nesrovnávají souřadnicové systémy napříč datovými sadami a umožňují, aby hodnoty akcí byly absolutní nebo relativní pozice či rychlosti, podle původního řídicího schématu každého robota. Jejich závěr: stejný vektor akce může vyvolat velmi odlišné pohyby u různých robotů.

Nesoulad, ve čtyřech částech

Neshoda ztělesnění je obvykle považována za jeden vágní problém. Jsou to čtyři, selhávají různě a dva nelze opravit skriptováním.

1. Stupně volnosti

SO-100 má pět kloubů ramene plus chapadlo. Počítáno jako motory je to 6-DoF rameno, a článek SmolVLA to tak nazývá; počítáno jako polohovací mechanismus je to 5-DoF, a LeRobot to tak nazývá ve svém docstringu inverzní kinematiky, který popisuje IK s měkkou orientací na 5-DOF SO-101, kde zápěstí sleduje orientaci pouze částečně. Franka má sedm polohovacích kloubů. Tato mezera rozhoduje o tom, jaké pózy existují: 5-DoF rameno nemůže obecně dosáhnout libovolné pozice a orientace najednou, takže řešitel vrátí nejbližší možnou, což je jiný pohyb než ten demonstrovaný. Pozadí: stupně volnosti.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Hotový DROID checkpoint tedy není zkratkou. Physical Intelligence dodává pi05_droid na gs://openpi-assets/checkpoints/pi05_droid a stejný README, který chválí jeho šíři, varuje, že tyto expertní checkpointy se nemusí zobecnit na vaše nastavení. Jeho stav je osm čísel kloubů Franka a jeho klíče obrázků jsou exterior_image_1_left a wrist_image_left. Žádný flag to nepřemění na šestipohybový příkaz SO-100.

2. Co akční vektor skutečně říká

Hlouběji než dimenzionalita. V konverzích LeRobot všechny tři říkají, kam by měl jít chapadlo, v kartézském prostoru. SO-100 říká, kam by mělo jít šest servomotorů. Převod vyžaduje kinematický model a řešič, nikoli změnu tvaru.

LeRobot dodává chybějící díl: SO follower má kinematický procesor s kroky InverseKinematicsEEToJoints a ForwardKinematicsJointsToEE. Jeho klíče jsou ee.x, ee.y, ee.z plus rotační vektor ee.wx, ee.wy, ee.wz a ee.gripper_pos, takže i kódování orientace se liší od roll-pitch-yaw v souborech. Krok IK přijímá orientation_weight, výchozí hodnota 0.01, jehož docstring říká, že pro IK pouze na pozici u nedostatečně ovládaných ramen se má nastavit 0.0. Můžete postavit most, ale orientační polovina každé vypůjčené akce zůstává aproximována.

3. Řídicí frekvence

DROID je 15 Hz, BridgeData V2 5 Hz, výřez google_robot 3 fps; autoři pi0 popisují open-source část své směsi jako nízkofrekvenční řízení mezi 2 a 10 Hz. DatasetRecordConfig LeRobotu má výchozí hodnoty fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. Politika trénovaná na datech s frekvencí 5 Hz se naučila, že jedna akce pokrývá 200 ms. Přehrání při 30 Hz způsobí, že se rameno plazí; naivní převzorkování rozmaže snímek, kde se chapadlo zavírá. Špatně také interaguje s rozdělováním akcí na bloky: 100-krokový blok je 20 sekund při 5 Hz, 3.3 při 30 Hz.

4. Kamery

BridgeData V2 randomizovala dvě pozice kamer každých 50 trajektorií a její projektová stránka uvádí, že většina dat stejně obsahuje pouze pevný pohled. DROID používal nastavitelné držáky ZED 2 plus ZED Mini na zápěstí. Máte dvě USB webkamery umístěné od oka. Pozice kamery není rušivá proměnná pro ; je to velká část toho, na co se vizuální kodér zaměřil, a nic ve formátu souboru vám neřekne, že se pozice liší.

Co se stane, když se data přesto pokusíte sloučit

Zřejmý plán je zřetězit: několik tisíc epizod DROID plus vašich 50. LeRobot to odmítá a odmítnutí jmenuje tři věci, které se liší.

1. 1
   Stáhněte 100-epizodní vzorek, nikoli plných 1,7 TB

   2 GB stačí k zobrazení struktury.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Převeďte RLDS do formátu LeRobot

   openx2lerobot obaluje standardní transformace OXE a anotuje typ robota a řídicí frekvenci. Soubor README to uvádí v convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Před čímkoli jiným si přečtěte meta/info.json

   Tento soubor rozhoduje, zda zbytek vašeho dne bude fungovat.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Vyzkoušejte sloučení a přečtěte si chybu

   merge načte každou datovou sadu, poté validate_all_metadata zkontroluje fps, robot_type a features proti první v seznamu a vyvolá chybu při první neshodě.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referenční hodnoty pocházejí z datové sady, kterou jste uvedli jako první, proto si zpráva stěžuje na vašich 30 fps namísto DROIDových 15. Opravte fps a narazíte na kontrolu robot_type; opravte to a narazíte na kontrolu features, 7 proti 6 pro akci. Žádné pořadí neprojde a stejná ochrana se spouští v době záznamu prostřednictvím sanity_check_dataset_robot_compatibility.

Co se tedy skutečně přenáší?

Váhy, nikoli epizody. Každá moderní generalistická politika absorbovala část z toho v předtréninku, a když doladíte z vydaného kontrolního bodu zdědíte to již sladěné lidmi s výpočetním výkonem, aby to udělali správně. Článek pi0 je upřímný ohledně podílu: 9.1 procenta jeho předtréninkové směsi, počítáno v časových krocích, jsou open-source data včetně OXE, Bridge v2 a DROID. Toto číslo je pi0; směs každého dodavatele se liší.

Proto SmolVLA se chová jinak na nízkonákladovém rameni. Jeho článek vybírá 481 komunitních datových sad z Hugging Face, filtrovaných podle typu ztělesnění, počtu epizod, kvality dat a pokrytí snímků: 22.9K epizod, 10.6M snímků, vyhodnoceno na skutečných ramenech SO-100 a SO-101. Malé a sladěné poráží velké a nesladěné. Porovnejte na ACT proti SmolVLA.

Tři cesty, které stojí za to se vydat

Cesta A: jemné doladění z kontrolního bodu, který již data absorboval

Většina lidí by měla zvolit tuto. Nikdy se nedotýkáte DROID ani Open X-Embodiment: vyberte politiku, jejíž předtrénování již absorbovalo data napříč ztělesněními, nahrajte si vlastní epizody, jemně dolaďte.

ACT je upřímný okrajový případ: žádný základní model, takže se k němu nikdy nedostanou žádná veřejná data. To není automaticky nevýhoda, protože s 20 ms na akční krok je jediným z pěti, který dokáže uzavřít rychlou smyčku, jak stránka ACT uvádí. Vyberte podle úkolu pomocí všech pět porovnáno, GR00T N1.7 proti Pi0.5, a 332 výsledků benchmarků napříč 85 modely v aréně.

Cesta B: použijte DROID jako testovací zařízení

Vzorek 100 epizod je nejlepších 2 GB, které si tento měsíc stáhnete, a to ne pro trénink. Je to datová sada, o které víte, že je správná. Spusťte na ní svůj konvertor, zavaděč a krátkou úlohu na GPU; cokoli, co selže, je chyba infrastruktury nalezená, když to bylo levné. NVIDIA dělá totéž ve velkém: karta GR00T N1.7 uvádí čtyři varianty po tréninku, pro Bridge a Fractal v SimplerEnv, DROID a LIBERO.

Cesta C: zaznamenejte si vlastní, záměrně

Třicet až padesát zní málo vedle 76 000, dokud si nevzpomenete, že vaše jsou jediné s vaší paží, vašimi kamerami a vaším stolem. Při výchozím nastavení LeRobot je 50 epizod 100 minut reálného času. Viz , a .

Dva způsoby, jak se dostat od veřejných dat k funkční politice

Co stojí každá cesta

Asymetrie je klíčová: cesta, která si vypůjčuje nejvíce dat, je nejdražší a nejméně pravděpodobné, že pohne vaší paží. Méně než dvě hodiny vaší vlastní teleoperace porazí terabajt cizí Franky. Ještě nemáte rameno? /live streamuje fyzický SO-100 bez registrace. Poté natrénujte svou první politiku, a SmolVLA na SO-100 pro konkrétního průvodce.