Używanie DROID, BridgeData V2 i Open X na SO-100

Istnieje publiczny zbiór danych miliona trajektorii na zasobniku Google Cloud i SO-100 na biurku, który kosztował od 110 do 150 EUR w częściach. Dlaczego pierwszy nie może nauczyć drugiego? Częściowo może, ale prawie żaden transfer nie zachodzi tam, gdzie ludzie się spodziewają, a część, która wydaje się najłatwiejsza, w ogóle nie działa.

Poniżej: co znajduje się w DROID, BridgeData V2 i Open X-Embodiment, gdzie każdy z nich zderza się z tanim ramieniem 5-DoF, i co zrobić zamiast tego. Każda liczba poniżej pochodzi z artykułu, karty zbioru danych lub pliku źródłowego, do którego należy.

Co faktycznie zawierają te trzy zbiory danych

DROID

Najbardziej ustandaryzowany z trzech. Jeden zestaw wszędzie: Franka Panda z chwytakiem Robotiq 2F-85, dwie regulowane kamery stereo ZED 2 i ZED Mini na nadgarstku, teleoperowany za pomocą kontrolerów Meta Quest 2, nagrywany przez Polymetis z częstotliwością 15 Hz zarówno w przestrzeni stawowej, jak i efektora końcowego przestrzeni. Etykiety językowe pojawiły się później za pośrednictwem tasq.ai, do trzech na epizod.

• 76 tys. trajektorii, 350 godzin, 564 sceny, 84 zadania, 50 kolektorów na trzech kontynentach.
• Głównym wynikiem jest współtrening, a nie samodzielne trenowanie: partie zmieszane 50/50 z demonstracjami w domenie pokonały następną najlepszą metodę o 22 procent bezwzględnego sukcesu w dystrybucji i 17 procent poza nią.
• IPEC-COMMUNITY/droid_lerobot: 92 233 epizody, 27 044 326 klatek, franka, 15 fps, codebase_version v2.0, trzy strumienie AV1 w rozdzielczości 180x320, 392 GB.
• Próbka debugowania o rozmiarze 2 GB, zawierająca 100 epizodów, znajduje się pod adresem gs://gresearch/robotics/droid_100. Zacznij od niej.

BridgeData V2

Najbliżej konfiguracji hobbystycznej: ramię WidowX 250 6-DoF, 60 096 trajektorii w 24 środowiskach i 13 umiejętnościach przy 5 Hz. Zwróć uwagę na skład: 50 365 eksperckich demonstracji teleoperowanych plus 9 731 z losowo skryptowanej polityki podnoszenia i umieszczania, więc około 16 procent nie stanowi demonstracji ludzkich, co ma znaczenie dla uczenia przez naśladowanie jakości. Zwykłe pobranie, IPEC-COMMUNITY/bridge_orig_lerobot, zgłasza 53 192 epizody i 1 893 026 klatek przy 5 fps, robot_type widowx: mniej niż 60 096 z artykułu, więc odczytaj liczbę z meta/info.json zamiast cytować którąkolwiek z nich.

Open X-Embodiment

Nie jest to zbiór danych w tym samym sensie: 60 istniejących zbiorów danych robotów z 34 laboratoriów połączonych w jedną kolekcję RLDS, obejmującą 22 implementacje i ponad milion trajektorii. BridgeData V2 znajduje się w niej jako bridge_orig; wycinek google_robot, fractal20220817_data, konwertuje się na 87 212 epizodów przy 3 fps.

Połączenie to wiąże się z zastrzeżeniem, które artykuł jasno określa. W eksperymentach RT-X autorzy konwertują każde źródło na akcję efektora końcowego 7-DoF, ale nie wyrównują układów współrzędnych między zbiorami danych i pozwalają, aby wartości akcji były pozycjami lub prędkościami absolutnymi lub względnymi, zgodnie z oryginalnym schematem sterowania każdego robota. Ich wniosek: ten sam wektor akcji może wywoływać bardzo różne ruchy dla różnych robotów.

Niezgodność, w czterech częściach

Niezgodność ucieleśnienia jest zazwyczaj traktowana jako jeden niejasny problem. Jest ich cztery, psują się inaczej, a dwóch nie da się naprawić skryptowaniem.

1. Stopnie swobody

SO-100 ma pięć przegubów ramienia plus chwytak. Licząc jako silniki, jest to ramię 6-DoF, i tak nazywa je artykuł SmolVLA; licząc jako mechanizm pozycjonujący, jest to 5-DoF, i tak nazywa je LeRobot w swoim docstringu kinematyki odwrotnej, który opisuje IK z miękką orientacją na 5-DOF SO-101, gdzie nadgarstek śledzi orientację tylko częściowo. Franka ma siedem przegubów pozycjonujących. Ta różnica decyduje o tym, jakie pozy istnieją: ramię 5-DoF nie może zazwyczaj osiągnąć jednocześnie dowolnej pozycji i orientacji, więc solver zwraca najbliższą możliwą, ruch inny niż zademonstrowany. Tło: stopnie swobody.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Zatem gotowy punkt kontrolny DROID nie jest skrótem. Physical Intelligence dostarcza pi05_droid pod adresem gs://openpi-assets/checkpoints/pi05_droid, a ten sam plik README, który chwali jego szeroki zakres, ostrzega, że te eksperckie punkty kontrolne mogą nie uogólniać się do Twojej konfiguracji. Jego stan to osiem numerów stawów Franka, a klucze obrazów to exterior_image_1_left i wrist_image_left. Żadna flaga nie zamienia tego w sześciomotorowe polecenie SO-100.

2. Co faktycznie mówi wektor akcji

Głębiej niż wymiarowość. W konwersjach LeRobot wszystkie trzy mówią, gdzie powinien iść chwytak, w przestrzeni kartezjańskiej. SO-100 mówi, gdzie powinno iść sześć serwomechanizmów. Konwersja wymaga modelu kinematycznego i solwera, a nie zmiany kształtu.

LeRobot dostarcza brakujący element: moduł SO follower posiada procesor kinematyki z krokami InverseKinematicsEEToJoints i ForwardKinematicsJointsToEE. Jego klucze to ee.x, ee.y, ee.z plus wektor rotacji ee.wx, ee.wy, ee.wz i ee.gripper_pos, więc nawet kodowanie orientacji różni się od roll-pitch-yaw w plikach. Krok IK przyjmuje orientation_weight, domyślnie 0.01, którego docstring mówi, aby ustawić 0.0 dla IK tylko pozycyjnego na ramionach niedostatecznie sterowanych. Możesz zbudować most, ale połowa orientacji każdej pożyczonej akcji pozostaje przybliżona.

3. Częstotliwość sterowania

DROID działa z częstotliwością 15 Hz, BridgeData V2 5 Hz, wycinek google_robot 3 fps; autorzy pi0 opisują otwartą część swojej mieszanki jako sterowanie niskiej częstotliwości między 2 a 10 Hz. DatasetRecordConfig LeRobot domyślnie ustawia fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. A wytrenowana na danych 5 Hz nauczyła się, że jedna akcja obejmuje 200 ms. Odtwórz to z częstotliwością 30 Hz, a ramię będzie się czołgać; naiwnie resampluj, a rozmyjesz klatkę, w której chwytak się zamyka. Źle współdziała również z : 100-krokowy fragment to 20 sekund przy 5 Hz, 3.3 przy 30 Hz.

4. Kamery

BridgeData V2 losowo ustawiało dwie pozycje kamery co 50 trajektorii, a strona projektu zauważa, że większość danych i tak zawiera tylko stały widok. DROID używał regulowanych mocowań ZED 2 oraz nadgarstkowego ZED Mini. Masz dwie kamery internetowe USB ustawione na oko. Pozycja kamery nie jest zmienną uciążliwą dla ; jest to w dużej mierze to, na czym opierał się koder wizualny, a nic w formacie pliku nie wskazuje na to, że pozycje się różnią.

Co się dzieje, gdy mimo wszystko próbujesz połączyć dane

Oczywisty plan to konkatenacja: kilka tysięcy epizodów DROID plus twoje 50. LeRobot odmawia, a odmowa wymienia trzy rzeczy, które się różnią.

1. 1
   Pobierz 100-epizodową próbkę, nie pełne 1.7 TB

   2 GB wystarczy, aby zobaczyć strukturę.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   Konwertuj RLDS do formatu LeRobot

   openx2lerobot opakowuje standardowe transformacje OXE i dodaje adnotacje dotyczące typu robota oraz częstotliwości sterowania. Plik README umieszcza to w convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Przeczytaj meta/info.json przed czymkolwiek innym

   Ten plik decyduje, czy reszta twojego dnia będzie działać.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Wypróbuj scalanie i przeczytaj błąd

   merge ładuje każdy zbiór danych, a następnie validate_all_metadata sprawdza fps, robot_type i features w porównaniu z pierwszym na liście, zgłaszając błąd przy pierwszym niedopasowaniu.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Wartości referencyjne pochodzą z tego zbioru danych, który wymieniłeś jako pierwszy, dlatego komunikat narzeka na twoje 30 fps, a nie na 15 fps DROID. Napraw fps, a trafisz na sprawdzenie robot_type; napraw to, a trafisz na sprawdzenie features, 7 przeciwko 6 dla akcji. Żadne uporządkowanie nie przechodzi, a ta sama ochrona działa w czasie nagrywania poprzez sanity_check_dataset_robot_compatibility.

Więc co właściwie się przenosi?

Wagi, nie epizody. Każda nowoczesna polityka ogólna zaabsorbowała część tego w fazie wstępnego trenowania, a kiedy z wydanego dziedziczysz to już uzgodnione przez osoby posiadające odpowiednią moc obliczeniową, aby zrobić to prawidłowo. Artykuł pi0 otwarcie mówi o proporcji: 9.1 procenta jego mieszanki wstępnego trenowania, liczonej w krokach czasowych, to dane open-source, w tym OXE, Bridge v2 i DROID. Ta liczba dotyczy pi0; mieszanka każdego dostawcy się różni.

Dlatego SmolVLA zachowuje się inaczej na ramieniu niskobudżetowym. Jego artykuł wybiera 481 zestawów danych społecznościowych z Hugging Face, filtrowanych według typu ucieleśnienia, liczby epizodów, jakości danych i pokrycia klatek: 22,9 tys. epizodów, 10,6 mln klatek, ocenionych na prawdziwych ramionach SO-100 i SO-101. Małe i dopasowane przewyższa duże i niedopasowane. Porównaj na ACT kontra SmolVLA.

Trzy ścieżki warte podjęcia

Ścieżka A: dostrajanie z punktu kontrolnego, który już przyswoił dane

Większość ludzi powinna wybrać tę ścieżkę. Nigdy nie dotykasz DROID ani Open X-Embodiment: wybierz politykę, której wstępne szkolenie już przyswoiło dane dotyczące różnych ucieleśnień, nagraj własne epizody, dostrój.

ACT to uczciwy przypadek brzegowy: brak modelu bazowego, więc żadne dane publiczne nigdy do niego nie docierają. Nie jest to automatycznie wada, ponieważ przy 20 ms na krok akcji jest to jedyny z pięciu, który może zamknąć szybką pętlę, jak strona ACT, przedstawia. Wybierz według zadania, używając wszystkie pięć porównanych, GR00T N1.7 kontra Pi0.5, oraz 332 wyniki benchmarków dla 85 modeli w arena.

Ścieżka B: użyj DROID jako osprzętu testowego

100-epizodyczna próbka to najlepsze 2 GB, jakie pobierzesz w tym miesiącu, i nie służy do trenowania. Jest to zbiór danych, o którym wiesz, że jest poprawny. Uruchom na nim swój konwerter, ładowarkę i krótkie zadanie GPU; wszystko, co zawiedzie, to błąd infrastruktury znaleziony, gdy było to tanie. NVIDIA robi to samo na dużą skalę: karta GR00T N1.7 wymienia cztery warianty po trenowaniu, dla Bridge i Fractal w SimplerEnv, DROID i LIBERO.

Ścieżka C: nagraj własne, celowo

Trzydzieści do pięćdziesięciu brzmi mało w porównaniu do 76 000, dopóki nie przypomnisz sobie, że Twoje są jedynymi z Twoim ramieniem, Twoimi kamerami i Twoim stołem. Przy domyślnych ustawieniach LeRobot, 50 epizodów to 100 minut czasu zegarowego. Zobacz , i .

Dwa sposoby na przejście od danych publicznych do działającej polityki

Ile kosztuje każda ścieżka

Asymetria jest kluczowa: ścieżka, która pożycza najwięcej danych, jest najdroższa i najmniej prawdopodobna, aby poruszyć twoim ramieniem. Mniej niż dwie godziny twojej własnej teleoperacji jest lepsze niż terabajt Franki kogoś innego. Nie masz jeszcze ramienia? /live transmituje fizyczny SO-100 bez rejestracji. Następnie trenuj swoją pierwszą politykę, a także SmolVLA na SO-100 dla konkretnego przewodnika.