Dane syntetyczne dla polityk robotów: Gdzie symulacja pomaga

Co kilka miesięcy ktoś dochodzi do wniosku, że nagrywanie pięćdziesięciu epizodów ręcznie jest powolne i pyta, czy symulator mógłby je zamiast tego produkować. To słuszne pytanie. Szczera odpowiedź składa się z trzech części: generowane dane pomagają, nie zastępują prawdziwych nagrań, a stosunek między tymi dwoma faktami zależy całkowicie od rodzaju danych syntetycznych, o które chodzi.

Ta strona przedstawia, co faktycznie zmierzono w opublikowanych pracach, co można dziś uruchomić na tanim ramieniu, takim jak SO-100, oraz gdzie luka między symulacją a rzeczywistością niweczy zyski. Krótka wersja, przed szczegółami: systemy, które raportują największe mnożniki, mnożą niewielki zestaw rzeczywistych demonstracji ludzkich. Nie eliminują one potrzeby ich istnienia.

Cztery różne rzeczy nazywane są danymi syntetycznymi

Zanim porównamy liczby, warto rozdzielić rodziny, ponieważ artykuł donoszący o 100-krotnym mnożniku i artykuł donoszący o 5-punktowym wzroście sukcesu często opisują ten sam potok z różnych perspektyw. Wspólnym wątkiem jest to, że coś w zbiorze danych LeRobot zostało wyprodukowane przez maszynę, a nie nagrane z fizycznego ramienia. Różni się to, która część.

Tylko pierwsze trzy to dane syntetyczne w rozumieniu tego artykułu. Czwarte warto wspomnieć, ponieważ jest ono włączane do tej samej rozmowy i jest zdecydowanie najtańszą rzeczą na liście. Jeśli jeszcze nie włączyłeś augmentacji, z którymi dostarczany jest twój trener, zrób to, zanim zainstalujesz symulator.

Co faktycznie mówią opublikowane liczby

Oto baza dowodów, z liczbami takimi, jak podają je źródła, a nie jak podsumowują je komunikaty prasowe. Każdy wiersz poniżej pochodzi z artykułu lub strony projektu przeczytanej 23 sierpnia 2026 roku.

Wzór we wszystkich rzetelnych ablacjach jest ten sam. Dane syntetyczne tanio poszerzają zasięg. Nie tworzą one informacji o twoim chwytaku, ugięciu serwa, oświetleniu czy wysokości stołu, których nie było gdzieś w rzeczywistych demonstracjach. Jeśli twoja polityka zawodzi, ponieważ efektor końcowy zamyka się pół sekundy za późno, żadna ilość symulowanych wariacji tego nie naprawi. To jest problem z synchronizacją chwytaka w rzeczywistych nagraniach.

Jedno odkrycie MimicGen warto wziąć pod uwagę podczas własnych sesji nagraniowych, ponieważ jest sprzeczne z typowymi radami. Projekt wygenerował dwa zbiory danych na Square D2, jeden z 10 demonstracjami od operatora ludzkiego o lepszej jakości i jeden z 10 demonstracjami od operatora o gorszej jakości, oba pochodzące ze zbioru danych robomimic multi-human Square. Polityki wytrenowane na każdym z nich osiągnęły porównywalne wyniki, co autorzy odczytali jako znak, że w reżimie danych na dużą skalę jakość danych może nie mieć aż tak dużego znaczenia. Czytając uważnie, jest to stwierdzenie dotyczące dziesięciu demonstracji początkowych, a nie pięćdziesięciu rzeczywistych epizodów. Oznacza to, że nieco niedoskonały zestaw początkowy nie jest tym, co stoi między tobą a użytecznym wygenerowanym zbiorem danych. Nie oznacza to, że rzeczywiste epizody, na których współtrenujesz, mogą być niedoskonałe, ponieważ to one niosą informacje, których symulator nie posiada.

Luka sim-to-real, konkretnie

Luka jest zazwyczaj omawiana jako pojedyncza wielkość, co jest niepomocne. To co najmniej pięć oddzielnych niedopasowań, a ich rozmiary różnią się w przypadku ramienia hobbystycznego o wartości 110 do 150 EUR w porównaniu do ramienia Franka.

• Kontakt i tarcie. Isaac Lab jasno stwierdza, że przy tym samym sprzęcie oraz tej samej wersji Isaac Sim i PhysX symulacja jest odtwarzalna, ale wyniki różnią się w zależności od konfiguracji sprzętowych z powodu precyzji zmiennoprzecinkowej i błędów zaokrągleń, a PhysX nie gwarantuje determinizmu dla żadnej sceny z ciałami nieelastycznymi, takimi jak tkaniny czy ciała miękkie.
• Aktywacja. Serwo magistrali Feetech STS3215 działające przy 7.4 V ugina się pod obciążeniem, ma luz i zmienia zachowanie w miarę nagrzewania. Model MJCF dla SO-101 zapożycza parametry silnika z niepowiązanego projektu, zamiast identyfikować je na twoim ramieniu.
• Renderowanie. Szum kamery, migawka rolująca, automatyczna ekspozycja i dokładny odcień twojego stołu nie są uwzględnione w renderze. To jest ta połowa luki, którą Cosmos-Transfer1 został zbudowany, aby zamknąć: jego przepływ pracy augmentacji robotyki mapuje jeden syntetyczny przykład robotyki na wiele realistycznych przykładów z segmentacji, głębi lub warunkowania krawędzi.
• Synchronizacja. Symulator wykonuje kroki ze stałą szybkością. Prawdziwa pętla sterowania nie, a sam model kosztuje od 20 do 485 ms na krok akcji, w zależności od wybranego. Zobacz opóźnienie wnioskowania.
• Statystyki obiektów. Symulowane sceny są próbkowane z rozkładu, który ktoś zapisał. Twój stół kuchenny nie.

Co symulowany SO-100 faktycznie wie o twoim ramieniu

To jest część, która decyduje, czy cokolwiek z powyższego jest warte twojego weekendu, a pierwszą niespodzianką jest to, że SO-100 i SO-101 nie są obsługiwane w równym stopniu. Repozytorium SO-ARM100 TheRobotStudio przechowuje swoje zasoby symulacyjne pod Simulation/. Folder SO100 zawiera pojedynczy plik URDF i nic więcej. Folder SO101 zawiera zarówno pliki URDF, jak i MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, pasujące pliki URDF oraz joints_properties.xml. Jeśli chcesz model fizyczny, a nie łańcuch kinematyczny, potrzebujesz plików SO-101.

Zostały wygenerowane za pomocą wtyczki onshape-to-robot z modelu CAD zaprojektowanego w Onshape, co oznacza, że kinematyka i siatki wizualne są tak dobre, jak sam CAD. Dynamika to inna historia, a plik README repozytorium otwarcie mówi o trzech rzeczach. Bazowe siatki kolizji zostały usunięte z powodu problematycznego zachowania kolizyjnego podczas symulacji i planowania. Właściwości silnika STS3215 są zaadaptowane z projektu Open Duck Mini, a nie zmierzone na SO-101. A konwencja chwytaka LeRobot, gdzie 0 oznacza pełne zamknięcie, a 100 pełne otwarcie, nie jest jeszcze wyraźnie odzwierciedlona w plikach URDF i MuJoCo. Każdy z tych punktów to miejsce, gdzie polityka wytrenowana wyłącznie w tym modelu będzie zachowywać się inaczej na Twoim biurku.

Randomizacja domeny i czego nie naprawia

Standardową odpowiedzią na tę lukę jest zaprzestanie prób dopasowywania się do rzeczywistości i zamiast tego trenowanie w oparciu o wystarczająco szeroki rozkład, aby rzeczywistość się w nim mieściła. Tobin i współpracownicy pokazali silną wersję tego w 2017 roku: detektor obiektów wytrenowany wyłącznie na symulowanych obrazach z nierealistycznymi losowymi teksturami, bez żadnego wstępnego trenowania na prawdziwych obrazach, lokalizował rzeczywiste obiekty z dokładnością do 1.5 cm i pozostawał odporny na dystraktory i częściowe zasłonięcia.

Isaac Lab przedstawia tę samą ideę co terminy zdarzeń, które dołączasz do konfiguracji środowiska. Są to pokrętła, według ich rzeczywistych nazw funkcji w isaaclab.envs.mdp, więc możesz je przeczytać, zamiast zgadywać.

Oto limit, i to jest ten, na który ludzie się natykają. Randomizacja poszerza rozkład, który polityka widziała w zbudowanym przez Ciebie modelu. Nie może wprowadzić efektu fizycznego, którego symulator nie reprezentuje. Jeśli PhysX nie modeluje luzu i spadku termicznego Twoich serw STS3215, randomizacja ich sztywności niczego nie nauczy polityki o luzie. Dlatego ramię, które pod polityką wytrenowaną w symulacji nie jest problemem budżetu randomizacji. Jest to problem modelowania.

Ścieżka manualna: generowanie danych w Isaac Lab

Isaac Gym to oprogramowanie starszej generacji. Własna strona NVIDIA nosi nagłówek „Isaac Gym - Now Deprecated” i informuje, że deweloperzy mogą je pobierać i nadal używać, ale nie jest już wspierane, wskazując zamiast tego na Isaac Lab. Jeśli interesuje Cię historia, opisaliśmy oba: oraz . W przypadku nowych projektów w 2026 roku, zacznij od Isaac Lab.

1. 1
   Zainstaluj Isaac Sim i Isaac Lab

   Strona instalacji pip informuje, że instrukcje dotyczą Isaac Sim 5.X, który wymaga Pythona 3.11. Klonowanie źródła dostarcza skrypty potrzebne w kolejnych krokach.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Nagraj około dziesięciu demonstracji wykonanych przez człowieka

   Dokumentacja Isaac Lab jest precyzyjna: do pomyślnego wykonania kolejnych kroków wymaganych jest około 10 udanych demonstracji. Jej wskazówki są równie konkretne. Utrzymuj demonstracje krótkie, wybieraj bezpośrednią ścieżkę zamiast poruszania się wzdłuż dowolnych osi i nie rób przerw, ponieważ dla polityki nie jest oczywiste, dlaczego i kiedy należy się zatrzymać.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Adnotuj granice podzadań

   Mimic dzieli demonstracje wejściowe na podzadania, aby móc ponownie synchronizować i ponownie targetować segmenty. Flaga --auto wykonuje to bez udziału człowieka w przypadku zadań, które definiują automatyczną adnotację; bez niej pauzujesz klawiszem B, kontynuujesz klawiszem N i zaznaczasz granicę klawiszem S. Zauważ, że identyfikator zadania otrzymuje sufiks -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Wygeneruj pomnożony zbiór danych

   To jest krok, który zamienia 10 w 1000. Mimic stosuje boolowe kryterium sukcesu do każdego kandydata i zachowuje tylko te, które ukończyły zadanie, więc liczba wyników jest niższa niż liczba prób. Dokumentacja podaje, że wskaźnik sukcesu kandydata wynosi do 70 procent w prostych przypadkach i poniżej 1 procenta dla trudnych zadań i złożonych robotów: około 50 procent dla układania kostek przez Frankę i od 65 do 80 procent dla GR1T2 pick and place, gdzie 1000 demonstracji zajmuje od 18 do 40 minut (19 minut na RTX ADA 6000 przy 80 procentach).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konwertuj HDF5 na zbiór danych LeRobot

   Wszystko powyższe generuje HDF5 w formacie robomimic, a rdzeń Isaac Lab nie zawiera własnego konwertera LeRobot: jego dokumentacja jedynie stwierdza, że można przekonwertować wygenerowany zbiór danych do formatu LeRobot. Dwa projekty dostarczają rzeczywisty konwerter. IsaacLab-Arena dostarcza konwerter ukierunkowany na GR00T, sterowany w całości przez konfigurację YAML, a LeIsaac dostarcza własną parę dla trasy SO-101 (patrz poniżej).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Dlaczego próby generowania kończą się niepowodzeniem i co zmienić

Współczynnik sukcesu kandydata, który waha się między 70 procent a poniżej 1 procent, nie jest tajemnicą, a Isaac Lab dokumentuje typowe pułapki, zamiast pozostawiać Cię w domysłach. Każda z nich to coś, co kontrolujesz w czasie nagrywania, dlatego warto przeczytać tę listę przed nagraniem dziesięciu demonstracji początkowych, a nie po pierwszym rozczarowującym uruchomieniu generowania.

• Demonstracje są zbyt długie. Dłuższy horyzont czasowy jest trudniejszy do nauczenia dla polityki. Zacznij blisko pierwszego obiektu i zminimalizuj ruch.
• Demonstracje nie są płynne. Nieregularny ruch jest trudny do rozszyfrowania dla polityki, a lepszy sprzęt do teleoperacji dostarcza lepszych danych: dokumentacja jasno stwierdza, że SpaceMouse jest lepszy od klawiatury.
• Pauzy. Pauzy są trudne do nauczenia, ponieważ dla polityki nie jest oczywiste, dlaczego i kiedy należy pauzować. Utrzymuj płynny ruch.
• Zbyt wiele podzadań. Więcej podzadań oznacza więcej łączenia segmentów trajektorii, co skutkuje mniej płynnym ruchem i niższym współczynnikiem sukcesu generowania. Oznacz granice, gdzie ramię raczej nie zderzy się z niczym.
• Brak szumu akcji. Szum akcji sprawia, że wynikowe polityki są bardziej odporne.
• Nagranie przycięte zbyt ciasno. Jeśli nagranie zatrzymuje się dokładnie w klatce, w której wyzwala się warunek sukcesu, może nie wyzwolić się ponownie podczas odtwarzania. Pozostaw bufor na końcu.
• Niedeterministyczne odtwarzanie. Fizyka w Isaac Lab nie jest deterministycznie odtwarzalna po env.reset, więc niektóre demonstracje ludzkie zawodzą podczas odtwarzania. Zbierz więcej niż potrzebujesz i zachowaj te, które przetrwają adnotację. Wszystko, co znajdzie się w pliku HDF5 wygenerowanym przez Mimic, jest udaną demonstracją i może być użyte do treningu, nawet jeśli odtwarzanie później zawiedzie.

Krok interpolacji między połączonymi segmentami podzadań ma własne pokrętło strojenia, a liczba potrzebnych kroków interpolacji zależy od tego, jak szybko porusza się robot i jak szeroki jest rozkład resetowania obiektów. Złożone zadanie z dużym rozkładem resetowania pozostawia większe luki między segmentami, co wymaga więcej kroków interpolacji, aby uzyskać ciągły ruch. Jeśli wygenerowane filmy pokazują, że ramię szarpie się między fazami, to jest to parametr, na który należy zwrócić uwagę, zanim obwinisz demonstracje początkowe.

Ta sama linia produkcyjna na SO-101, z prawdziwym ramieniem wiodącym

To jest interesujące dla każdego, kto czyta tę stronę, ponieważ jest to jedyny otwarty potok, który umieszcza wewnątrz Isaac Lab i pozwala sterować nim za pomocą fizycznego ramienia prowadzącego, które już posiadasz. LeIsaac, w wersji 0.4.0 w momencie pisania, to oficjalne środowisko symulacyjne do nauki przez imitację, zintegrowane z EnvHub LeRobota. Jego tabela kompatybilności wymienia trzy działające kombinacje; najnowsza łączy Isaac Sim 5.1 z Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 i Python 3.11, a dokumentacja zaleca Isaac Sim 5.0 lub nowszy dla kart z serii 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Po zainstalowaniu, ramię prowadzące na /dev/ttyACM0 steruje symulowanym ramieniem podążającym i nagrywa bezpośrednio do HDF5. jest taka sama, jaką znasz z rzeczywistego nagrywania, z tą różnicą, że ramię podążające jest ciałem sztywnym w PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Większość z tych identyfikatorów istnieje również jako -Direct-v0 wariant, a python scripts/environments/list_envs.py wyświetla aktualną listę. Możesz również całkowicie pominąć objazd HDF5 i zapisać format LeRobot podczas teleoperacji, dodając trzy flagi. Dwa zastrzeżenia pochodzą z samej dokumentacji: rejestrator automatycznie pomija pierwsze 5 klatek każdego epizodu, aby uniknąć niestabilności stanów początkowych, i może powodować niewielkie opóźnienia w teleoperacji, co jest dokładnie tym, co po cichu zmienia charakter twoich demonstracji. Spłukuje również epizody tylko wtedy, gdy zadanie zostało oznaczone jako zakończone sukcesem.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Krok mnożenia jest następnie uruchamiany na tych nagraniach. LeIsaac opakowuje Isaac Lab Mimic w cztery polecenia, ponieważ Mimic uogólnia trajektorie z pozycji efektora końcowego i obiektu: konwertuje akcje w przestrzeni stawów na akcje oparte na IK, adnotuje, generuje, a następnie konwertuje z powrotem do przestrzeni stawów.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Następnie przekonwertuj na LeRobot. To jest krok, w którym zasady formatowania platformy stają się istotne, a LeIsaac dostarcza dokładnie dwa konwertery, których potrzebujesz: isaaclab2lerobot.py zapisuje LeRobot v2, który jest formatem akceptowanym przez loadery GR00T, oraz isaaclab2lerobotv3.py zapisuje v3 dla Pi0.5, SmolVLA i ACT. Oba skrypty przyjmują identyczne argumenty, ale przypisują różne wersje lerobot, a konwertowane są tylko udane epizody.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dwie ścieżki do wytrenowanej polityki

Modele świata wideo: najnowsza warstwa i najmniej zmierzona

Ideą DreamGen jest to, że generatywny model wideo, dostosowany do docelowego wcielenia robota, może wyobrażać sobie wiarygodne epizody w scenach, których nigdy nie odwiedziłeś. Potok ma cztery etapy: dostrojenie modelu świata wideo, generowanie fotorealistycznych syntetycznych filmów robotów, odzyskiwanie sekwencji pseudo-akcji za pomocą modelu akcji latentnych lub modelu dynamiki odwrotnej, a następnie trenowanie polityki robota na podstawie wyniku. Repozytorium GR00T-dreams firmy NVIDIA implementuje dokładnie to.

Główny wynik jest rzeczywisty i wart poważnego potraktowania: dane z teleoperacji z tylko jednego zadania typu 'chwytaj i umieszczaj' w jednym środowisku wygenerowały 22 nowe zachowania na humanoidalnym robocie, zarówno w środowiskach widzianych, jak i niewidzianych. Zastrzeżenie jest równie realne i znajduje się na trzecim etapie.

Wspólne trenowanie to przepis, który faktycznie przynosi zyski

Jeśli wyciągniesz jedną lekcję operacyjną z literatury, niech będzie to ta. Badanie współtreningu symulacyjno-rzeczywistego (Maddukuri i współpracownicy, 2025) miało na celu znalezienie prostej recepty na wykorzystanie danych symulacyjnych do rozwiązywania zadań manipulacji robotycznej opartych na wizji, w dwóch domenach: ramienia robota i humanoida, a jego konkluzja jest taka, że trenuje się na mieszance. Dane symulacyjne poprawiły wydajność zadań w świecie rzeczywistym średnio o 38 procent, a artykuł wyraźnie stwierdza, że dotyczyło to nawet znaczących różnic między danymi symulacyjnymi a danymi ze świata rzeczywistego.

Ta ostatnia klauzula ma większe znaczenie niż 38 procent. Oznacza to, że symulacja nie musi być idealnym cyfrowym bliźniakiem, aby była użyteczna, pod warunkiem, że rzeczywiste dane są w mieszance, aby ją zakotwiczyć. Transfer tylko z symulacji jest drogą kosztowną: ten sam artykuł stwierdza, że trenowanie polityki wyłącznie w symulacji i przenoszenie jej do świata rzeczywistego często wymaga znacznego wysiłku ludzkiego, aby zniwelować lukę rzeczywistości. Współtrening pomija większość tego wysiłku, nigdy nie prosząc polityki o samodzielne zniwelowanie luki.

Praktycznie, na tej platformie, współtrening oznacza jedno: umieść oba zestawy epizodów w tym samym zbiorze danych LeRobot z jednolitymi kluczami kamer, jednolitym porządkiem połączeń i jednolitymi jednostkami, a następnie uruchom normalne dostrajanie. W formularzu treningowym nie ma pokrętła wagi mieszanki. Jeśli chcesz stosunek symulacji do rzeczywistości 3:1, wyrażasz to poprzez liczbę epizodów każdego typu, które umieszczasz w zbiorze danych.

Najtańsza korzyść z symulacji to nie dane treningowe

To ewaluacja. Przeprowadzanie dziesiątek rzeczywistych prób na zadanie w celu porównania dwóch to dzień pracy ramienia, a ramię dryfuje między próbami. SIMPLER (Li i współpracownicy, 2024) stworzył środowiska symulacyjne, których celem jest ocenianie rzeczywistych polityk, a nie ich trenowanie, a następnie zmierzył, jak dobrze ranking symulacyjny przewiduje ten rzeczywisty. Pojedyncze środowisko SIMPLER renderuje 3500 kroków symulacji na sekundę na konsumenckiej karcie RTX 4090 w rozdzielczości 640 na 512, co przy częstotliwości symulacji 500 Hz oznacza 7-krotne przyspieszenie w porównaniu do rzeczywistej ewaluacji.

Są to średnie z trzech grup zadań Google Robot dla sześciu popularnych punktów kontrolnych open-source: trzech punktów kontrolnych RT-1 na różnych etapach treningu, RT-1-X, RT-2-X i Octo-Base. Strona rzeczywista nie ma jednolitej liczby prób, co warto wiedzieć, zanim się na nią powołasz: 75 prób dla podniesienia puszki coli, 60 dla przesunięcia w pobliże, 54 dla zadań otwierania i zamykania szuflady oraz 27 dla dłuższego zadania z szufladą i jabłkiem. Porównanie z MSE walidacji jest użyteczną częścią. Wybór modelu na podstawie straty walidacyjnej źle ocenia te punkty kontrolne, a współczynnik korelacji Pearsona r wynoszący 0.924 przy dopasowaniu wizualnym oznacza, że jeśli punkt kontrolny osiąga lepszy wynik w SIMPLER, to bardzo prawdopodobnie osiągnie lepszy wynik w rzeczywistości. To powtarzalna tablica wyników dostępna z dnia na dzień, która nie wymaga wiary w transfer treningowy z symulacji do rzeczywistości.

Jeśli chcesz szerszego kontekstu na temat tego, co te liczby benchmarków mówią, a czego nie mówią o , opisaliśmy to oddzielnie w .

W czym ta platforma Ci nie pomoże

Jasne określenie granic oszczędza wszystkim czas. AY-Robots to platforma do nagrywania, trenowania i udostępniania. Nie zawiera symulatora.

• Brak Isaac Lab, MimicGen, modelu świata, tworzenia scen. Jeśli chcesz wygenerowane dane, generujesz je gdzie indziej i przynosisz wynik.
• Trenerzy konsumują wyłącznie zbiory danych LeRobot. Eksport z symulatora musi zostać przekonwertowany, zanim stanie się danymi wejściowymi, i musi to być właściwa wersja: v2.0 lub v2.1 dla GR00T N1.5 i N1.7, v3.0 dla Pi0.5, SmolVLA i ACT.
• Punkt wejścia do dostrajania GR00T to CLI tyro, które nie udostępnia ziarna, więc uruchomienia GR00T nie są odtwarzalne bit po bicie. Jeśli przeprowadzasz dokładną ablację symulacja kontra rzeczywistość, jest to prawdziwe ograniczenie. Domyślne ziarno lerobot to 1000, a formy ACT, SmolVLA i Pi0.5 udostępniają pole ziarna.
• Akumulacja gradientu jest faktycznie stosowana tylko dla dwóch trenerów GR00T. Dla Pi0.5 i SmolVLA pole istnieje w formie, ale lerobot 0.5.1 nie ma takiej flagi, więc nic nie robi.
• Inferencja musi znajdować się obok serwomechanizmów dla szybkich zadań. Pętla sterowania wynosi od 20 do 485 ms na krok akcji w zależności od modelu, a dodanie rund publicznego internetu zamienia działającą politykę w niepewną. Zdalna inferencja jest wykonalna dla wolnego podnoszenia i odkładania, nie dla szybkiego ruchu reaktywnego.

Budżet, którego możesz bronić

Porównaj te dwie ścieżki z liczbami, które każda z nich faktycznie publikuje, a decyzja zazwyczaj podejmuje się sama dla projektu jednowątkowego na tanim ramieniu.

Dla pierwszej polityki na SO-100, nagrywaj. oraz doprowadzą Cię do gotowego punktu kontrolnego za cenę kawy, a będziesz mieć rzeczywistą część każdej przyszłej mieszanki do wspólnego szkolenia. Sięgnij po symulator, gdy masz działającą bazę i konkretną, nazwaną awarię generalizacji, taką jak polityka, która .

Przepis, który szanuje dowody

1. 1
   Najpierw nagraj rzeczywistą linię bazową

   30 epizodów dla SmolVLA, 50 dla ACT, GR00T N1.7 i Pi0.5. Trenuj raz. Cokolwiek ta polityka nie zdoła wykonać, jest twoją specyfikacją dla danych syntetycznych.

2. 2
   Nazwij błąd generalizacji

   Pozycja obiektu? Oświetlenie? Wysokość stołu? Rozpraszacze? Inne sformułowanie instrukcji? Dane syntetyczne są dobre w dokładnie jednej z tych rzeczy naraz i bezużyteczne, jeśli nie potrafisz wskazać, w której.

3. 3
   Wybierz najtańszą rodzinę, która to obejmuje

   Wariacje pozycji i układu: mnożenie trajektorii. Oświetlenie i tekstura: najpierw augmentacja obrazu, potem model świata. Całkowicie nowe sceny: symulacje fizyczne i akceptacja kosztów modelowania.

4. 4
   Generuj, a następnie agresywnie odrzucaj

   Próby generacji kończą się niepowodzeniem, a własny wskaźnik sukcesu kandydatów w Isaac Lab waha się od 70 procent do poniżej 1 procenta w zależności od zadania. Zachowaj tylko udane trajektorie kończące zadanie i obejrzyj próbkę jako wideo, zanim zaufasz partii.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Współtrenuj, nie zastępuj

   Połącz wygenerowane epizody z rzeczywistymi w jeden zestaw danych LeRobot z identycznymi kluczami kamer i kolejnością połączeń. Wartość 38 procent to wynik współtreningu.

6. 6
   Oceniaj na prawdziwym ramieniu i tylko tam

   Symulowana ocena jest dobrym sygnałem rankingowym (Pearson r 0.924 w konfiguracji dopasowania wizualnego SIMPLER), ale nie jest testem akceptacyjnym. Uruchom punkt kontrolny na stanowisku testowym, zanim w niego uwierzysz.

Jeśli wolisz zacząć od listy kontrolnej dla samych rzeczywistych nagrań, przewodnik po zbieraniu danych obejmuje rozmieszczenie kamer, fragmentowanie akcji implikacje i tryby awarii, które sprawiają, że uczenie przez imitację zestaw danych jest bezużyteczny. Szczegóły dotyczące samego formatu znajdują się w dokumentacji zestawu danych, a strona hiperparametrów w dokumentacji treningowej.