Синтетичні дані для політик роботів: Де допомагає симуляція

Кожні кілька місяців хтось усвідомлює, що записувати п'ятдесят епізодів вручну повільно, і запитує, чи міг би симулятор створювати їх замість цього. Це справедливе питання. Чесна відповідь складається з трьох частин: згенеровані дані дійсно допомагають, вони не замінюють реальні записи, і співвідношення між цими двома фактами повністю залежить від того, який саме тип синтетичних даних ви маєте на увазі.

Ця сторінка розглядає, що насправді вимірювали опубліковані роботи, що ви можете запустити сьогодні на недорогому маніпуляторі, такому як SO-100, і де розрив між симуляцією та реальністю з'їдає переваги. Коротка версія, перш ніж перейти до деталей: системи, які повідомляють про найбільші множники, множать невеликий набір реальних людських демонстрацій. Вони не усувають потребу в них.

Чотири різні речі називають синтетичними даними

Перш ніж порівнювати цифри, варто розділити сімейства, оскільки стаття, що повідомляє про 100-кратний множник, і стаття, що повідомляє про 5-пунктове збільшення успіху, часто описують один і той же конвеєр з різних сторін. Спільна нитка полягає в тому, що щось у наборі даних LeRobot було створено машиною, а не записано з фізичної руки. Відрізняється лише частина.

Лише перші три є синтетичними даними в тому сенсі, який мається на увазі в цій статті. Четвертий варто згадати, оскільки він об'єднується в ту ж розмову і є, безумовно, найдешевшою річчю в списку. Якщо ви ще не ввімкнули аугментації, які постачаються з вашим тренажером, зробіть це, перш ніж встановлювати симулятор.

Що насправді говорять опубліковані цифри

Ось доказова база, з цифрами, як їх зазначають джерела, а не як їх узагальнюють прес-релізи. Кожен рядок нижче взято з наукової статті або сторінки проєкту, прочитаної 23 серпня 2026 року.

Схема для кожного чесного абляційного дослідження однакова. Синтетичні дані дешево розширюють охоплення. Вони не створюють інформації про ваш захват, провисання сервоприводу, освітлення або висоту столу, якої не було десь у реальних демонстраціях. Якщо ваша політика не спрацьовує, тому що кінцевий ефектор закривається на півсекунди запізно, жодна кількість змодельованих варіацій це не виправить. Це проблема синхронізації захвату у реальних записах.

Одне відкриття MimicGen варто врахувати у ваших власних сесіях запису, оскільки воно суперечить звичайним порадам. Проєкт згенерував два набори даних на Square D2: один, заснований на 10 демонстраціях від оператора-людини кращої якості, і один, заснований на 10 демонстраціях від оператора гіршої якості, обидва взяті з багатолюдного набору даних robomimic Square. Політики, навчені на кожному з них, досягли порівнянних результатів, що автори інтерпретували як ознаку того, що в режимі великомасштабних даних якість даних може не мати такого великого значення. Читайте уважно: це твердження стосується десяти початкових демонстрацій, а не ваших п'ятдесяти реальних епізодів. Це означає, що трохи неякісний початковий набір не є тим, що стоїть між вами та придатним для використання згенерованим набором даних. Це не означає, що реальні епізоди, на яких ви співнавчаєтеся, можуть бути неякісними, тому що саме вони несуть інформацію, якої немає у симулятора.

Розрив між симуляцією та реальністю, конкретно

Розрив зазвичай обговорюється як єдина величина, що є некорисним. Це щонайменше п'ять окремих невідповідностей, і вони мають різні розміри на аматорському маніпуляторі вартістю від 110 до 150 EUR, ніж на Franka.

• Контакт і тертя. Isaac Lab прямо заявляє, що за умови однакового апаратного забезпечення та однакової версії Isaac Sim і PhysX симуляція є відтворюваною, але результати відрізняються в різних апаратних конфігураціях через точність чисел з плаваючою комою та помилки округлення, і що PhysX не гарантує детермінізму для будь-якої сцени з нежорсткими тілами, такими як тканина або м'які тіла.
• Приведення в дію. Шинний сервопривід Feetech STS3215, що працює при 7.4 V, провисає під навантаженням, має люфт і змінює поведінку при нагріванні. Модель MJCF для SO-101 запозичує параметри двигуна з непов'язаного проекту, а не ідентифікує їх на вашому маніпуляторі.
• Рендеринг. Шум камери, рухомий затвор, автоекспозиція та точний відтінок вашого столу не відображаються на рендері. Це та половина розриву, яку було створено для закриття Cosmos-Transfer1: його робочий процес доповнення робототехніки відображає один синтетичний приклад робототехніки на кілька реалістичних прикладів із сегментації, глибини або граничного кондиціонування.
• Час. Симулятор працює з фіксованою швидкістю. Реальний контур керування — ні, і сама модель коштує від 20 до 485 ms за крок дії, залежно від того, яку ви обрали. Дивіться inference latency.
• Статистика об'єктів. Симульовані сцени вибираються з розподілу, який хтось записав. Ваш кухонний стіл — ні.

Що симульований SO-100 насправді знає про ваш маніпулятор

Це та частина, яка вирішує, чи варте щось із вищезазначеного ваших вихідних, і першим сюрпризом є те, що SO-100 і SO-101 не обслуговуються однаково. Репозиторій SO-ARM100 від TheRobotStudio зберігає свої симуляційні активи в Simulation/. Папка SO100 містить один файл URDF і нічого більше. Папка SO101 містить файли URDF і MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, відповідні URDF та joints_properties.xml. Якщо ви хочете фізичну модель, а не кінематичний ланцюг, вам потрібні файли SO-101.

Вони були згенеровані за допомогою плагіна onshape-to-robot з CAD-моделі, розробленої в Onshape, що означає, що кінематика та візуальні сітки такі ж якісні, як і CAD. Динаміка — це інша історія, і README самого репозиторію відверто говорить про три речі. Базові сітки зіткнень були видалені через проблематичну поведінку зіткнень під час симуляції та планування. Властивості двигуна STS3215 адаптовані з проєкту Open Duck Mini, а не виміряні на SO-101. І конвенція захоплення LeRobot, де 0 — повністю закрито, а 100 — повністю відкрито, ще явно не відображена у файлах URDF та MuJoCo. Кожен з цих пунктів — це місце, де політика, навчена виключно на цій моделі, поводитиметься інакше на вашому столі.

Рандомізація домену та що вона не виправляє

Стандартна відповідь на розрив полягає в тому, щоб припинити намагатися відповідати реальності, а натомість навчатися на розподілі, достатньо широкому, щоб реальність потрапляла всередину нього. Тобін та колеги показали сильну версію цього у 2017 році: детектор об'єктів, навчений лише на симульованих зображеннях з нереалістичними випадковими текстурами, без попереднього навчання на реальних зображеннях взагалі, локалізував реальні об'єкти з точністю до 1.5 cm і залишався стійким до відволікаючих факторів та часткових перекриттів.

Isaac Lab реалізує ту саму ідею, що й терміни подій, які ви прикріплюєте до конфігурації середовища. Це регулятори, за їхніми фактичними назвами функцій у isaaclab.envs.mdp, тож ви можете їх прочитати, а не вгадувати.

Ось межа, і це те, через що люди спотикаються. Рандомізація розширює розподіл, який політика бачила всередині побудованої вами моделі. Вона не може ввести фізичний ефект, який симулятор не представляє. Якщо PhysX не моделює люфт і термічне провисання ваших сервоприводів STS3215, рандомізація їхньої жорсткості нічого не навчить політику про люфт. Ось чому рука, яка під дією політики, навченої на симуляторі, не є проблемою бюджету рандомізації. Це проблема моделювання.

Ручний шлях: генерація даних в Isaac Lab

Isaac Gym є застарілим програмним забезпеченням. Власна сторінка NVIDIA має заголовок "Isaac Gym - Тепер застарілий" і стверджує, що розробники можуть завантажувати та продовжувати його використовувати, але він більше не підтримується, вказуючи на Isaac Lab замість нього. Якщо ви хочете дізнатися історію, ми охопили обидва: та . Для нової роботи у 2026 році починайте з Isaac Lab.

1. 1
   Встановіть Isaac Sim та Isaac Lab

   Сторінка встановлення pip зазначає, що інструкції призначені для Isaac Sim 5.X, який вимагає Python 3.11. Клонування вихідного коду надає вам скрипти, необхідні для наступних кроків.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Запишіть близько десяти людських демонстрацій

   Документація Isaac Lab є конкретною: для успішного виконання наступних кроків потрібно близько 10 успішних демонстрацій. Її поради також конкретні. Тримайте демонстрації короткими, обирайте прямий шлях замість руху по довільних осях і не робіть пауз, оскільки для політики не очевидно, чому і коли потрібно робити паузи.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Анотуйте межі підзадач

   Mimic розділяє вхідні демонстрації на підзадачі, щоб він міг перерозподіляти час і перенацілювати сегменти. Прапорець --auto робить це без участі людини для завдань, які визначають автоматичну анотацію; без нього ви робите паузу за допомогою B, продовжуєте за допомогою N і позначаєте межу за допомогою S. Зверніть увагу, що ідентифікатор завдання отримує суфікс -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Згенеруйте помножений набір даних

   Це крок, який перетворює 10 на 1000. Mimic застосовує булевий критерій успіху до кожного кандидата і зберігає лише ті, що виконали завдання, тому кількість вихідних даних менша за кількість спроб. Документація вказує, що рівень успіху кандидата може бути до 70 відсотків у простих випадках і менше 1 відсотка для складних завдань та комплексних роботів: близько 50 відсотків для укладання кубиків Franka, і від 65 до 80 відсотків для GR1T2 pick and place, де 1000 демонстрацій займають від 18 до 40 хвилин (19 хвилин на RTX ADA 6000 при 80 відсотках).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Конвертуйте HDF5 у набір даних LeRobot

   Усе вищезазначене створює HDF5 у стилі robomimic, і ядро Isaac Lab не постачає власного конвертера LeRobot: його документація лише стверджує, що ви можете конвертувати згенерований набір даних у формат LeRobot. Два проекти надають фактичний конвертер. IsaacLab-Arena постачає конвертер, орієнтований на GR00T, який повністю керується конфігурацією YAML, а LeIsaac постачає власну пару для маршруту SO-101 (див. нижче).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Чому спроби генерації не вдаються, і що змінити

Коли показник успішності кандидата коливається від 70 відсотків до менш ніж 1 відсотка, це не є загадкою, і Isaac Lab документує поширені підводні камені, замість того, щоб залишати вас у здогадах. Кожен з них — це те, що ви контролюєте під час запису, тому варто прочитати цей список перед тим, як записувати десять початкових демонстрацій, а не після першого невдалого запуску генерації.

• Демонстрації занадто довгі. Довший часовий горизонт складніше для навчання політики. Починайте близько до першого об'єкта та мінімізуйте рух.
• Демонстрації не плавні. Нерегулярний рух важко розшифрувати для політики, а краще обладнання для телеоперації дає кращі дані: у документації чітко зазначено, що SpaceMouse перевершує клавіатуру.
• Паузи. Паузи важко вивчити, оскільки для політики не очевидно, чому і коли робити паузу. Зберігайте рух плавним.
• Занадто багато підзадач. Більше підзадач означає більше з'єднань між сегментами траєкторії, що призводить до менш плавного руху та нижчого показника успішності генерації. Позначайте межі, де рука навряд чи зіткнеться з чимось.
• Відсутність шуму дії. Шум дії робить отримані політики більш надійними.
• Запис обрізано занадто щільно. Якщо запис зупиняється на тому ж кадрі, коли спрацьовує умова успіху, вона може не спрацювати повторно під час відтворення. Залиште буфер наприкінці.
• Недетерміноване відтворення. Фізика в Isaac Lab не є детерміновано відтворюваною при env.reset, тому деякі людські демонстрації не вдаються при відтворенні. Зберіть більше, ніж вам потрібно, і залиште ті, що виживають після анотації. Все, що потрапляє у файл HDF5, згенерований Mimic, є успішною демонстрацією і може бути використано для навчання, навіть якщо відтворення пізніше не вдасться.

Крок інтерполяції між з'єднаними сегментами підзадач має свій власний регулятор, і кількість кроків інтерполяції, які вам потрібні, залежить від швидкості руху робота та ширини розподілу скидання об'єктів. Складна задача з великим розподілом скидання залишає більші проміжки між сегментами, що вимагає більше кроків інтерполяції для отримання безперервного руху. Якщо ваші згенеровані відео показують, як рука смикається між фазами, це той параметр, на який варто звернути увагу, перш ніж звинувачувати початкові демонстрації.

Той самий конвеєр на SO-101, зі справжньою провідною рукою

Це цікавий варіант для всіх, хто читає цю сторінку, оскільки це єдиний відкритий конвеєр, який розміщує всередині Isaac Lab і дозволяє керувати ним за допомогою фізичного ведучого маніпулятора, який у вас вже є. LeIsaac, версія 0.4.0 на момент написання, є офіційним симуляційним майданчиком для імітаційного навчання, інтегрованим у EnvHub LeRobot. Його таблиця сумісності містить три робочі комбінації; найновіша поєднує Isaac Sim 5.1 з Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 та Python 3.11, а документація рекомендує Isaac Sim 5.0 або новіше для карт 50-ї серії.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Після цього ведучий маніпулятор на /dev/ttyACM0 керує симульованим веденим і записує дані безпосередньо в HDF5. Цикл є тим самим, що ви вже знаєте з реального запису, тільки ведений є твердим тілом у PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Більшість цих ідентифікаторів також існують як -Direct-v0, і python scripts/environments/list_envs.py виводить поточний список. Ви також можете повністю пропустити обхід HDF5 і записувати у форматі LeRobot під час телеоперації, додавши три прапорці. Два застереження походять із самої документації: рекордер автоматично пропускає перші 5 кадрів кожного епізоду, щоб уникнути нестабільності початкових станів, і це може спричинити невеликі затримки в телеоперації, що саме по собі тихо змінює характер ваших демонстрацій. Він також зберігає епізоди лише тоді, коли завдання позначено як успішне.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Потім крок множення виконується на цих записах. LeIsaac обгортає Isaac Lab Mimic у чотири команди, оскільки Mimic узагальнює траєкторії з поз кінцевого ефектора та об'єкта: перетворює дії в просторі суглобів на дії на основі IK, анотує, генерує, а потім перетворює назад у простір суглобів.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Потім конвертуйте в LeRobot. Це крок, де вступає в дію правило формату платформи, і LeIsaac постачає саме ті два конвертери, які вам потрібні: isaaclab2lerobot.py записує LeRobot v2, який використовують завантажувачі GR00T, а isaaclab2lerobotv3.py записує v3 для Pi0.5, SmolVLA та ACT. Два скрипти приймають ідентичні аргументи, але використовують різні версії lerobot, і конвертуються лише успішні епізоди.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Два шляхи до навченої політики

Відео світові моделі: найновіший шар, і найменш виміряний

Ідея DreamGen полягає в тому, що відеогенеративна модель, адаптована до цільового втілення робота, може уявляти правдоподібні епізоди в сценах, які ви ніколи не відвідували. Конвеєр має чотири етапи: доналаштування відео світової моделі, генерація фотореалістичних синтетичних відео роботів, відновлення псевдо-послідовностей дій за допомогою моделі прихованих дій або моделі зворотної динаміки, а потім навчання політики робота на результаті. Репозиторій GR00T-dreams від NVIDIA реалізує саме це.

Заголовковий результат є реальним і вартим серйозного розгляду: дані телеоперації лише з одного завдання "візьми і поклади" в одному середовищі призвели до 22 нових поведінок на гуманоїді, як у бачених, так і в небачених середовищах. Застереження є однаково реальним і знаходиться на третьому етапі.

Спільне навчання – це рецепт, який насправді показує переваги

Якщо ви візьмете один оперативний урок з літератури, візьміть цей. Дослідження спільного навчання симуляції та реальності (Maddukuri та колеги, 2025) мало на меті знайти простий рецепт використання симуляційних даних для вирішення завдань маніпуляції роботами на основі зору, у двох областях: роботизована рука та гуманоїд, і його висновок полягає в тому, що ви навчаєтеся на суміші. Дані симуляції покращили продуктивність завдань у реальному світі в середньому на 38 відсотків, і в статті чітко зазначено, що це зберігалося навіть за значних відмінностей між даними симуляції та даними реального світу.

Цей останній пункт важливіший за 38 відсотків. Це означає, що симуляція не обов'язково має бути ідеальним цифровим двійником, щоб бути корисною, за умови, що реальні дані присутні в суміші для її закріплення. Передача лише з симуляції — це дорогий шлях: та сама стаття стверджує, що навчання політики виключно в симуляції та її перенесення в реальний світ часто вимагає значних людських зусиль для подолання розриву з реальністю. Спільне навчання пропускає більшу частину цих зусиль, ніколи не вимагаючи від політики самостійно закривати цей розрив.

Практично, на цій платформі спільне навчання означає одне: помістіть обидва набори епізодів в один і той же набір даних LeRobot з узгодженими ключами камери, узгодженим порядком суглобів та узгодженими одиницями виміру, а потім запустіть звичайне тонке налаштування. У формі навчання немає регулятора ваги суміші. Якщо ви хочете співвідношення симуляції до реальності 3:1, ви виражаєте це кількістю епізодів кожного типу, які ви поміщаєте в набір даних.

Найвигідніша перемога від симуляції — це не навчальні дані

Це оцінювання. Проведення десятків реальних випробувань для кожного завдання, щоб порівняти дві — це день роботи маніпулятора, і маніпулятор дрейфує між випробуваннями. SIMPLER (Лі та колеги, 2024) створили симульовані середовища, метою яких є оцінювання реальних політик, а не їхнє навчання, а потім виміряли, наскільки добре рейтинг симуляції передбачає реальний. Одне середовище SIMPLER відтворюється зі швидкістю 3500 кроків симуляції на секунду на споживчій RTX 4090 з роздільною здатністю 640 на 512, що при частоті симуляції 500 Гц дає 7-кратне прискорення порівняно з реальною оцінкою.

Це середні значення для трьох груп завдань Google Robot для шести поширених контрольних точок з відкритим вихідним кодом: трьох контрольних точок RT-1 на різних етапах навчання, RT-1-X, RT-2-X та Octo-Base. Реальна сторона не має рівномірної кількості випробувань, про що варто знати, перш ніж цитувати: 75 випробувань для підняття банки кока-коли, 60 для переміщення поблизу, 54 для завдань відкриття та закриття шухляди та 27 для довшого завдання з шухлядою та яблуком. Порівняння з MSE валідації є корисною частиною. Вибір моделі за втратами валідації погано ранжує ці контрольні точки, а коефіцієнт кореляції Пірсона r 0.924 при візуальному зіставленні означає, що якщо контрольна точка отримує кращий бал у SIMPLER, вона, ймовірно, отримає кращий бал і на стенді. Це повторювана нічна таблиця результатів, і вона не вимагає від вас вірити в щось щодо перенесення навчання з симуляції в реальність.

Якщо ви хочете отримати ширший контекст щодо того, що ці показники бенчмарків говорять і не говорять про , ми описали це окремо в .

Де ця платформа вам не допоможе

Чітке визначення меж економить час усім. AY-Robots — це платформа для запису, навчання та обслуговування. Вона не містить симулятора.

• Без Isaac Lab, без MimicGen, без світової моделі, без створення сцен. Якщо ви хочете згенеровані дані, ви генеруєте їх в іншому місці та приносите результат.
• Тренери споживають набори даних LeRobot і нічого іншого. Експорт симулятора має бути конвертований, перш ніж стати вхідними даними, і він має бути правильної версії: v2.0 або v2.1 для GR00T N1.5 та N1.7, v3.0 для Pi0.5, SmolVLA та ACT.
• Точка входу для доналаштування GR00T — це tyro CLI, який не надає seed, тому запуски GR00T не є побітово відтворюваними. Якщо ви проводите ретельне абляційне дослідження симуляції проти реальності, це є справжнім обмеженням. Власний seed за замовчуванням у lerobot — 1000, а форми ACT, SmolVLA та Pi0.5 надають поле seed.
• Накопичення градієнта фактично застосовується лише для двох тренерів GR00T. Для Pi0.5 та SmolVLA поле існує у формі, але lerobot 0.5.1 не має такого прапора, тому воно нічого не робить.
• Висновок має знаходитися поруч із сервоприводами для швидких завдань. Цикл керування становить від 20 до 485 мс на крок дії залежно від моделі, і додавання кругових поїздок через публічний інтернет перетворює робочу політику на нерішучу. Віддалений висновок є життєздатним для повільного захоплення та розміщення, але не для швидкого реактивного руху.

Бюджет, який ви можете захистити

Поставте два шляхи поруч із цифрами, які кожен з них фактично публікує, і рішення зазвичай приймається саме собою для однозадачного проєкту на недорогому маніпуляторі.

Для першої політики на SO-100, записуйте. Посібник із та приведуть вас до готової контрольної точки за ціною кави, і ви матимете реальну половину будь-якої майбутньої суміші для спільного навчання. Зверніться до симулятора, коли у вас є робоча базова лінія та конкретна помилка узагальнення, яку ви можете назвати, наприклад, політика, яка .

Рецепт, що враховує докази

1. 1
   Спершу запишіть реальний базовий рівень

   30 епізодів для SmolVLA, 50 для ACT, GR00T N1.7 та Pi0.5. Тренуйте один раз. Те, на чому ця політика зазнає невдачі, є вашою специфікацією для синтетичних даних.

2. 2
   Назвіть причину невдачі узагальнення

   Поза об'єкта? Освітлення? Висота столу? Відволікаючі фактори? Інше формулювання інструкції? Синтетичні дані добре справляються лише з одним із цих аспектів за раз, і марні, якщо ви не можете сказати, з яким саме.

3. 3
   Виберіть найдешевше сімейство, яке це охоплює

   Варіація пози та розташування: множення траєкторій. Освітлення та текстура: спочатку аугментація зображень, потім модель світу. Цілком нові сцени: фізичні розгортання, і прийміть витрати на моделювання.

4. 4
   Генеруйте, потім агресивно відкидайте

   Спроби генерації зазнають невдачі, і власний показник успішності кандидатів Isaac Lab коливається від 70 відсотків до менш ніж 1 відсотка залежно від завдання. Зберігайте лише успішні траєкторії, що завершують завдання, і перегляньте зразок як відео, перш ніж довіряти партії.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Співнавчайте, не замінюйте

   Об'єднайте згенеровані епізоди з реальними в єдиний набір даних LeRobot з ідентичними ключами камер та порядком з'єднань. Цифра 38 відсотків — це показник співнавчання.

6. 6
   Оцінюйте на реальній руці, і тільки там

   Симульована оцінка є хорошим сигналом для ранжування (коефіцієнт кореляції Пірсона r 0.924 у візуальному зіставленні SIMPLER), але це не приймальний тест. Запустіть контрольну точку на стенді, перш ніж повірити в неї.

Якщо ви віддаєте перевагу почати з контрольного списку для самих реальних записів, охоплює розміщення камери, наслідки та режими відмов, які роблять непридатним. Деталі щодо самого формату знаходяться в , а сторона гіперпараметрів — в .