Data Sintetis untuk Kebijakan Robot: Di Mana Simulasi Membantu

Setiap beberapa bulan seseorang menyadari bahwa merekam lima puluh episode secara manual itu lambat, dan bertanya apakah simulator bisa menghasilkannya. Itu pertanyaan yang wajar. Jawaban jujurnya ada tiga bagian: data yang dihasilkan memang membantu, itu tidak menggantikan rekaman asli, dan rasio antara kedua fakta tersebut sepenuhnya bergantung pada jenis data sintetis yang Anda maksud.

Halaman ini membahas apa yang sebenarnya diukur oleh karya yang diterbitkan, apa yang dapat Anda jalankan hari ini pada lengan berbiaya rendah seperti SO-100, dan di mana kesenjangan sim-to-real mengikis keuntungan. Versi singkatnya, sebelum detail: sistem yang melaporkan pengganda terbesar mengalikan sejumlah kecil demonstrasi manusia nyata. Mereka tidak menghilangkan kebutuhan akan hal itu.

Empat hal berbeda disebut data sintetis

Sebelum membandingkan angka, ada baiknya memisahkan kelompok-kelompoknya, karena sebuah makalah yang melaporkan pengganda 100x dan makalah yang melaporkan peningkatan keberhasilan 5 poin seringkali menggambarkan pipeline yang sama dari sudut yang berbeda. Benang merahnya adalah bahwa sesuatu dalam LeRobot dataset diproduksi oleh mesin daripada direkam dari lengan fisik. Yang berbeda adalah bagian mana.

Hanya tiga yang pertama adalah data sintetis dalam arti yang dimaksud artikel ini. Yang keempat patut disebutkan karena termasuk dalam percakapan yang sama dan sejauh ini merupakan hal termurah dalam daftar. Jika Anda belum mengaktifkan augmentasi yang disertakan dengan trainer Anda, lakukan itu sebelum Anda menginstal simulator.

Apa yang sebenarnya dikatakan oleh angka-angka yang dipublikasikan

Berikut adalah dasar bukti, dengan angka-angka sebagaimana yang dinyatakan oleh sumbernya, bukan sebagaimana yang diringkas oleh siaran pers. Setiap baris di bawah ini berasal dari makalah atau halaman proyek yang dibaca pada 23 Agustus 2026.

Pola di setiap ablasi yang jujur adalah sama. Data sintetis memperluas cakupan dengan murah. Ini tidak menciptakan informasi tentang gripper Anda, kemerosotan servo Anda, pencahayaan Anda, atau tinggi meja Anda yang tidak ada di demonstrasi nyata di suatu tempat. Jika kebijakan Anda gagal karena end effector menutup setengah detik terlalu lambat, tidak ada variasi simulasi yang dapat memperbaikinya. Itu adalah masalah waktu gripper dalam rekaman nyata.

Salah satu temuan MimicGen patut dibawa ke sesi rekaman Anda sendiri, karena bertentangan dengan saran umum. Proyek ini menghasilkan dua dataset pada Square D2, satu diisi dengan 10 demo dari operator manusia berkualitas lebih baik dan satu dengan 10 demo dari operator berkualitas lebih buruk, keduanya diambil dari dataset robomimic multi-human Square. Kebijakan yang dilatih pada masing-masing mencapai hasil yang sebanding, yang oleh para penulis dibaca sebagai tanda bahwa dalam rezim data skala besar, kualitas data mungkin tidak terlalu penting. Baca dengan cermat, itu adalah pernyataan tentang sepuluh demonstrasi awal, bukan tentang lima puluh episode nyata Anda. Ini berarti set awal yang sedikit berantakan bukanlah hal yang menghalangi Anda dan dataset yang dihasilkan yang dapat digunakan. Ini tidak berarti episode nyata yang Anda latih bersama bisa berantakan, karena itulah yang membawa informasi yang tidak dimiliki simulator.

Kesenjangan sim-ke-nyata, secara konkret

Kesenjangan ini biasanya dibahas sebagai satu kuantitas tunggal, yang tidak membantu. Ini setidaknya terdiri dari lima ketidakcocokan terpisah, dan ukurannya berbeda pada lengan hobi seharga 110 hingga 150 EUR dibandingkan dengan lengan Franka.

• Kontak dan gesekan. Isaac Lab menyatakan dengan jelas bahwa dengan perangkat keras yang sama dan versi Isaac Sim serta PhysX yang sama, simulasi dapat direproduksi, namun hasilnya bervariasi di berbagai konfigurasi perangkat keras karena presisi floating point dan kesalahan pembulatan, dan bahwa PhysX tidak menjamin determinisme untuk setiap adegan dengan benda non-rigid seperti kain atau benda lunak.
• Aktuasi. Servo bus Feetech STS3215 yang beroperasi pada 7.4 V melorot di bawah beban, memiliki backlash, dan mengubah perilaku saat memanas. Model MJCF untuk SO-101 meminjam parameter motornya dari proyek yang tidak terkait daripada mengidentifikasinya pada lengan Anda.
• Rendering. Noise kamera, rolling shutter, auto-exposure, dan warna persis meja Anda tidak ada dalam render. Ini adalah separuh dari kesenjangan yang dibangun Cosmos-Transfer1 untuk ditutup: alur kerja augmentasi robotikanya memetakan satu contoh sintetis robotika ke beberapa contoh realistis dari segmentasi, kedalaman, atau pengkondisian tepi.
• Waktu. Sebuah simulator melangkah pada kecepatan tetap. Loop kontrol nyata tidak, dan model itu sendiri membutuhkan biaya 20 hingga 485 ms per langkah aksi tergantung pada yang Anda pilih. Lihat latensi inferensi.
• Statistik objek. Adegan simulasi diambil sampelnya dari distribusi yang ditulis seseorang. Meja dapur Anda tidak.

Apa yang sebenarnya diketahui SO-100 yang disimulasikan tentang lengan Anda

Ini adalah bagian yang menentukan apakah salah satu dari di atas sepadan dengan akhir pekan Anda, dan kejutan pertama adalah bahwa SO-100 dan SO-101 tidak dilayani secara setara. Repositori SO-ARM100 TheRobotStudio menyimpan aset simulasinya di bawah Simulation/. Folder SO100 berisi satu file URDF dan tidak ada yang lain. Folder SO101 berisi file URDF dan MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, URDF yang cocok, dan joints_properties.xml. Jika Anda menginginkan model fisika daripada rantai kinematik, Anda menginginkan file SO-101.

Mereka dihasilkan dengan plugin onshape-to-robot dari model CAD yang dirancang di Onshape, yang berarti kinematika dan mesh visualnya sama baiknya dengan CAD. Dinamika adalah cerita yang berbeda, dan README repositori itu sendiri jujur tentang tiga hal. Mesh tabrakan dasar dihapus karena perilaku tabrakan yang bermasalah selama simulasi dan perencanaan. Properti motor STS3215 diadaptasi dari proyek Open Duck Mini daripada diukur pada SO-101. Dan konvensi gripper LeRobot, di mana 0 adalah tertutup penuh dan 100 adalah terbuka penuh, secara eksplisit belum tercermin dalam file URDF dan MuJoCo. Setiap hal tersebut adalah tempat di mana kebijakan yang dilatih murni dalam model itu akan berperilaku berbeda di meja Anda.

Randomisasi domain, dan apa yang tidak dapat diperbaikinya

Jawaban standar untuk kesenjangan ini adalah berhenti mencoba mencocokkan realitas dan sebaliknya melatih di seluruh distribusi yang cukup luas sehingga realitas termasuk di dalamnya. Tobin dan rekan-rekannya menunjukkan versi kuat dari ini pada tahun 2017: detektor objek yang dilatih hanya pada gambar simulasi dengan tekstur acak yang tidak realistis, tanpa pra-pelatihan pada gambar nyata sama sekali, melokalisasi objek nyata dengan akurasi 1.5 cm dan tetap kuat terhadap pengganggu dan oklusi parsial.

Isaac Lab menyajikan ide yang sama dengan istilah peristiwa yang Anda lampirkan pada konfigurasi lingkungan. Ini adalah pengatur, berdasarkan nama fungsi sebenarnya di isaaclab.envs.mdp, sehingga Anda dapat membaca dan memahaminya daripada menebak.

Inilah batasannya, dan inilah yang sering membuat orang tersandung. Randomisasi memperluas distribusi yang telah dilihat kebijakan di dalam model yang Anda bangun. Ini tidak dapat memperkenalkan efek fisik yang tidak direpresentasikan oleh simulator. Jika PhysX tidak memodelkan backlash dan thermal droop servo STS3215 Anda, merandomisasi kekakuannya tidak mengajarkan apa pun kepada kebijakan tentang backlash. Itulah mengapa lengan yang berkedut lalu melorot di bawah kebijakan yang dilatih simulasi bukanlah masalah anggaran randomisasi. Ini adalah masalah pemodelan.

Jalur manual: menghasilkan data di Isaac Lab

Isaac Gym adalah perangkat lunak lama. Halaman resmi NVIDIA berjudul "Isaac Gym - Sekarang Tidak Digunakan Lagi" dan menyatakan bahwa pengembang dapat mengunduh dan terus menggunakannya tetapi tidak lagi didukung, mengarahkan ke Isaac Lab sebagai gantinya. Jika Anda ingin tahu sejarahnya, kami telah membahas keduanya: dan . Untuk pekerjaan baru di tahun 2026, mulailah dengan Isaac Lab.

1. 1
   Instal Isaac Sim dan Isaac Lab

   Halaman instalasi pip menyatakan bahwa instruksi ini untuk Isaac Sim 5.X, yang memerlukan Python 3.11. Kloning sumber memberi Anda skrip yang dibutuhkan langkah-langkah berikutnya.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Rekam sekitar sepuluh demonstrasi manusia

   Dokumentasi Isaac Lab bersifat spesifik: sekitar 10 demonstrasi yang berhasil diperlukan agar langkah-langkah berikut berhasil. Tip-tipnya juga spesifik. Jaga agar demonstrasi tetap singkat, ambil jalur langsung daripada bergerak di sepanjang sumbu arbitrer, dan jangan berhenti, karena tidak jelas bagi suatu kebijakan mengapa dan kapan harus berhenti.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Anotasi batas subtugas

   Mimic membagi demonstrasi masukan menjadi subtugas sehingga dapat mengatur ulang waktu dan menargetkan ulang segmen-segmen tersebut. Flag --auto melakukan ini tanpa campur tangan manusia untuk tugas-tugas yang mendefinisikan anotasi otomatis; tanpanya Anda berhenti dengan B, melanjutkan dengan N, dan menandai batas dengan S. Perhatikan bahwa ID tugas mendapatkan sufiks -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Hasilkan dataset yang diperbanyak

   Ini adalah langkah yang mengubah 10 menjadi 1000. Mimic menerapkan kriteria keberhasilan boolean untuk setiap kandidat dan hanya menyimpan yang menyelesaikan tugas, sehingga jumlah keluaran lebih rendah dari jumlah percobaan. Dokumen-dokumen menyebutkan tingkat keberhasilan kandidat setinggi 70 persen dalam kasus sederhana dan di bawah 1 persen untuk tugas sulit dan robot kompleks: sekitar 50 persen untuk tumpukan kubus Franka, dan 65 hingga 80 persen untuk GR1T2 pick and place, di mana 1000 demo membutuhkan 18 hingga 40 menit (19 menit pada RTX ADA 6000 pada 80 persen).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Konversi HDF5 ke dataset LeRobot

   Semua di atas menghasilkan HDF5 beraroma robomimic, dan inti Isaac Lab tidak menyediakan konverter LeRobot sendiri: dokumennya hanya mengatakan Anda dapat mengonversi dataset yang dihasilkan ke format LeRobot. Dua proyek menyediakan konverter yang sebenarnya. IsaacLab-Arena menyediakan konverter yang ditargetkan GR00T yang sepenuhnya digerakkan oleh konfigurasi YAML, dan LeIsaac menyediakan pasangannya sendiri untuk rute SO-101 (lihat di bawah).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Mengapa upaya generasi gagal, dan apa yang harus diubah

Tingkat keberhasilan kandidat yang berfluktuasi antara 70 persen dan di bawah 1 persen bukanlah misteri, dan Isaac Lab mendokumentasikan jebakan umum daripada membiarkan Anda menebak-nebak. Setiap satu dari mereka adalah sesuatu yang Anda kendalikan saat merekam, itulah mengapa penting untuk membaca daftar ini sebelum Anda merekam sepuluh demonstrasi awal daripada setelah percobaan generasi pertama yang mengecewakan.

• Demonstrasi terlalu panjang. Horizon waktu yang lebih panjang lebih sulit dipelajari oleh kebijakan. Mulai dekat dengan objek pertama dan minimalkan gerakan.
• Demonstrasi tidak mulus. Gerakan tidak teratur sulit diuraikan oleh kebijakan, dan perangkat keras teleoperasi yang lebih baik memberikan data yang lebih baik: dokumen dengan jelas menyatakan bahwa SpaceMouse mengungguli keyboard.
• Jeda. Jeda sulit dipelajari, karena tidak jelas bagi kebijakan mengapa dan kapan harus berhenti. Jaga gerakan tetap lancar.
• Terlalu banyak subtugas. Lebih banyak subtugas berarti lebih banyak penyambungan antar segmen lintasan, yang menghasilkan gerakan kurang mulus dan tingkat keberhasilan generasi yang lebih rendah. Anotasi batas-batas di mana lengan tidak mungkin bertabrakan dengan apa pun.
• Tidak ada noise aksi. Noise aksi membuat kebijakan yang dihasilkan lebih kuat.
• Perekaman terlalu ketat. Jika perekaman berhenti pada bingkai yang tepat saat kondisi keberhasilan terpicu, mungkin tidak akan terpicu kembali selama pemutaran ulang. Sisakan buffer di akhir.
• Pemutaran ulang non-deterministik. Fisika di Isaac Lab tidak dapat direproduksi secara deterministik di seluruh env.reset, sehingga beberapa demo manusia gagal saat diputar ulang. Kumpulkan lebih dari yang Anda butuhkan dan simpan yang berhasil dianotasi. Segala sesuatu yang masuk ke file HDF5 yang dihasilkan Mimic adalah demo yang berhasil dan dapat digunakan untuk pelatihan meskipun pemutaran ulang kemudian gagal.

Langkah interpolasi antara segmen subtugas yang disambung memiliki pengaturannya sendiri, dan jumlah langkah interpolasi yang Anda butuhkan bervariasi dengan seberapa cepat robot bergerak dan seberapa lebar distribusi reset objek. Tugas yang kompleks dengan distribusi reset yang besar meninggalkan celah yang lebih besar antar segmen, yang membutuhkan lebih banyak langkah interpolasi untuk menghasilkan gerakan berkelanjutan. Jika video yang Anda hasilkan menunjukkan lengan tersentak-sentak antar fase, itulah parameter yang harus diperhatikan sebelum Anda menyalahkan demo awal.

Pipeline yang sama pada SO-101, dengan lengan pemimpin yang sebenarnya

Ini adalah yang menarik bagi siapa pun yang membaca halaman ini, karena ini adalah satu-satunya pipeline terbuka yang menempatkan di dalam Isaac Lab dan memungkinkan Anda menggerakkannya dengan lengan pemimpin fisik yang sudah Anda miliki. LeIsaac, versi 0.4.0 pada saat penulisan, adalah arena simulasi pembelajaran imitasi resmi yang terintegrasi ke dalam EnvHub LeRobot. Tabel kompatibilitasnya mencantumkan tiga kombinasi yang berfungsi; yang terbaru memasangkan Isaac Sim 5.1 dengan Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0, dan Python 3.11, dan dokumentasi merekomendasikan Isaac Sim 5.0 atau yang lebih baru untuk kartu seri 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Dengan pengaturan tersebut, lengan pemimpin pada /dev/ttyACM0 menggerakkan pengikut yang disimulasikan dan merekam langsung ke HDF5. Loop adalah yang sama dengan yang sudah Anda ketahui dari perekaman nyata, hanya saja pengikutnya adalah benda kaku di PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Sebagian besar ID tersebut juga ada sebagai -Direct-v0 varian, dan python scripts/environments/list_envs.py mencetak daftar saat ini. Anda juga dapat melewati jalan memutar HDF5 sepenuhnya dan menulis format LeRobot selama teleoperasi dengan menambahkan tiga flag. Dua peringatan berasal dari dokumentasi itu sendiri: perekam secara otomatis melewati 5 frame pertama setiap episode untuk menghindari ketidakstabilan dari kondisi awal, dan ini dapat menyebabkan sedikit penundaan dalam teleoperasi, yang persis seperti hal yang secara diam-diam mengubah karakter demonstrasi Anda. Ini juga hanya membersihkan episode yang ditandai berhasil oleh tugas.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Langkah perkalian kemudian berjalan pada rekaman tersebut. LeIsaac membungkus Isaac Lab Mimic dalam empat perintah, karena Mimic menggeneralisasi lintasan dari pose end-effector dan objek: mengubah tindakan ruang sendi menjadi tindakan berbasis IK, menganotasi, menghasilkan, lalu mengubah kembali ke ruang sendi.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Kemudian konversi ke LeRobot. Ini adalah langkah di mana aturan format platform menjadi krusial, dan LeIsaac menyediakan tepat dua konverter yang Anda butuhkan: isaaclab2lerobot.py, menulis LeRobot v2, yang merupakan format yang digunakan oleh loader GR00T, dan isaaclab2lerobotv3.py menulis v3 untuk Pi0.5, SmolVLA dan ACT. Kedua skrip ini menerima argumen yang identik tetapi menggunakan versi lerobot yang berbeda, dan hanya episode yang berhasil yang dikonversi.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Dua jalur menuju kebijakan terlatih

Model dunia video: lapisan terbaru, dan yang paling sedikit terukur

Ide di balik DreamGen adalah bahwa model generatif video, yang diadaptasi ke perwujudan robot target, dapat membayangkan episode yang masuk akal di adegan yang belum pernah Anda kunjungi. Pipeline ini memiliki empat tahap: fine-tune model dunia video, menghasilkan video robot sintetis fotorealistik, memulihkan urutan pseudo-aksi dengan model aksi laten atau model dinamika invers, lalu melatih kebijakan robot berdasarkan hasilnya. Repositori GR00T-dreams NVIDIA mengimplementasikan hal tersebut.

Hasil utama adalah nyata dan patut diperhatikan: data teleoperasi dari hanya satu tugas ambil-dan-tempatkan di satu lingkungan menghasilkan 22 perilaku baru pada humanoid, baik di lingkungan yang terlihat maupun yang tidak terlihat. Peringatan ini sama nyatanya dan terletak pada tahap ketiga.

Pelatihan bersama adalah resep yang benar-benar menunjukkan keuntungan

Jika Anda mengambil satu pelajaran operasional dari literatur, ambillah yang ini. Studi pelatihan bersama simulasi dan dunia nyata (Maddukuri dan rekan, 2025) bertujuan untuk menemukan resep sederhana untuk menggunakan data simulasi guna menyelesaikan tugas manipulasi robotik berbasis visi, di dua domain, lengan robot dan humanoid, dan kesimpulannya adalah Anda melatih pada campuran. Data simulasi meningkatkan kinerja tugas dunia nyata rata-rata 38 persen, dan makalah tersebut secara eksplisit menyatakan bahwa ini berlaku bahkan dengan perbedaan mencolok antara data simulasi dan data dunia nyata.

Klausa terakhir itu lebih penting daripada 38 persen. Ini berarti simulasi tidak harus menjadi kembaran digital yang sempurna agar berguna, asalkan data nyata ada dalam campuran untuk menambatkannya. Transfer hanya simulasi adalah jalur yang mahal: makalah yang sama menyatakan bahwa melatih kebijakan semata-mata dalam simulasi dan mentransfernya ke dunia nyata seringkali menuntut upaya manusia yang substansial untuk menjembatani kesenjangan realitas. Pelatihan bersama melewati sebagian besar upaya itu dengan tidak pernah meminta kebijakan untuk menutup kesenjangan itu sendiri.

Secara praktis, di platform ini, pelatihan bersama berarti satu hal: masukkan kedua set episode ke dalam dataset LeRobot yang sama dengan kunci kamera yang konsisten, urutan sambungan yang konsisten, dan unit yang konsisten, lalu jalankan penyetelan halus normal. Tidak ada tombol bobot campuran dalam formulir pelatihan. Jika Anda menginginkan rasio simulasi-ke-nyata 3:1, Anda menyatakannya dengan berapa banyak episode dari masing-masing yang Anda masukkan ke dalam dataset.

Kemenangan termurah dari simulasi bukanlah data pelatihan

Ini adalah evaluasi. Menjalankan lusinan percobaan nyata per tugas untuk membandingkan dua membutuhkan satu hari waktu lengan robot, dan lengan tersebut bergeser antar percobaan. SIMPLER (Li dan rekan, 2024) membangun lingkungan simulasi yang tujuannya adalah menilai kebijakan nyata daripada melatihnya, dan kemudian mengukur seberapa baik peringkat simulasi memprediksi peringkat nyata. Satu lingkungan SIMPLER merender pada 3.500 langkah simulasi per detik pada RTX 4090 konsumen dengan resolusi 640 kali 512, yang di bawah frekuensi simulasi 500 Hz adalah peningkatan kecepatan 7x dibandingkan evaluasi nyata.

Ini adalah rata-rata dari tiga kelompok tugas Google Robot untuk enam checkpoint sumber terbuka umum: tiga checkpoint RT-1 pada tahap pelatihan yang berbeda, RT-1-X, RT-2-X, dan Octo-Base. Sisi nyata bukanlah jumlah percobaan yang seragam, yang patut diketahui sebelum Anda mengutipnya: 75 percobaan untuk mengambil kaleng kokas, 60 untuk bergerak mendekat, 54 untuk tugas membuka dan menutup laci, dan 27 untuk tugas laci-dan-apel yang lebih panjang. Perbandingan dengan MSE validasi adalah bagian yang berguna. Pemilihan model berdasarkan kerugian validasi menempatkan checkpoint ini dengan buruk, dan Pearson r sebesar 0.924 di bawah pencocokan visual berarti bahwa jika sebuah checkpoint mendapat skor lebih baik di SIMPLER, kemungkinan besar ia juga mendapat skor lebih baik di bangku uji. Itu adalah papan skor semalam yang dapat diulang, dan tidak mengharuskan Anda untuk mempercayai apa pun tentang transfer pelatihan sim-ke-nyata.

Jika Anda ingin konteks yang lebih luas tentang apa yang angka-angka benchmark ini beritahukan dan tidak beritahukan tentang , kami menuliskannya secara terpisah di .

Di mana platform ini tidak membantu Anda

Menjelaskan batasan menghemat waktu semua orang. AY-Robots adalah platform perekaman, pelatihan, dan penyajian. Platform ini tidak memiliki simulator di dalamnya.

• Tidak ada Isaac Lab, tidak ada MimicGen, tidak ada model dunia, tidak ada pembuatan adegan. Jika Anda menginginkan data yang dihasilkan, Anda menghasilkannya di tempat lain dan membawa hasilnya.
• Pelatih hanya mengonsumsi dataset LeRobot dan tidak ada yang lain. Ekspor simulator harus dikonversi sebelum menjadi masukan, dan harus versi yang benar: v2.0 atau v2.1 untuk GR00T N1.5 dan N1.7, v3.0 untuk Pi0.5, SmolVLA, dan ACT.
• Titik masuk fine-tuning GR00T adalah CLI tyro yang tidak mengekspos seed, sehingga eksekusi GR00T tidak dapat direproduksi bit-per-bit. Jika Anda menjalankan ablasi sim-versus-real yang cermat, itu adalah batasan nyata. Seed default lerobot sendiri adalah 1000, dan formulir ACT, SmolVLA, serta Pi0.5 memang mengekspos bidang seed.
• Akumulasi gradien hanya benar-benar diterapkan untuk dua pelatih GR00T. Untuk Pi0.5 dan SmolVLA, bidang tersebut ada dalam formulir tetapi lerobot 0.5.1 tidak memiliki flag seperti itu, jadi tidak melakukan apa-apa.
• Inferensi harus berada di dekat servo untuk tugas-tugas cepat. Loop kontrol adalah 20 hingga 485 ms per langkah aksi tergantung pada model, dan menambahkan perjalanan pulang-pergi internet publik mengubah kebijakan yang berfungsi menjadi ragu-ragu. Inferensi jarak jauh layak untuk pick-and-place yang lambat, bukan untuk gerakan reaktif yang cepat.

Anggaran yang bisa Anda pertahankan

Letakkan kedua jalur berdampingan dengan angka-angka yang sebenarnya diterbitkan masing-masing, dan keputusan biasanya akan muncul dengan sendirinya untuk proyek tugas tunggal pada lengan robot berbiaya rendah.

Untuk kebijakan pertama pada SO-100, rekam. dan akan membawa Anda ke checkpoint yang siap digunakan dengan harga secangkir kopi, dan Anda akan memiliki bagian nyata dari campuran pelatihan bersama di masa depan. Gunakan simulator ketika Anda memiliki baseline yang berfungsi dan kegagalan generalisasi spesifik yang dapat Anda sebutkan, seperti kebijakan yang .

Resep yang menghargai bukti

1. 1
   Rekam baseline nyata terlebih dahulu

   30 episode untuk SmolVLA, 50 untuk ACT, GR00T N1.7 dan Pi0.5. Latih sekali. Apa pun yang gagal dilakukan oleh kebijakan tersebut adalah spesifikasi Anda untuk data sintetis.

2. 2
   Sebutkan kegagalan generalisasi

   Pose objek? Pencahayaan? Tinggi meja? Pengganggu? Frasa instruksi yang berbeda? Data sintetis hanya bagus untuk salah satu dari ini pada satu waktu, dan tidak berguna jika Anda tidak bisa mengatakan yang mana.

3. 3
   Pilih keluarga termurah yang mencakupnya

   Variasi pose dan tata letak: penggandaan lintasan. Pencahayaan dan tekstur: augmentasi gambar terlebih dahulu, model dunia kedua. Adegan baru secara keseluruhan: simulasi fisika, dan terima biaya pemodelan.

4. 4
   Hasilkan, lalu buang secara agresif

   Upaya generasi gagal, dan tingkat keberhasilan kandidat Isaac Lab sendiri berkisar dari 70 persen hingga di bawah 1 persen tergantung pada tugas. Simpan hanya lintasan yang berhasil dan menyelesaikan tugas, dan periksa sampel sebagai video sebelum Anda mempercayai batch.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Latih bersama, jangan ganti

   Gabungkan episode yang dihasilkan dengan yang asli menjadi satu dataset LeRobot dengan kunci kamera dan urutan sambungan yang identik. Angka 38 persen adalah angka pelatihan bersama.

6. 6
   Evaluasi pada lengan robot nyata, dan hanya di sana

   Evaluasi simulasi adalah sinyal peringkat yang baik (Pearson r 0.924 dalam pengaturan pencocokan visual SIMPLER) tetapi itu bukan uji penerimaan. Jalankan checkpoint pada bangku uji sebelum Anda mempercayainya.

Jika Anda lebih suka memulai dari daftar periksa untuk rekaman nyata itu sendiri, mencakup penempatan kamera, implikasi dan mode kegagalan yang membuat dataset tidak dapat digunakan. Detail tentang format itu sendiri ada di , dan sisi hyperparameter di .