Robot Politikaları için Sentetik Veri: Simülasyon Nerede Yardımcı Olur

Birkaç ayda bir, birileri elli epizodu elle kaydetmenin yavaş olduğunu fark eder ve bir simülatörün bunları bunun yerine üretip üretemeyeceğini sorar. Bu adil bir sorudur. Dürüst cevabın üç kısmı vardır: üretilen veri yardımcı olur, gerçek kayıtların yerini almaz ve bu iki gerçek arasındaki oran tamamen ne tür sentetik veri kastettiğinize bağlıdır.

Bu sayfa, yayınlanmış çalışmaların aslında neyi ölçtüğünü, bugün SO-100 gibi düşük maliyetli bir kol üzerinde neler çalıştırabileceğinizi ve simülasyon-gerçeklik farkının kazanımları nerede tükettiğini inceler. Detaylara geçmeden kısa versiyonu: en büyük çarpanları bildiren sistemler, küçük bir gerçek insan gösterimi kümesini çoğaltır. Bunlara olan ihtiyacı ortadan kaldırmazlar.

Dört farklı şeye sentetik veri denir

Sayıları karşılaştırmadan önce aileleri ayırmak faydalıdır, çünkü 100 kat çarpan bildiren bir makale ile 5 puanlık başarı artışı bildiren bir makale genellikle aynı hattı farklı uçlardan tanımlar. Ortak nokta, LeRobot veri kümesi içindeki bir şeyin fiziksel bir koldan kaydedilmek yerine bir makine tarafından üretilmiş olmasıdır. Farklı olan ise hangi kısım olduğudur.

Bu makalenin kastettiği anlamda sentetik veri sadece ilk üçüdür. Dördüncüsü, aynı konuşmaya dahil edildiği ve listedeki açık ara en ucuz şey olduğu için bahsetmeye değerdir. Eğiticinizin birlikte gönderdiği artırımları henüz açmadıysanız, bir simülatör kurmadan önce bunu yapın.

Yayınlanan sayılar aslında ne söylüyor

İşte kanıt tabanı; sayılar basın bültenlerinin özetlediği gibi değil, kaynakların belirttiği gibidir. Aşağıdaki her satır, 23 Ağustos 2026 tarihinde okunan bir makaleden veya proje sayfasından alınmıştır.

Her dürüst ablasyondaki desen aynıdır. Sentetik veri, kapsamı ucuza genişletir. Gerçek gösterimlerde bir yerde bulunmayan tutucunuz, servo sarkmanız, aydınlatmanız veya masa yüksekliğiniz hakkında bilgi yaratmaz. Eğer politika başarısız olursa çünkü uç efektör yarım saniye geç kapanırsa, hiçbir simüle edilmiş varyasyon miktarı bunu düzeltmez. Bu, bir tutucu zamanlama problemi gerçek kayıtlardaki bir sorundur.

MimicGen'in bir bulgusu, alışılagelmiş tavsiyelere aykırı olduğu için kendi kayıt oturumlarınıza taşımaya değerdir. Proje, Square D2 üzerinde iki veri kümesi oluşturdu: biri daha kaliteli bir insan operatörden alınan 10 demo ile, diğeri ise daha düşük kaliteli bir operatörden alınan 10 demo ile beslendi; her ikisi de robomimic multi-human Square veri kümesinden alınmıştır. Her biri üzerinde eğitilen politikalar karşılaştırılabilir sonuçlar elde etti; yazarlar bunu, büyük ölçekli veri rejiminde veri kalitesinin o kadar da önemli olmayabileceğinin bir işareti olarak yorumladı. Dikkatlice okuyun, bu elli gerçek bölümünüz hakkında değil, on tohum gösterimi hakkında bir ifadedir. Bu, biraz dağınık bir tohum kümesinin sizinle kullanılabilir bir üretilmiş veri kümesi arasında duran şey olmadığı anlamına gelir. Bu, birlikte eğittiğiniz gerçek bölümlerin dağınık olabileceği anlamına gelmez, çünkü simülatörün sahip olmadığı bilgiyi taşıyanlar onlardır.

Simülasyondan Gerçeğe Boşluğu, Somut Olarak

Boşluk genellikle tek bir nicelik olarak tartışılır, bu da faydalı değildir. Bu en az beş ayrı uyumsuzluktan oluşur ve 110 ila 150 EUR'luk bir hobi kolunda Franka'dakinden farklı boyutlara sahiptirler.

• Temas ve sürtünme. Isaac Lab açıkça belirtir ki, aynı donanım ve aynı Isaac Sim ve PhysX sürümü verildiğinde simülasyon tekrarlanabilir, ancak sonuçlar farklı donanım yapılandırmalarında kayan nokta hassasiyeti ve yuvarlama hataları nedeniyle değişir ve PhysX, kumaş veya yumuşak cisimler gibi rijit olmayan cisimlerin bulunduğu herhangi bir sahne için determinizmi garanti etmez.
• Aktüasyon. 7.4 V ile çalışan bir Feetech STS3215 bus servo, yük altında esner, boşluk yapar ve ısındıkça davranışını değiştirir. SO-101 için MJCF modeli, motor parametrelerini kolunuzda tanımlamak yerine alakasız bir projeden alır.
• Görselleştirme. Kamera gürültüsü, rolling shutter, otomatik pozlama ve masanızın tam rengi render'da yoktur. Bu, Cosmos-Transfer1'in kapatmak için inşa edildiği boşluğun yarısıdır: robotik artırma iş akışı, bir robotik sentetik örneği segmentasyon, derinlik veya kenar koşullandırmadan birden fazla gerçekçi örneğe eşler.
• Zamanlama. Bir simülatör sabit bir hızda adım atar. Gerçek bir kontrol döngüsü atmaz ve modelin kendisi, seçtiğiniz modele bağlı olarak eylem adımı başına 20 ila 485 ms maliyetlidir. çıkarım gecikmesi bölümüne bakın.
• Nesne istatistikleri. Simüle edilmiş sahneler, birinin yazdığı bir dağılımdan örneklenir. Mutfak masanız öyle değildir.

Simüle edilmiş bir SO-100'ün kolunuz hakkında gerçekten bildikleri

Yukarıdakilerin hafta sonunuza değip değmeyeceğine karar veren kısım burasıdır ve ilk sürpriz, SO-100 ve SO-101'in eşit şekilde hizmet görmemesidir. TheRobotStudio'nun SO-ARM100 deposu, simülasyon varlıklarını Simulation/ altında tutar. SO100 klasörü tek bir URDF dosyası ve başka hiçbir şey içermez. SO101 klasörü hem URDF hem de MuJoCo dosyalarını içerir: scene.xml, so101_new_calib.xml, so101_old_calib.xml, eşleşen URDF'ler ve bir joints_properties.xml. Kinematik bir zincir yerine bir fizik modeli istiyorsanız, SO-101 dosyalarını istersiniz.

Onshape'te tasarlanmış bir CAD modelinden onshape-to-robot eklentisi ile oluşturuldular, bu da kinematiklerin ve görsel ağların CAD kadar iyi olduğu anlamına geliyor. Dinamikler farklı bir hikaye ve deponun kendi README'si üç konuda açık sözlü. Simülasyon ve planlama sırasında sorunlu çarpışma davranışı nedeniyle taban çarpışma ağları kaldırıldı. STS3215 motor özellikleri, bir SO-101 üzerinde ölçülmek yerine Open Duck Mini projesinden uyarlandı. Ve 0'ın tamamen kapalı, 100'ün tamamen açık olduğu LeRobot tutucu konvansiyonu, URDF ve MuJoCo dosyalarına henüz açıkça yansıtılmamıştır. Bunların her biri, yalnızca o modelde eğitilmiş bir politikanın masanızda farklı davranacağı bir yerdir.

Alan rastgeleleştirmesi ve neleri düzeltmediği

Boşluğa standart cevap, gerçekliği eşleştirmeye çalışmayı bırakmak ve bunun yerine gerçekliğin içine düşeceği kadar geniş bir dağılım üzerinde eğitim yapmaktır. Tobin ve meslektaşları bunun güçlü versiyonunu 2017'de gösterdiler: gerçekçi olmayan rastgele dokulara sahip simüle edilmiş görüntüler üzerinde, gerçek görüntüler üzerinde hiçbir ön eğitim olmaksızın eğitilmiş bir nesne dedektörü, gerçek nesneleri 1.5 cm'lik bir doğrulukla lokalize etti ve dikkat dağıtıcılara ve kısmi tıkanıklıklara karşı sağlam kaldı.

Isaac Lab, bir ortam yapılandırmasına eklediğiniz olay terimleriyle aynı fikri sunar. Bunlar, isaaclab.envs.mdp içindeki gerçek fonksiyon adlarıyla ayar düğmeleridir, böylece tahmin etmek yerine gidip okuyabilirsiniz.

İşte sınır bu ve insanların takıldığı nokta da burası. Rastgeleleştirme, oluşturduğunuz model içinde politikanın gördüğü dağılımı genişletir. Simülatörün temsil etmediği fiziksel bir etkiyi tanıyamaz. Eğer PhysX, STS3215 servolarınızın boşluğunu ve termal sarkmasını modellemiyorsa, sertliklerini rastgeleleştirmek politikaya boşluk hakkında hiçbir şey öğretmez. Bu yüzden, simülasyonla eğitilmiş bir politika altında seğirip sonra sarkan bir kol, bir rastgeleleştirme-bütçesi sorunu değildir. Bu bir modelleme sorunudur.

Manuel yol: Isaac Lab'de veri üretme

Isaac Gym eski bir yazılımdır. NVIDIA'nın kendi sayfası "Isaac Gym - Artık Kullanımdan Kaldırıldı" başlığını taşımakta ve geliştiricilerin onu indirip kullanmaya devam edebileceğini ancak artık desteklenmediğini, bunun yerine Isaac Lab'i işaret ettiğini belirtmektedir. Geçmişini merak ediyorsanız, her ikisini de ele aldık: ve . 2026'daki yeni çalışmalar için Isaac Lab'den başlayın.

1. 1
   Isaac Sim ve Isaac Lab'i Kurun

   Pip kurulum sayfası, talimatların Python 3.11 gerektiren Isaac Sim 5.X için olduğunu belirtir. Kaynak klonlama, sonraki adımlar için gereken betikleri sağlar.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Yaklaşık on insan gösterimi kaydedin

   Isaac Lab belgeleri spesifiktir: sonraki adımların başarılı olması için yaklaşık 10 başarılı gösterim gereklidir. İpuçları da aynı derecede spesifiktir. Gösterimleri kısa tutun, rastgele eksenler boyunca hareket etmek yerine doğrudan bir yol izleyin ve duraklamayın, çünkü bir politikanın neden ve ne zaman duraklayacağı açık değildir.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Alt görev sınırlarını açıklayın

   Mimic, giriş gösterimlerini alt görevlere ayırır, böylece segmentleri yeniden zamanlayabilir ve yeniden hedefleyebilir. --auto bayrağı, otomatik açıklama tanımlayan görevler için insan müdahalesi olmadan bunu yapar; bu bayrak olmadan B ile duraklatır, N ile devam eder ve S ile bir sınır işaretlersiniz. Görev kimliğinin -Mimic soneki aldığını unutmayın.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Çoğaltılmış veri kümesini oluşturun

   Bu, 10'u 1000'e dönüştüren adımdır. Mimic, her adaya bir boolean başarı kriteri uygular ve yalnızca görevi tamamlayanları tutar, bu nedenle çıktı sayısı deneme sayısından düşüktür. Belgeler, basit durumlarda aday başarı oranını %70'e kadar, zor görevler ve karmaşık robotlar için ise %1'in altında belirtir: Franka küp yığını için yaklaşık %50 ve GR1T2 alma ve yerleştirme için %65 ila %80, burada 1000 demo 18 ila 40 dakika sürer (RTX ADA 6000'de %80'de 19 dakika).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5'i bir LeRobot veri kümesine dönüştürün

   Yukarıdaki her şey robomimic-türünde HDF5 üretir ve Isaac Lab çekirdeği kendi LeRobot dönüştürücüsünü içermez: belgeleri yalnızca oluşturulan veri kümesini LeRobot formatına dönüştürebileceğinizi söyler. İki proje gerçek dönüştürücüyü sağlar. IsaacLab-Arena, tamamen bir YAML yapılandırmasıyla çalışan GR00T hedefli bir dönüştürücü içerir ve LeIsaac, SO-101 rotası için kendi çiftini içerir (aşağıya bakın).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Üretim denemeleri neden başarısız olur ve neyi değiştirmeli

Yüzde 70 ile yüzde 1'in altına inen bir aday başarı oranı bir sır değildir ve Isaac Lab, sizi tahmin etmeye bırakmak yerine yaygın tuzakları belgeler. Bunların her biri kayıt sırasında kontrol ettiğiniz bir şeydir, bu yüzden ilk hayal kırıklığı yaratan üretim çalışmasından sonra değil, on başlangıç gösterisini kaydetmeden önce bu listeyi okumak faydalıdır.

• Gösterimler çok uzun. Daha uzun bir zaman ufku, bir politikanın öğrenmesi için daha zordur. İlk nesneye yakın başlayın ve hareketi en aza indirin.
• Gösterimler pürüzsüz değil. Düzensiz hareketin bir politika tarafından çözülmesi zordur ve daha iyi teleoperasyon donanımı daha iyi veri sağlar: belgeler açıkça bir SpaceMouse'un bir klavyeden daha iyi olduğunu belirtir.
• Duraklamalar. Duraklamaları öğrenmek zordur, çünkü bir politika için neden ve ne zaman duraklayacağı açık değildir. Hareketi akıcı tutun.
• Çok fazla alt görev. Daha fazla alt görev, yörünge segmentleri arasında daha fazla birleştirme anlamına gelir, bu da daha az pürüzsüz hareket ve daha düşük bir üretim başarı oranı sağlar. Kolun herhangi bir şeye çarpma olasılığının düşük olduğu sınırları işaretleyin.
• Eylem gürültüsü yok. Eylem gürültüsü, ortaya çıkan politikaları daha sağlam hale getirir.
• Kayıt çok dar kesilmiş. Kayıt, başarı teriminin tetiklendiği tam karede durursa, tekrar oynatma sırasında yeniden tetiklenmeyebilir. Sona bir tampon bırakın.
• Deterministik olmayan tekrar oynatma. Isaac Lab'daki fizik, env.reset boyunca deterministik olarak yeniden üretilemez, bu nedenle bazı insan demoları tekrar oynatmada başarısız olur. İhtiyacınızdan fazlasını toplayın ve açıklama işleminden sağ çıkanları saklayın. Mimic tarafından oluşturulan bir HDF5 dosyasına giren her şey başarılı bir demondur ve tekrar oynatma daha sonra başarısız olsa bile eğitim için kullanılabilir.

Birleştirilmiş alt görev segmentleri arasındaki interpolasyon adımı kendi ayar düğmesine sahiptir ve ihtiyacınız olan interpolasyon adımı sayısı, robotun ne kadar hızlı hareket ettiğine ve nesne sıfırlama dağılımının ne kadar geniş olduğuna göre değişir. Geniş bir sıfırlama dağılımına sahip karmaşık bir görev, segmentler arasında daha büyük boşluklar bırakır ve bu da sürekli hareket olarak ortaya çıkmak için daha fazla interpolasyon adımı gerektirir. Oluşturulan videolarınız kolun fazlar arasında sendelediğini gösteriyorsa, başlangıç demolarını suçlamadan önce bakmanız gereken parametre budur.

Gerçek lider kol ile bir SO-101 üzerindeki aynı boru hattı

Bu sayfayı okuyan herkes için ilginç olan bu, çünkü bir Isaac Lab'in içine yerleştiren ve zaten sahip olduğunuz fiziksel lider kol ile sürmenizi sağlayan tek açık boru hattıdır. Yazım sırasında 0.4.0 sürümü olan LeIsaac, LeRobot'un EnvHub'ına entegre edilmiş resmi taklit öğrenme simülasyonu oyun alanıdır. Uyumluluk tablosu üç çalışan kombinasyonu listeler; en yenisi Isaac Sim 5.1'i Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 ve Python 3.11 ile eşleştirir ve belgeler 50 serisi kartlar için Isaac Sim 5.0 veya daha yenisini önerir.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Bu kurulumla birlikte, /dev/ttyACM0 üzerindeki lider kol, simüle edilmiş takipçiyi sürer ve doğrudan HDF5'e kaydeder. döngüsü, gerçek kayıttan zaten bildiğinizle aynıdır, sadece takipçi PhysX'te katı bir cisimdir.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Bu kimliklerin çoğu ayrıca -Direct-v0 varyantı olarak da mevcuttur ve python scripts/environments/list_envs.py mevcut listeyi yazdırır. Ayrıca HDF5 dolambaçlı yolunu tamamen atlayabilir ve üç bayrak ekleyerek teleoperasyon sırasında LeRobot formatında yazabilirsiniz. İki uyarı belgenin kendisinden gelmektedir: kaydedici, başlangıç durumlarından kaynaklanan kararsızlığı önlemek için her bölümün ilk 5 karesini otomatik olarak atlar ve teleoperasyonda hafif gecikmelere neden olabilir, ki bu da gösterilerinizin karakterini sessizce değiştiren türden bir şeydir. Ayrıca yalnızca görevin başarılı olarak işaretlediği bölümleri kaydeder.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Çarpma adımı daha sonra bu kayıtlarda çalışır. LeIsaac, Isaac Lab Mimic'i dört komutla sarar, çünkü Mimic, uç efektör ve nesne pozlarından yörüngeleri genelleştirir: eklem alanı eylemlerini IK tabanlı eylemlere dönüştür, açıklama ekle, oluştur, ardından tekrar eklem alanına dönüştür.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Ardından LeRobot'a dönüştürün. Bu, platformun format kuralının devreye girdiği adımdır ve LeIsaac tam da ihtiyacınız olan iki dönüştürücüyü içerir: isaaclab2lerobot.py LeRobot v2'yi yazar, bu GR00T yükleyicilerinin kullandığı formattır ve isaaclab2lerobotv3.py v3'ü şunlar için yazar: Pi0.5, SmolVLA ve ACT. Bu iki betik aynı argümanları alır ancak farklı lerobot sürümlerini kullanır ve yalnızca başarılı bölümler dönüştürülür.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Eğitilmiş bir politika için iki yol

Video dünya modelleri: en yeni katman ve en az ölçülen

DreamGen'in arkasındaki fikir, hedef robotun fiziksel yapısına uyarlanmış bir video üretken modelinin, hiç ziyaret etmediğiniz sahnelerde olası bölümleri hayal edebilmesidir. Boru hattı dört aşamadan oluşur: video dünya modelini ince ayar yapmak, fotogerçekçi sentetik robot videoları oluşturmak, gizli bir eylem modeli veya ters dinamik modeli ile sözde eylem dizilerini kurtarmak ve ardından robot politikasını sonuç üzerinde eğitmek. NVIDIA'nın GR00T-dreams deposu tam olarak bunu uygular.

Manşet sonuç gerçek ve ciddiye alınmaya değer: tek bir ortamdaki tek bir alma-yerleştirme görevinden elde edilen teleoperasyon verileri, hem görülen hem de görülmeyen ortamlarda bir insansı robot üzerinde 22 yeni davranış üretti. Uyarı da aynı derecede gerçek ve üçüncü aşamada yer alıyor.

Birlikte eğitim, gerçekten kazanç sağlayan tariftir

Literatürden tek bir operasyonel ders çıkaracaksanız, bu dersi alın. Simülasyon ve gerçek dünya ortak eğitim çalışması (Maddukuri ve arkadaşları, 2025), iki alanda (bir robot kolu ve bir insansı robot) görüş tabanlı robotik manipülasyon görevlerini çözmek için simülasyon verilerini kullanmanın basit bir yolunu bulmayı amaçladı ve vardığı sonuç, bir karışım üzerinde eğitim yapmanız gerektiğidir. Simülasyon verileri, gerçek dünya görev performansını ortalama yüzde 38 oranında artırdı ve makale, simülasyon ile gerçek dünya verileri arasında belirgin farklılıklar olsa bile bunun geçerli olduğunu açıkça belirtiyor.

Bu son madde, yüzde 38'den daha önemlidir. Bu, simülasyonun faydalı olması için mükemmel bir dijital ikiz olmak zorunda olmadığı anlamına gelir, yeter ki gerçek veriler onu sabitlemek için karışımda bulunsun. Yalnızca simülasyonla aktarım pahalı bir yoldur: aynı makale, bir politikayı yalnızca simülasyonda eğitmenin ve gerçek dünyaya aktarmanın, gerçeklik boşluğunu kapatmak için genellikle önemli insan çabası gerektirdiğini belirtir. Ortak eğitim, politikadan boşluğu kendi başına kapatmasını asla istemeyerek bu çabanın çoğunu atlar.

Pratikte, bu platformda, ortak eğitim tek bir anlama gelir: her iki bölüm setini de aynı LeRobot veri kümesi tutarlı kamera anahtarları, tutarlı eklem sırası ve tutarlı birimlerle birlikte, ardından normal bir ince ayar. Eğitim formunda bir karışım ağırlığı düğmesi yoktur. Eğer 3:1 simülasyon-gerçek oran istiyorsanız, bunu veri kümesine her birinden kaç bölüm koyduğunuzla ifade edersiniz.

Simülasyondan elde edilen en ucuz kazanç, eğitim verisi değildir

Değerlendirmedir. İki karşılaştırmak için görev başına düzinelerce gerçek deneme yapmak bir günlük kol süresi demektir ve kol denemeler arasında kayar. SIMPLER (Li ve arkadaşları, 2024), gerçek politikaları eğitmek yerine puanlamak amacıyla simüle edilmiş ortamlar inşa etti ve ardından simülasyon sıralamasının gerçek sıralamayı ne kadar iyi tahmin ettiğini ölçtü. Tek bir SIMPLER ortamı, tüketici sınıfı bir RTX 4090 üzerinde 640x512 çözünürlükte saniyede 3.500 simülasyon adımı işler; bu da 500 Hz'lik bir simülasyon frekansında gerçek değerlendirmeye göre 7 kat hızlanma sağlar.

Bunlar, altı yaygın açık kaynak kontrol noktası için üç Google Robot görev grubunun ortalamalarıdır: farklı eğitim aşamalarındaki üç RT-1 kontrol noktası, RT-1-X, RT-2-X ve Octo-Base. Gerçek taraftaki deneme sayısı tekdüze değildir, bu alıntı yapmadan önce bilinmesi gereken bir bilgidir: kola kutusu alma için 75 deneme, yakına taşıma için 60, çekmece açma ve kapama görevleri için 54 ve daha uzun olan çekmece-ve-elma görevi için 27 deneme. Doğrulama MSE'ye karşı yapılan karşılaştırma faydalı kısımdır. Doğrulama kaybına göre model seçimi bu kontrol noktalarını kötü sıralar ve görsel eşleştirme altında 0.924'lük bir Pearson r değeri, bir kontrol noktasının SIMPLER'da daha iyi puan alması durumunda tezgahta da çok büyük olasılıkla daha iyi puan alacağı anlamına gelir. Bu, tekrarlanabilir bir gece boyunca çalışan bir puan tablosudur ve simülasyondan gerçeğe eğitim transferi hakkında herhangi bir şeye inanmanızı gerektirmez.

Bu kıyaslama sayılarının bir hakkında size ne anlattığı ve ne anlatmadığı konusunda daha geniş bir bağlam istiyorsanız, bunu ayrı olarak yazdık.

Bu platformun size yardımcı olmadığı durumlar

Sınırları netleştirmek herkesin zamanından tasarruf sağlar. AY-Robots bir kayıt, eğitim ve sunum platformudur. İçinde bir simülatör bulunmamaktadır.

• Isaac Lab yok, MimicGen yok, dünya modeli yok, sahne yazımı yok. Üretilmiş veri istiyorsanız, başka bir yerde üretip sonucu getirirsiniz.
• Eğiticiler LeRobot veri kümelerini tüketir ve başka hiçbir şeyi tüketmez. Bir simülatör çıktısı, girdi olmadan önce dönüştürülmeli ve doğru sürümde olmalıdır: GR00T N1.5 ve N1.7 için v2.0 veya v2.1, Pi0.5, SmolVLA ve ACT için v3.0.
• GR00T'un ince ayar giriş noktası, hiçbir seed'i açığa çıkarmayan bir tyro CLI'dır, bu nedenle GR00T çalıştırmaları bit-bit tekrarlanabilir değildir. Dikkatli bir simülasyon-gerçek ablasyonu yapıyorsanız, bu gerçek bir sınırlamadır. lerobot'un kendi varsayılan seed'i 1000'dir ve ACT, SmolVLA ve Pi0.5 formları bir seed alanı açığa çıkarır.
• Gradyan birikimi yalnızca iki GR00T eğiticisi için uygulanır. Pi0.5 ve SmolVLA için alan formda mevcuttur ancak lerobot 0.5.1'de böyle bir bayrak yoktur, bu yüzden hiçbir şey yapmaz.
• Hızlı görevler için çıkarım, servoların yanında olmalıdır. Kontrol döngüsü, modele bağlı olarak eylem adımı başına 20 ila 485 ms'dir ve genel internet gidiş-dönüş süreleri eklemek, çalışan bir politikayı tereddütlü bir politikaya dönüştürür. Uzak çıkarım, yavaş alma-yerleştirme için uygundur, hızlı reaktif hareket için değil.

Savunabileceğiniz bir bütçe

İki yolu, her birinin gerçekten yayınladığı sayılarla yan yana koyun, karar genellikle düşük maliyetli bir kol üzerindeki tek görevli bir proje için kendiliğinden verilir.

SO-100 üzerinde ilk bir politika için kayıt yapın. ve sizi bir kahve fiyatına sunulan bir kontrol noktasına ulaştırır ve gelecekteki herhangi bir ortak eğitim karışımının gerçek yarısına sahip olursunuz. Çalışan bir temeliniz ve adını verebileceğiniz belirli bir genelleme hatanız olduğunda simülatöre başvurun, örneğin .

Kanıtlara saygı duyan bir tarif

1. 1
   Önce gerçek temel çizgiyi kaydedin

   SmolVLA için 30 bölüm, ACT için 50 bölüm, GR00T N1.7 ve Pi0.5. Bir kez eğitin. Bu politikanın başarısız olduğu her şey, sentetik verileriniz için bir spesifikasyondur.

2. 2
   Genelleme hatasını adlandırın

   Nesne pozu mu? Aydınlatma mı? Masa yüksekliği mi? Engelleyiciler mi? Talimatın farklı bir ifadesi mi? Sentetik veriler aynı anda bunlardan yalnızca birinde iyidir ve hangisi olduğunu söyleyemiyorsanız işe yaramaz.

3. 3
   Bunu kapsayan en ucuz aileyi seçin

   Poz ve düzen varyasyonu: yörünge çarpımı. Aydınlatma ve doku: önce görüntü artırma, sonra dünya modeli. Tamamen yeni sahneler: fiziksel simülasyonlar ve modelleme maliyetini kabul edin.

4. 4
   Üretin, sonra agresifçe atın

   Üretim denemeleri başarısız olur ve Isaac Lab'ın kendi aday başarı oranı, göreve bağlı olarak yüzde 70'ten yüzde 1'in altına kadar değişir. Yalnızca başarılı, görevi tamamlayan yörüngeleri saklayın ve toplu işe güvenmeden önce bir örneği video olarak gözden geçirin.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Birlikte eğitin, değiştirmeyin

   Üretilen bölümleri gerçek bölümlerle, aynı kamera anahtarları ve eklem sıralamasıyla tek bir LeRobot veri kümesinde birleştirin. Yüzde 38'lik rakam, birlikte eğitim rakamıdır.

6. 6
   Gerçek kol üzerinde ve yalnızca orada değerlendirin

   Simüle edilmiş değerlendirme iyi bir sıralama sinyalidir (SIMPLER'ın görsel eşleştirme kurulumunda Pearson r 0.924), ancak kabul testi değildir. İnanmadan önce kontrol noktasını tezgahta çalıştırın.

Gerçek kayıtlara yönelik bir kontrol listesinden başlamak isterseniz, veri toplama kılavuzu kamera yerleşimini, eylem parçalamayı etkilerini ve bir taklit öğrenme veri kümesini kullanılamaz hale getiren hata modlarını kapsar. Formatın ayrıntıları veri kümesi belgelerinde, ve hiperparametre tarafı eğitim belgelerinde.