DROID, BridgeData V2 ve Open X'i bir SO-100 üzerinde kullanma

Bir Google Cloud depolama alanında milyon yörüngeli bir genel veri kümesi ve masanın üzerinde parçaları 110 ila 150 EUR'ya mal olan bir SO-100 var. Birincisi neden ikincisine öğretemiyor? Kısmen öğretebilir, ancak aktarımın neredeyse hiçbiri insanların beklediği yerde gerçekleşmez ve en kolay görünen kısım hiç çalışmaz.

Şunlar takip ediyor: DROID, BridgeData V2 ve Open X-Embodiment içinde ne var, her birinin düşük maliyetli 5 Serbestlik Dereceli bir kolla çakıştığı yerler ve bunun yerine ne yapılacağı. Aşağıdaki her sayı ait olduğu makaleden, veri kümesi kartından veya kaynak dosyasından alınmıştır.

Üç veri kümesinin aslında ne içerdiği

DROID

Üçü arasında en standartlaştırılmış olanı. Her yerde tek bir donanım: Robotiq 2F-85 tutucuya sahip bir Franka Panda, iki ayarlanabilir ZED 2 stereo kamera ve bir bilek ZED Mini, Meta Quest 2 kontrolörleri ile teleoperasyonla kontrol ediliyor, Polymetis aracılığıyla 15 Hz hızında hem eklem hem de uç efektör uzayında kaydedildi. Dil etiketleri daha sonra tasq.ai aracılığıyla, her bölüm.

• 76 bin yörünge, 350 saat, 564 sahne, 84 görev, üç kıtada 50 toplayıcı.
• Başlıca sonuç, bağımsız eğitim değil, ortak eğitimdir: Alan içi gösterimlerle 50/50 oranında karıştırılmış partiler, dağıtımdaki mutlak başarıda bir sonraki en iyi yöntemi %22, dağıtım dışındaki başarıda ise %17 oranında geride bırakmıştır.
• IPEC-COMMUNITY/droid_lerobot: 92,233 episodes, 27,044,326 frames, franka, 15 fps, codebase_version v2.0, three AV1 streams at 180x320, 392 GB.
• 2 GB'lık, 100 bölümlük bir hata ayıklama örneği gs://gresearch/robotics/droid_100 adresinde bulunmaktadır. Oradan başlayın.

BridgeData V2

Hobi kurulumuna en yakın olanı: bir WidowX 250 6-DoF kolu, 24 ortamda ve 13 beceride 5 Hz hızında 60,096 yörünge. Bileşime dikkat edin: 50,365 uzman teleoperasyonlu gösterim ve rastgele betiklenmiş bir al-yerleştir politikasından 9,731 gösterim, yani yaklaşık %16'sı insan gösterimi değildir, bu da taklit öğrenimi kalitesi için önemlidir. Olağan indirme, IPEC-COMMUNITY/bridge_orig_lerobot, 5 fps hızında 53,192 bölüm ve 1,893,026 kare, robot_type widowx olarak rapor etmektedir: makaledeki 60,096'dan daha az, bu nedenle sayıyı meta/info.json dosyasından okuyun, ikisinden birini alıntılamak yerine.

Open X-Embodiment

Aynı anlamda bir veri kümesi değil: 34 laboratuvardan 60 mevcut robot veri kümesi, 22 uygulama ve bir milyondan fazla yörüngeyi kapsayan tek bir RLDS koleksiyonunda bir araya getirildi. BridgeData V2, içinde bridge_orig olarak yer alıyor; google_robot dilimi, fractal20220817_data, 3 fps'de 87.212 bölüme dönüşüyor.

Bir araya getirme işlemi, makalenin açıkça belirttiği bir uyarıyı içeriyor. RT-X deneyleri için yazarlar her kaynağı 7-DoF uç efektör eylemine dönüştürüyor, ancak veri kümeleri arasında koordinat çerçevelerini hizalamıyor ve her robotun orijinal kontrol şemasına göre eylem değerlerinin mutlak veya göreceli konumlar veya hızlar olmasına izin veriyorlar. Vardıkları sonuç: aynı eylem vektörü, farklı robotlar için çok farklı hareketlere neden olabilir.

Uyumsuzluk, dört bölümde

Donanım uyumsuzluğu genellikle belirsiz bir sorun olarak ele alınır. Aslında dört tanedir, farklı şekillerde başarısız olurlar ve ikisi betiklerle düzeltilemez.

1. Serbestlik Dereceleri

Bir SO-100'ün beş kol eklemi ve bir tutucusu vardır. Motor olarak sayıldığında bu 6-DoF bir koldur ve SmolVLA makalesi bunu böyle adlandırır; konumlandırma mekanizması olarak sayıldığında ise 5-DoF'tur ve LeRobot, bileğin yönelimi yalnızca kısmen takip ettiği 5-DOF SO-101 üzerindeki yumuşak yönelimli IK'yı tanımlayan ters-kinematik docstring'inde bunu böyle adlandırır. Bir Franka'nın yedi konumlandırma eklemi vardır. Bu fark, hangi pozların mevcut olduğunu belirler: 5-DoF bir kol genellikle aynı anda rastgele bir konuma ve yönelime ulaşamaz, bu nedenle çözücü, gösterilen hareketten farklı olarak ulaşabileceği en yakın konumu döndürür. Arka plan: serbestlik dereceleri.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

Yani hazır bir DROID kontrol noktası bir kısayol değildir. Physical Intelligence, pi05_droid'i gs://openpi-assets/checkpoints/pi05_droid adresinde gönderir ve kapsamını öven aynı README, bu uzman kontrol noktalarının sizin kurulumunuza genelleşmeyebileceği konusunda uyarır. Durumu sekiz Franka eklem numarasıdır ve görüntü anahtarları exterior_image_1_left ve wrist_image_left'tir. Hiçbir bayrak bunu altı motorlu bir SO-100 komutuna dönüştürmez.

2. Eylem vektörü aslında ne söylüyor

Boyutsallıktan daha derin. LeRobot dönüşümlerinde üçü de tutucunun Kartezyen uzayda nereye gitmesi gerektiğini söyler. Bir SO-100, altı servonun nereye gitmesi gerektiğini söyler. Dönüştürmek, bir yeniden şekillendirme değil, bir kinematik model ve bir çözücü gerektirir.

LeRobot eksik parçayı sağlıyor: SO takipçisi, InverseKinematicsEEToJoints ve ForwardKinematicsJointsToEE adımlarına sahip bir kinematik işlemciye sahiptir. Anahtarları ee.x, ee.y, ee.z artı bir dönüş vektörü ee.wx, ee.wy, ee.wz ve ee.gripper_pos'tur, bu nedenle yön kodlaması bile dosyalardaki roll-pitch-yaw'dan farklıdır. IK adımı, varsayılan olarak 0.01 olan bir orientation_weight alır; docstring'i, eksik tahrikli kollarda yalnızca konum tabanlı IK için 0.0 olarak ayarlanmasını söyler. Köprüyü kurabilirsiniz, ancak ödünç alınan her eylemin yön yarısı yaklaşık olarak kalır.

3. Kontrol hızı

DROID 15 Hz, BridgeData V2 5 Hz, google_robot dilimi 3 fps'dir; pi0'ın yazarları, karışımlarının açık kaynak kısmını 2 ila 10 Hz arasında düşük frekanslı kontrol olarak tanımlar. LeRobot'un DatasetRecordConfig'i varsayılan olarak fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50'dir. 5 Hz verilerle eğitilmiş bir bir eylemin 200 ms'yi kapsadığını öğrendi. 30 Hz'de tekrar oynatıldığında kol sürünür; basitçe yeniden örnekleme yaparsanız, tutucunun kapandığı kareyi bulanıklaştırırsınız. Ayrıca ile kötü etkileşir: 100 adımlık bir öbek 5 Hz'de 20 saniye, 30 Hz'de 3.3 saniyedir.

4. Kameralar

BridgeData V2, her 50 yörüngede iki kamera pozunu rastgele belirledi ve proje sayfasında verilerin çoğunun zaten yalnızca sabit görünümü taşıdığı belirtiliyor. DROID, ayarlanabilir ZED 2 montajları ve bir bilek ZED Mini kullandı. İki adet USB web kameranız göz kararı konumlandırılmış durumda. Kamera pozu, bir ; görsel kodlayıcının odaklandığı şeyin büyük bir kısmı budur ve dosya formatında pozların farklı olduğunu gösteren hiçbir şey yoktur.

Verileri yine de birleştirmeye çalıştığınızda ne olur

Açık plan, birkaç bin DROID bölümü ile kendi 50 bölümünüzü birleştirmektir. LeRobot bunu reddeder ve reddetme, farklı olan üç şeyi belirtir.

1. 1
   Tam 1.7 TB yerine 100 bölümlük örneği çekin

   Yapıyı görmek için 2 GB yeterlidir.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDS'yi LeRobot biçimine dönüştürün

   openx2lerobot, OXE standart dönüşümlerini kapsar ve robot tipini ve kontrol frekansını belirtir. README bu bilgiyi convert.sh dosyasına koyar.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   Her şeyden önce meta/info.json dosyasını okuyun

   Gününüzün geri kalanının çalışıp çalışmayacağına bu dosya karar verir.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   Birleştirmeyi deneyin ve hatayı okuyun

   merge her veri kümesini yükler, ardından validate_all_metadata, fps, robot_type ve özellikleri listedeki ilkine göre kontrol eder ve ilk uyuşmazlıkta hata verir.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

Referans değerleri, ilk listelediğiniz veri kümesinden gelir, bu yüzden mesaj DROID'in 15 fps'si yerine sizin 30 fps'nizden şikayet eder. fps'yi düzeltirseniz robot_type kontrolüne takılırsınız; onu düzeltirseniz, eylem için 6'ya karşı 7 olan özellik kontrolüne takılırsınız. Hiçbir sıralama geçmez ve aynı koruma, kayıt sırasında sanity_check_dataset_robot_compatibility aracılığıyla çalışır.

Peki, aslında ne aktarılıyor?

Ağırlıklar, bölümler değil. Her modern genelci politika, ön eğitimde bunun bir kısmını özümsedi ve siz yayınlanmış bir bunu düzgün bir şekilde yapacak hesaplama gücüne sahip kişiler tarafından zaten uzlaştırılmış olarak devralırsınız. pi0'ın makalesi orantı konusunda açık sözlüdür: zaman adımlarıyla sayıldığında, ön eğitim karışımının %9,1'i OXE, Bridge v2 ve DROID dahil olmak üzere açık kaynak verileridir. Bu rakam pi0'a aittir; her satıcının karışımı farklıdır.

Bu yüzden SmolVLA düşük maliyetli bir kolda farklı davranır. Makalesi, Hugging Face'ten 481 topluluk veri setini, gövde tipine, bölüm sayısına, veri kalitesine ve kare kapsamına göre filtreleyerek seçer: 22.9K bölüm, 10.6M kare, gerçek SO-100 ve SO-101 kolları üzerinde değerlendirilmiştir. Küçük ve eşleşen, büyük ve eşleşmeyenleri yener. Karşılaştırın: ACT against SmolVLA.

İzlemeye Değer Üç Yol

Yol A: Veriyi zaten işlemiş bir kontrol noktasından ince ayar yapın

Çoğu kişi bu yolu tercih etmeli. DROID veya Open X-Embodiment'a asla dokunmayın: ön eğitimi zaten çapraz gövde verilerini emmiş bir politika seçin, kendi bölümlerinizi kaydedin, ince ayar yapın.

ACT dürüst bir uç durumdur: temel bir modeli yoktur, bu nedenle hiçbir genel veri ona ulaşmaz. Bu otomatik olarak bir dezavantaj değildir, çünkü eylem adımı başına 20 ms ile hızlı bir döngüyü kapatabilen beş modelden tekidir, tıpkı ACT sayfası belirttiği gibi. Göreve göre seçim yapın: beşinin karşılaştırması, GR00T N1.7 ile Pi0.5 karşılaştırması, ve 85 modeldeki 332 kıyaslama sonucu arena.

Yol B: DROID'i bir test düzeneği olarak kullanın

100 bölümlük örnek, bu ay indireceğiniz en iyi 2 GB'tır ve eğitim için değildir. Doğru olduğunu bildiğiniz bir veri kümesidir. Dönüştürücünüzü, yükleyicinizi ve kısa bir GPU işini üzerinde çalıştırın; başarısız olan her şey, ucuzken bulunan bir altyapı hatasıdır. NVIDIA bunu ölçekli olarak da yapar: GR00T N1.7 kartı, SimplerEnv'deki Bridge ve Fractal, DROID ve LIBERO için dört adet eğitim sonrası varyantı listeler.

Yol C: Kendi verilerinizi bilinçli olarak kaydedin

Otuz ila elli 76.000'in yanında küçük gelebilir, ta ki sizinkilerin kolunuz, kameralarınız ve masanızla tek olduğunu hatırlayana kadar. LeRobot'un varsayılan ayarlarında, 50 epizot 100 dakikalık gerçek zaman demektir. Bkz. , ve .

Genel verilerden çalışan bir politikaya ulaşmanın iki yolu

Her bir yolun maliyeti

Asimetri kilit noktadır: en çok veri ödünç alan yol en pahalı ve kolunuzu hareket ettirme olasılığı en düşük yoldur. Kendi teleoperasyonunuzla iki saatten az bir süre, başkasının Franka'sının bir terabaytından daha iyidir. Henüz bir kolunuz yok mu? /live kayıt olmadan fiziksel bir SO-100 yayınlar. Ardından ilk politikanızı eğitin, ve belirli kılavuz için SO-100 üzerinde SmolVLA'yı kullanın.