SO-100 Üzerinde ACT'yi Sıfırdan Nasıl Eğitirsiniz

ACT, SO-100 politikaları arasında farklı olandır. GR00T N1.7 ve N1.5 şuradan başlar: nvidia/GR00T-N1.7-3B ve nvidia/GR00T-N1.5-3B, Pi0.5 şuradan: lerobot/pi05_base. ACT sıfırdan başlar: temel bir kontrol noktası yoktur, çünkü bir temel model değildir. Yaklaşık 80 milyon parametreli bir transformatördür ve onu kolunuzda, kendi aydınlatmanız altında, tek bir görev için sıfırdan eğitirsiniz.

Bu aynı zamanda, 3 milyar parametreli bir VLA'nın 152 ila 485 ms'ye ihtiyaç duyduğu ve çalıştırma başına 4 ila 12 USD yerine 1 ila 3 USD'ye mal olduğu yerde, bir kontrol adımını 20 ms'de çalıştırmasının nedenidir. Bu kılavuz, lerobot ile manuel yolu anlatır. Bir SO-100 üzerinde: kayıt, act yapılandırması, neyin chunk_size ve n_action_steps kontrol ettiğini, 100000 adımlık programı, dağıtımı. Ardından, platformun yardımcı olmadığı durumlar da dahil olmak üzere AY-Robots üzerinde aynı iş.

ACT aslında nedir

Action Chunking with Transformers, ALOHA makalesinden gelmektedir: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, Zhao, Kumar, Levine ve Finn tarafından yazılan, arXiv, 23 Nisan 2023 tarihli. Kurulum, 50 Hz hızında kayıt yapar ve 480x640 çözünürlükte 30 fps yayın yapan dört web kamerası kullanır: ikisi tutucularda, biri üstte, biri önde. Özet, 10 dakikalık gösterimlerden sonra, şeffaf bir sos kabını açma ve bir pili yuvaya yerleştirme dahil olmak üzere altı beceride %80 ila %90 başarı oranı olduğunu iddia ediyor.

Kayıt oturumu planlarken makalenin ana kısmı daha faydalıdır: görev başına 50 gösterim, ancak Thread Velcro için 100 gösterim. Bu, 10 ila 20 dakikalık veri ve sıfırlamalar sayıldığında 30 ila 60 dakikalık gerçek zaman demektir. Başarı da tekdüze değildir: Thread Velcro %20, Put On Shoe %92, Cup Open %84, Prep Tape %64 ile sonuçlanır.

Eylem öbekleme tüm fikirdir

Sıradan davranışsal klonlama, bir gözlemi bir eyleme eşler ve hatalar birikir: bir sapma kolu dağılım dışına çıkarır, daha kötü bir eylem üretir ve otuz adım sonra tutucu nesnenin hiçbir yerinde değildir. Eylem öbekleme aynı anda k eylemi tahmin eder ve bunları yürütür, böylece etkin ufku k faktörü kadar düşürür. Ayrıca insan verilerine özgü bir rahatsızlığı da ele alır: teleoperatörler duraklar ve tek adımlı Markovcu bir ilke daha önce ne olduğuna bağlı olan bir duraklamayı modelleyemez.

Makale, k'yi iddia etmek yerine ablasyon yapar. Zamansal topluluk kapalıyken, dört ayar üzerinden ortalama alındığında, başarı k = 1'de yüzde 1'den k = 100'de yüzde 44'e yükselir, ardından ilke açık döngü kontrole yaklaştıkça 200 ve 400'de azalır. Bu eğri, varsayılanın 100 olmasının nedenidir.

• chunk_size: kod çözücünün her ileri geçişte kaç gelecek eylem tahmin ettiği. Varsayılan 100.
• n_action_steps: tekrar sorgulamadan önce bunlardan kaçını yürüttüğünüz. Varsayılan 100, bu nedenle lerobot tüm bloğu açık döngüde çalıştırır.
• lerobot, n_action_steps <= chunk_size değerini doğrular ve tersini yaparsanız bir ValueError hatası verir.

Operasyonel olarak önemli olan, chunk_size'ın kare hızına bölünmesidir. lerobot'un SO-100 örneklerinin kullandığı 30 fps'de, 100'lük bir blok, tek bir gözlemden yaklaşık 3.3 saniye taahhüt eder. Görev bu pencere içinde bir düzeltme gerektiriyorsa, n_action_steps, değil chunk_size: uzun tahmini korur ve daha sık yeniden gözlemlersiniz.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT bir temel modeli yendiğinde

Beş eğitilebilir politika yan yana, AY-Robots'un kiraladığı GPU'nun boyutunu belirlemek için ölçtüğü ve kullandığı sayılarla birlikte.

Görev ve sahne sabit olduğunda ve hareketin hızlı ve hassas olması gerektiğinde ACT'yi seçin. Bir bir kontrol noktasının birden fazla talimatı kapsaması gerektiğinde seçin. İki sayfa kararı başa baş ele alır: ve . Yayınlanmış karşılaştırmalar için, her sayıyı kaynağına bağlar.

Başlamadan önce ihtiyacınız olanlar

Bir takipçi kol, için bir lider kol, en az bir kamera, 24 GB GPU. ACT yalnızca görüntüleri ve eklem pozisyonlarını okur. İki kamera idealdir: nesnelerin nerede olduğunu gösteren sabit bir ön görünüm, 'ın neye dokunmak üzere olduğunu gösteren bir bilek kamerası, ALOHA'da olduğu gibi.

Çıplak koldan kaydedilmiş veri setine

Aşağıdaki akış lerobot 0.6.x'tir. Kalibre edilmiş bir kolunuz ve bir veri setiniz varsa bunu atlayın. Aksi takdirde SO-100 başlangıç kılavuzu, montajı kapsar, kayıt kılavuzu yakalamayı ve veri seti belgeleri formatı kapsar.

1. 1
   lerobot'u doğru ekstralarla kurun

   Kayıt için core_scripts, eğitim için training, Feetech servolar için feetech gerekir. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Her kolun USB bağlantı noktasını bulun

   Her iki kol takılıyken çalıştırın, istendiğinde birini çıkarın. Linux'ta düğüm izinlerini açmanız gerekebilir.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Motor kimliklerini ve baud hızını ayarlayın

   SO-100'de bu, montajdan önce gerçekleşir: SO-101'in aksine, konektörlere bir kez yapıldıktan sonra ulaşılamaz. Komut dosyası, tutucudan başlayarak veri yolunu her seferinde bir motor olacak şekilde tarar ve kimlikleri EEPROM'a yazar.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Her iki kolu kalibre edin

   Her eklemi menzilinin ortasına ayarlayın, Enter tuşuna basın, ardından her birini tam menzili boyunca hareket ettirin. Kalibrasyon, bir kol üzerinde eğitilmiş bir politikanın başka bir kol üzerinde çalışmasını sağlar. Aynı id'yi yeniden kullanın.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Kameralar açıkken bir kez teleoperasyon yapın

   lerobot'un genel kuralı: görevi yalnızca kamera görüntülerine bakarak yapabilmelisiniz. Eğer yapamıyorsanız, ACT de yapamaz. Bu, sonraki hata ayıklamadan daha fazla kötü veri kümesini yakalar.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 bölüm kaydedin

   50, AY-Robots minimumudur ve ALOHA'nın görev başına kullandığı miktardır. lerobot, nesne konumu başına 10, kameralar sabit, kavrama tutarlı olmasını önerir. n bir bölümü sonlandırır, r yeniden kaydeder, q durdurur ve kodlar.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Eğitimden önce en az beş bölümü tekrar oynatın. LeRobot veri kümesi formatı kamera akışlarını, eklem durumlarını ve eylemleri her bir bölüm, olarak depolar ve tekrar oynatma bu eylemleri kola geri gönderir. Eğer tekrar oynatma görevi yapmıyorsa, veri bunu içermiyor demektir ve eğitim bunu icat etmeyecektir.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT politikasını eğitme

Bu komutun tamamıdır. ACT'ye özgü her şey zaten varsayılandır, bu yüzden lerobot ACT sayfası onlarla başlamanızı önerir.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ACTConfig'i yükler, bu, veri setinizin kaydettiği motor ve kamera sayısına uyum sağlar, böylece gözlem şeklini asla belirtmezsiniz. --wandb.enable=true isteğe bağlıdır ve buna değerdir: kayıp eğrisi, 100000 adımlık bir çalıştırmadaki tek ucuz sinyaldir. Zamanlama, ACTConfig'ten değil, lerobot'un eğitim yapılandırmasından gelir: 100000 adım, toplu iş 8, çekirdek 1000, her kontrol noktası 20000 adımda bir, her 200 adımda bir günlük kaydı.

Tam bir çalıştırma, 020000'den 100000'e kadar beş kontrol noktası dizini ve bir last sembolik bağlantı bırakır. Hepsini saklayın: en iyi politika genellikle sonuncusu değildir.

Süre: makalede 11 GB RTX 2080 Ti üzerinde yaklaşık 5 saat, lerobot'un ACT sayfasına göre 100 bin adım için birkaç saat, AY-Robots 24 GB katmanında 2 ila 5 saat. Süreyi kısaltmayın. Referans deposunun README'si, sarsıntılı veya duraklayan bir politikanın genellikle daha fazla eğitim gerektirdiğini belirtir, çünkü kayıp platosundan sonra başarı ve akıcılık artmaya devam eder: gerçek dünya verileri için en az 5000 epoch veya platodan sonra 3 ila 4 kat daha fazla süre ister.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Eğitilmiş politikayı kola uygulama

Dağıtım lerobot-rollout kullanır. Kamera anahtarları kaydedilenlerle eşleşmelidir: front ve wrist üzerinde eğitilmiş bir politika cam0 ve cam1'i kabul etmeyecektir, ve rename_map yardımcı olmaz, çünkü önceden eğitilmiş bir kontrol noktasına ihtiyaç duyar. Görev dizisi atlanabilir; lerobot'un kendi örneği bunu ACT için atlanabilir olarak işaretler.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Son model yerine bir kontrol noktasını sabitlemek için --policy.pretrained_revision ekleyin. Bunun için çalıştırmanın --save_checkpoint_to_hub=true ile başlaması gerekir, varsayılan olarak kapalıdır: bu olmadan lerobot sadece son modeli iter. Bununla birlikte, her kontrol noktası sıfırla doldurulmuş adımıyla etiketlenir, bu yüzden --policy.pretrained_revision=060000 60000 adımlık olanı kurtarır. Bunu gerçek kol üzerinde 100000 ile karşılaştırmak, mevcut en ucuz deneydir.

Aynı kontrol noktasına iki yol

Yukarıdakilerin hepsi manuel yoldur ve çalışır. Platform yolu, bir GPU veya Python ortamına sahip olmama karşılığında kontrolü feda eder.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Gerçekte ne yanlış gidiyor

Acının neredeyse hiçbiri eğitim komutunda değildir. İlk seferde ne sıklıkla sorun çıkardıklarına göre sıralanmış, etrafındaki şeylerde yatar.

İki satır vurguyu hak ediyor. ACT, LeRobot v3.0 üzerinde eğitim yaparken, GR00T'un yükleyicisi üzerinde çöküyor ve v2.1'e ihtiyaç duyuyor, bu nedenle ACT'yi eğiten bir veri kümesi GR00T çalışmasını başarısız kılabilir. Ve son satırda iki düzeltme var: ACT yazarları sarsıntılı hareketi daha fazla eğitimle yanıtlıyor, oysa n_action_steps 100'de gerçek bir takılma bir öbek sınırına denk gelir, 30 fps'de her 3.3 saniyede bir görünür bir duraklama. Bilmeniz gereken iki şey daha: tek bir ölü eklem genellikle bir hiç yazılmamış bir servo kimliği, ve yaklaşan ama asla kapanmayan bir tutucu gösterilerde çok az tutucu aralığı anlamına gelir. Tam dizin: hata modu sayfaları.

Bir çalıştırmanın maliyeti nedir

Bu, daha sonra bir VLA isteseniz bile ACT ile başlamak için bir argümandır. Başarısız bir ACT çalıştırması bir kahve fiyatına mal olur ve veri kümenizin görevi içerip içermediğini size saatler içinde söyler. Başarısız bir GR00T çalıştırması aynı ders için bunun dört katına mal olur. Daha sonra GR00T N1.7 veya SmolVLA yükseltmek bir yeniden inşa değil, bir form değişikliğidir. Arka plan: görsel-dil-eylem modelleri, eksiksiz SO-100 kılavuzu, ilk politikanızı eğitin ve taklit öğrenimi. Kolunuz yok mu? Canlı sayfa gerçek bir SO-100'ü kaydolmadan sürmek için yayınlar.