24 GB GPU'da SmolVLA Nasıl Eğitilir (lerobot 0.6.1)

Gerçek bir kol üzerinde görsel dil eylem modeli isteyen çoğu kişi donanım sınırında durur. GR00T N1.7 ve Pi0.5 her biri yaklaşık üç milyar parametreye sahiptir ve bir A100 80 GB veya bir H100 ister. Eğer sahip olduğunuz bir RTX 4090'lı bir oyun bilgisayarıysa, yolun sonu budur. SmolVLA bir istisnadır: 450 M parametre, LeRobot içinde, tek bir tüketici kartında ince ayar yapmak ve bir CPU'dan hizmet vermek için tasarlanmıştır.

Önce manuel yol: lerobot'u kurun, lerobot/smolvla_base kontrol noktasını çekin, gerçek komutu çalıştırın, çalışırken okuyun. Sonra platform yolu ve nerede yardımcı olmadığı.

SmolVLA nedir, kontrol edebileceğiniz sayılarla

SmolVLA, küçük bir görsel dil modeline entegre edilmiş bir akış eşleştirme politikasıdır. Omurgası SmolVLM2-500M-Video-Instruct'tır; makale, dil modelinin yalnızca ilk 16 katmanını kullanır, her kamera karesini görüntü döşemesi yerine piksel karıştırma ile 64 görsel belirteçle sınırlar ve her ikinci blokta çapraz dikkat ile kendi kendine dikkat katmanını birbirine karıştırır. Çıkarım maliyeti, sonradan akla gelen bir şey değil, bir tasarım kısıtlamasıydı.

Kıyaslamalar, insanların neden 450 M'lik bir modelle uğraştığını açıklıyor. LIBERO'da, 7 B'lik OpenVLA için 76.5'e ve 3.3 B'lik robotik ön eğitimli Pi0 için 86.0'a karşı ortalama %87.3 başarı elde eder; Meta-World'de ise 47.9'a karşı 57.3. Gerçek SO-100 donanımında, çok görevli eğitim, alma ve yerleştirmede %75, istiflemede %90, sıralamada %70 başarı sağlayarak ortalama %78.3 elde ederken, ACT görev başına eğitilmiş ACT ortalama %48.3 başarı elde etti. Aynı satırlar, SmolVLA arena girişi ve ACT ile SmolVLA karşılaştırması içindeki her yayınlanmış VLA'nın yanında yer almaktadır.

Neden 24 GB'lık bir kart ilk çalıştırma için doğru seçimdir

LeRobot, bu amaçla depodaki en faydalı sayfa olan bir hesaplama boyutlandırma kılavuzu sunar. Politikaları omurga boyutuna göre gruplandırır ve lerobot varsayılanı olan AdamW ile 8'lik bir toplu iş boyutunda ölçülen her grup için bir VRAM zarfı verir. Yalnızca optimize edici durumu, çıplak bir ileri ve geri geçişe göre yüzde 30 ila 100 ekler, bu nedenle bunlar yalnızca ağırlık rakamları değildir.

Sekiz toplu iş boyutunda on ila on altı gigabayt argümandır: 24 GB'lık bir kart buna ek olarak veri yükleyiciyi de barındırır. AY-Robots, SmolVLA'yı RTX 4090 veya herhangi bir 24 GB'lık karta, minimum 30 bölüm, LeRobot v3.0 veri ile, eylem adımı başına 245 ms olarak yerleştirir. Kiralanan bu kart, saatte 0.30 ila 0.60 USD'den 2 ila 5 saat, yani yaklaşık 1 ila 3 USD'ye bir ince ayar çalıştırması demektir; GR00T ve Pi0.5'in ihtiyaç duyduğu 80 GB'lık katmanda ise 4 ila 12 USD'ye mal olur (fiyatlandırma). Başarısız bir SmolVLA çalıştırması bir kahve parasıdır; başarısız bir GR00T çalıştırması ise öğle yemeği.

Adım 0: Çalışmayı bayraklar değil, veri seti belirler

Kayıt kötüyse aşağıdaki hiçbir şeyin önemi yoktur. LeRobot SmolVLA sayfası açıkça belirtiyor: referans veri seti 5 küp pozisyonunda 50 bölümden oluşuyordu, pozisyon başına 10, ve aynı görev 25 bölümde kötü performans gösterdi. Varyasyon başına tekrar genelleşir, ham bölüm sayısı genelleşmez. Hiç kayıt yapmadınız mı? Şuradan başlayın: ilk veri setinizi kaydedin, ile masaüstü istemcisi, bir teleoperasyon oturumundan LeRobot formatında yazar veya veri seti dizininden birini ödünç alın.

• AY-Robots üzerinde en az 30 bölüm, LeRobot referans tarifi için yaklaşık 50.
• Dağıtım sırasında beklediğiniz her varyasyon, birkaç kez tekrarlanmış.
• Kayıt ve dağıtım zamanında aynı şekilde yazılmış tek bir görev dizisi. Model bu metne göre koşullandırılır.
• Sabit kameralar. Kayıt ve dağıtım arasında hareket ettirilen bir kamera, temiz bir kayıp eğrisinin hareketsiz bir kol vermesinin en yaygın nedenidir.
• Hiç eğitmediğiniz, ayrılmış bir varyasyon, böylece karşı test edebileceğiniz dürüst bir şeye sahip olursunuz.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Daha fazlası için yüksek kaliteli VLA eğitim verisi nasıl toplanır. Kısa versiyonu: Kasıtlı varyasyon içeren tek bir görevin 30 ila 50 temiz bölümü, üç görevin 200 özensiz bölümünü, hiçbir hiperparametrenin kapatamayacağı bir farkla yener.

lerobot 0.6.1 Kurulumu

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Temel lerobot kurulumu incedir ve ağır bağımlılıkları ek paketlerin arkasına gizler: smolvla transformers, num2words ve accelerate ekler, training veri kümesi yığınını ve wandb'yi, core_scripts donanım ve görselleştirme bağımlılıklarını ekler. Linux'ta kurulum yolu aynı zamanda CUDA tekerleğinizi de belirler: PyPI varsayılanı, sürücü tabanı 580.65 olan bir cu130 tekerleğidir, bu nedenle daha eski bir sürücüde önce cu128 dizininden torch'u, ardından lerobot'u kurun.

Eğitim çalıştırması, komut komut

1. 1
   Hub'a Karşı Kimlik Doğrulama

   Temel kontrol noktası Hub'dan gelir ve veri setiniz de muhtemelen oradadır.

   bash

   hf auth login

2. 2
   Seçenekleri Bir Kez Okuyun

   Pipeline ve politika yapılandırmasının her alanı bir bayraktır. Kaynağa dalmadan önce göz gezdirin.

   bash

   lerobot-train --help

3. 3
   İnce Ayarı Başlatın

   Belgelerdeki örnek, tek bir A100 üzerinde 64'lük bir parti çalıştırır; hesaplama kılavuzunun kendi A100 40 GB'lık referansı 16'lık bir partidir ve 8, 24 GB'lık eşdeğeridir. Burada bilerek bir zamanlayıcı bayrağı yok, aşağıya bakın.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Sadece Kaybı Değil, Log Satırını Okuyun

   Her --log_freq adımında lerobot, loss, grdn, lr, updt_s, data_s, smp/s ve CUDA'da mem_gb değerlerini yazdırır. mem_gb, partinin sığıp sığmadığını, lr, zamanlamanın azalıp azalmadığını ve data_s'nin updt_s'ye yaklaşması, veri yükleyicinin darboğaz olduğunu, GPU'nun olmadığını gösterir.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Karşılaştırabileceğiniz Kontrol Noktalarını Toplayın

   save_freq varsayılan olarak 20000'dir, bu nedenle 20000 adımlık bir çalıştırma tek bir kontrol noktası bırakır ve karşılaştıracak hiçbir şey olmaz. 2000 olarak ayarlayın. Hub'a göndermek için --policy.repo_id gereklidir.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Makine Ölürse Devam Edin

   --config_path'ı kontrol noktasının yanındaki train_config.json dosyasına yönlendirin. lerobot, devam etmediğiniz sürece mevcut bir output_dir'e başlamayı reddeder, bu nedenle bir çalıştırmayı yanlışlıkla üzerine yazamazsınız.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Sonucu Gerçekten Değiştiren Bayraklar

Hiçbir şeye dokunmazsanız devraldığınız varsayılanlar

Bir ilke yapılandırması lerobot'ta kendi optimize edici ve zamanlayıcı ön ayarını taşır ve eğer use_policy_training_preset=false ayarlamazsanız bu ön ayarlar geçerli olur. SmolVLA eğitimi hakkında insanların sorduğu soruların yarısı, varlığından haberdar olmadıkları bir varsayılan tarafından yanıtlanır.

İnsanları şaşırtan iki satır şunlardır: freeze_vision_encoder ve train_expert_only, ikisi de doğru. Varsayılan olarak yaklaşık 100 M parametre eğitirsiniz, 450 M değil, bu yüzden 24 GB'a sığar. LeRobot'un dört GPU'lu H100 kümesindeki kendi referans çalışması her ikisini de yanlış yapar; tek bir 24 GB kartta bu, çalışan bir çalıştırmayı dönüştürür.

Çalışma ne kadar sürer ve kaç adım yeterlidir

LeRobot, yaklaşık 50 bölümlük bir veri kümesi üzerinde beş dönem için, 30 fps'de yaklaşık 45000 karelik gerçek zamanlı referanslar yayınlar. Belgeler, büyüklük sırası rakamları olduğunu söylüyor, ancak bunlar bir saat beklemekle bir gün beklemek arasındaki farktır.

İnce ayarlı politikayı kola geri yükleme

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Eylem adımı başına 245 ms'yi yanlış okumak kolaydır: politika chunk_size = 50 ileri geçiş başına eylem yayınlar ve n_action_steps = 50 tanesini yürütür, bu nedenle bu maliyeti ne sıklıkta ödeyeceğiniz, servoların ne sıklıkta komut aldığına göre değil, bu ayarlar tarafından belirlenir. İşte bunu eylem parçalama sağlar ve 245 ms'lik bir modelin 30 Hz'lik bir kolu neden çalıştırabildiğini açıklar. Geriye kalan ise çıkarım gecikmesi parçanın sonunda.

Üçüncü sıra, çoğu yazının atladığı kısımdır. Asenkron çıkarım yaklaşık yüzde 30 daha hızlıdır ve sabit bir pencerede verimi yaklaşık olarak iki katına çıkarır; makale başarı oranlarını karşılaştırılabilir olarak adlandırır ki ortalama olarak öyledir. Bunun altında, sıralama yüzde 70'ten yüzde 50'ye düşerken, alma ve yerleştirme yüzde 5 arttı. lerobot 0.6.1, aynı ikili dosyada diğer kaldıraç olan --inference.type=rtc komutunu kullanarak dağıtımı gerçek zamanlı parçalamaya geçirir; bu, betiğin kendi kullanım bloğunun yavaş VLA'lar, Pi0, Pi0.5 ve SmolVLA için önerdiği bir özelliktir.

Aynı kontrol noktasına iki yol

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

SmolVLA yanlış seçim olduğunda

SmolVLA'nın doğru ilk deneme olup olmadığının testi, çalışıp çalışmadığı değil, hatanın size bir şey söyleyip söylemediğidir. Yüzde 60 veya 70'e ulaşırsanız, daha büyük bir model makul bir sonraki harcamadır: veri sinyal taşır. Yüzde 10'a ulaşırsanız, 3 B'lik bir model de büyük olasılıkla yüzde 10'a ulaşır ve bunu on iki dolar yerine üç dolara öğrenmiş olursunuz.

Daha fazla harcamadan önce okumaya değer: Pi0.5, SmolVLA'ya karşı aynı fikir üzerinde daha fazla kapasite için ve GR00T N1.7, SmolVLA'ya karşı NVIDIA yolu için, her ikisi de 80 GB katmanında, çalıştırma başına 4 ila 12 USD. Diğer yol, ACT daha ucuz bir temeldir: 80 M parametre, eylem adımı başına 20 ms, dil koşullandırması yok. Beşinin hepsi şurada bulunur: politikalar sayfası; arena 85 modele ve 332 kıyaslama sonucuna sahiptir.

Herhangi bir şeyi ölçeklendirmeden önceki kontrol listesi

1. lr 2.5e-6 tabanına ulaştı mı? 30000 adımdan önce lerobot bozunumu yeniden ölçeklendirir ve başlangıçta bunu belirtir; üzerinde ise --policy.scheduler_decay_steps değerini kendiniz ayarlayın.
2. Birden fazla kontrol noktası ve --dataset.eval_split ile ayrılmış bölümler, böylece değerlendirme kaybının bir anlamı olur.
3. Politika hiç hareket ediyor mu? Hareketsiz bir kolla düşen bir kaybın belirli nedenleri vardır: kayıp düşüyor, politika hiçbir şey yapmıyor.
4. Sahne değişikliğine dayanıyor mu? Değilse: politika yalnızca tek bir kurulumda çalışıyor.
5. Tohumu not aldınız mı? lerobot varsayılan olarak 1000'dir, bu nedenle iki dokunulmamış çalıştırma karşılaştırılabilir kalır.
6. Ancak o zaman: daha fazla bölüm, daha fazla varyasyon veya daha büyük bir model. Bu sırayla.

Bu modellerin neden var olduğu ve dil girdisiyle ne yaptıkları için, arka plandır; montajı şuradan çalıştırır: ilk çalıştırmasına kadar. Bitmiş kontrol noktası için, ; eğer kol hiç görünmezse, .