Cara Melatih SmolVLA pada GPU 24 GB (lerobot 0.6.1)

Kebanyakan orang yang menginginkan model tindakan bahasa visual pada lengan robot sungguhan berhenti pada batas perangkat keras. GR00T N1.7 dan Pi0.5 masing-masing sekitar tiga miliar parameter dan membutuhkan A100 80 GB atau H100. Jika yang Anda miliki adalah PC gaming dengan RTX 4090, itu adalah akhir dari perjalanan. SmolVLA adalah pengecualian: 450 J parameter, di dalam LeRobot, dibangun untuk fine-tuning pada satu kartu konsumen dan melayani dari CPU.

Rute manual terlebih dahulu: instal lerobot, tarik checkpoint lerobot/smolvla_base, jalankan perintah sebenarnya, baca jalannya saat itu terjadi. Kemudian rute platform, dan di mana itu tidak membantu.

Apa itu SmolVLA, dalam angka yang dapat Anda periksa

SmolVLA adalah pencocokan aliran kebijakan yang disematkan pada model bahasa visual kecil. Tulang punggungnya adalah SmolVLM2-500M-Video-Instruct; makalah ini hanya mempertahankan 16 lapisan pertama dari model bahasanya, membatasi setiap bingkai kamera menjadi 64 token visual dengan pengacakan piksel alih-alih pengubinan gambar, dan menyisipkan perhatian silang dengan lapisan perhatian diri setiap blok kedua. Biaya inferensi adalah batasan desain, bukan pemikiran di kemudian hari.

Tolok ukur adalah alasan orang repot-repot dengan model 450 M. Pada LIBERO, rata-ratanya 87,3 persen dibandingkan 76,5 untuk OpenVLA pada 7 B dan 86,0 untuk Pi0 yang dilatih robotika pada 3,3 B; pada Meta-World, 57,3 dibandingkan 47,9. Pada perangkat keras SO-100 yang sebenarnya, pelatihan multi-tugas memberikan 75 persen pada pengambilan dan penempatan, 90 pada penumpukan, 70 pada penyortiran, rata-rata 78,3, di mana ACT yang dilatih per tugas rata-rata 48,3. Baris yang sama berada di samping setiap VLA yang diterbitkan di entri arena SmolVLA dan perbandingan ACT dengan SmolVLA.

Mengapa kartu 24 GB adalah pilihan yang tepat untuk percobaan pertama

LeRobot menyediakan panduan ukuran komputasi, halaman paling berguna di repositori untuk ini. Ini mengelompokkan kebijakan berdasarkan ukuran backbone dan memberikan satu batas VRAM per kelompok, diukur pada ukuran batch 8 dengan AdamW, standar LeRobot. Keadaan optimizer saja menambahkan 30 hingga 100 persen di atas satu kali forward dan backward pass, jadi ini bukan angka khusus bobot.

Sepuluh hingga enam belas gigabyte pada batch 8 adalah argumennya: kartu 24 GB cocok untuk itu ditambah dataloader. AY-Robots menempatkan SmolVLA pada RTX 4090 atau kartu 24 GB apa pun, minimal 30 episode, LeRobot v3.0 data, 245 ms per langkah aksi. Disewa, itu adalah 2 hingga 5 jam dengan biaya 0.30 hingga 0.60 USD per jam, sekitar 1 hingga 3 USD per fine-tuning percobaan, dibandingkan 4 hingga 12 USD pada tier 80 GB yang dibutuhkan GR00T dan Pi0.5 (harga). Percobaan SmolVLA yang gagal adalah harga secangkir kopi; percobaan GR00T yang gagal, harga makan siang.

Langkah 0: dataset menentukan jalannya, bukan flag

Tidak ada di bawah ini yang penting jika rekaman buruk. Halaman LeRobot SmolVLA blak-blakan: dataset referensi adalah 50 episode di 5 posisi kubus, 10 per posisi, dan tugas yang sama pada 25 episode berkinerja buruk. Pengulangan per variasi menggeneralisasi, jumlah episode mentah tidak. Belum pernah merekamnya? Mulai di rekam dataset pertama Anda, dengan klien desktop, yang menulis format LeRobot dari sesi teleoperasi, atau pinjam satu dari direktori dataset.

• Setidaknya 30 episode di AY-Robots, sekitar 50 untuk resep referensi LeRobot.
• Setiap variasi yang Anda harapkan saat peluncuran, diulang beberapa kali.
• Satu string tugas, dieja secara identik pada waktu perekaman dan peluncuran. Model dikondisikan pada teks tersebut.
• Kamera tetap. Kamera yang digerakkan antara perekaman dan peluncuran adalah alasan paling umum mengapa kurva kerugian yang bersih menghasilkan lengan yang tidak bergerak.
• Variasi yang disimpan yang belum pernah Anda latih, sehingga Anda memiliki sesuatu yang jujur untuk diuji.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Lebih lanjut tentang ini di cara mengumpulkan data pelatihan VLA berkualitas tinggi. Versi singkatnya: 30 hingga 50 episode bersih dari satu tugas dengan variasi yang disengaja mengalahkan 200 episode ceroboh dari tiga tugas, dengan selisih yang tidak dapat ditutup oleh hyperparameter apa pun.

Instal lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Instalasi dasar lerobot tipis dan membatasi dependensi berat di balik fitur tambahan (extras): smolvla menambahkan transformers, num2words, dan accelerate, training tumpukan dataset dan wandb, core_scripts dependensi perangkat keras dan visualisasi. Di Linux, jalur instalasi juga menentukan CUDA wheel Anda: default PyPI adalah cu130 wheel dengan batas driver 580.65, jadi pada driver yang lebih lama, instal torch dari indeks cu128 terlebih dahulu, lalu lerobot.

Proses pelatihan, perintah demi perintah

1. 1
   Otentikasi ke Hub

   Checkpoint dasar berasal dari Hub, dan dataset Anda mungkin juga.

   bash

   hf auth login

2. 2
   Baca opsi-opsinya sekali

   Setiap bidang konfigurasi pipeline dan kebijakan adalah sebuah flag. Bacalah sekilas sebelum mendalami kodenya.

   bash

   lerobot-train --help

3. 3
   Mulai fine-tune

   Contoh di dokumentasi menjalankan batch 64 pada satu A100; panduan komputasi sendiri merekomendasikan batch 16 untuk A100 40 GB, dan 8 adalah setara untuk 24 GB. Tidak ada flag scheduler di sini dengan sengaja, lihat di bawah.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Baca baris log, bukan hanya loss

   Setiap --log_freq langkah, lerobot mencetak loss, grdn, lr, updt_s, data_s, smp/s dan, pada CUDA, mem_gb. mem_gb menunjukkan apakah batch muat, lr menunjukkan apakah jadwal meluruh, dan data_s yang mendekati updt_s berarti dataloader adalah bottleneck, bukan GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Kumpulkan checkpoint yang dapat Anda bandingkan

   save_freq defaultnya 20000, jadi proses 20000 langkah hanya menyisakan satu checkpoint dan tidak ada yang bisa dibandingkan. Atur ke 2000. Mendorong ke Hub memerlukan --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Lanjutkan jika mesin mati

   Arahkan --config_path ke train_config.json di samping checkpoint. lerobot menolak untuk memulai ke output_dir yang sudah ada kecuali Anda melanjutkan, jadi Anda tidak dapat menimpa proses secara tidak sengaja.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Flag yang benar-benar mengubah hasil

Pengaturan default yang Anda warisi jika Anda tidak mengubah apa pun

Sebuah kebijakan konfigurasi di lerobot membawa preset pengoptimal dan penjadwalnya sendiri, dan kecuali Anda mengatur use_policy_training_preset=false preset tersebut akan berlaku. Setengah dari pertanyaan yang diajukan orang tentang pelatihan SmolVLA dijawab oleh pengaturan default yang tidak mereka ketahui keberadaannya.

Dua baris yang mengejutkan orang adalah freeze_vision_encoder dan train_expert_only, keduanya benar. Secara default, Anda melatih sekitar 100 M parameter, bukan 450 M, itulah sebabnya ia muat di 24 GB. Referensi LeRobot sendiri yang berjalan pada klaster H100 empat-GPU mengubah keduanya menjadi false; pada satu kartu 24 GB, hal itu mengubah jalannya proses yang berfungsi menjadi .

Berapa lama proses berjalan, dan berapa banyak langkah yang cukup

LeRobot menerbitkan patokan waktu nyata untuk lima epoch di atas dataset sekitar 50 episode, sekitar 45000 frame pada 30 fps. Angka-angka orde besaran, kata dokumen, tetapi itu adalah perbedaan antara mengharapkan satu jam dan satu hari.

Menjalankan kembali kebijakan yang telah disetel halus pada lengan robot

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms per langkah aksi mudah disalahartikan: kebijakan mengeluarkan chunk_size = 50 aksi per forward pass dan mengeksekusi n_action_steps = 50 di antaranya, jadi seberapa sering Anda membayar biaya tersebut diatur oleh parameter tersebut, bukan oleh seberapa sering servo menerima perintah. Itulah yang dibeli oleh pemotongan aksi (action chunking), dan mengapa model 245 ms dapat menggerakkan lengan 30 Hz. Yang tersisa adalah latensi inferensi di akhir potongan.

Baris ketiga itulah yang dilewatkan sebagian besar tulisan. Inferensi asinkron sekitar 30 persen lebih cepat dan kira-kira menggandakan throughput dalam jendela waktu tetap, dan makalah tersebut menyebut tingkat keberhasilan sebanding, yang rata-rata memang demikian. Di baliknya, penyortiran turun dari 70 menjadi 50 persen sementara ambil dan letakkan naik 5. lerobot 0.6.1 membawa tuas lain dalam biner yang sama: --inference.type=rtc mengalihkan rollout ke real time chunking, yang direkomendasikan oleh blok penggunaan skrip itu sendiri untuk VLA yang lambat, Pi0, Pi0.5, dan SmolVLA.

Dua jalur menuju checkpoint yang sama

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Ketika SmolVLA adalah pilihan yang salah

Uji apakah SmolVLA adalah percobaan pertama yang tepat bukanlah apakah itu berhasil, tetapi apakah kegagalannya memberi tahu Anda sesuatu. Capai 60 atau 70 persen dan model yang lebih besar adalah pengeluaran berikutnya yang masuk akal: data membawa sinyal. Capai 10 persen dan model 3 B kemungkinan besar juga mencapai 10 persen, yang baru saja Anda pelajari dengan biaya tiga dolar alih-alih dua belas.

Penting untuk dibaca sebelum mengeluarkan lebih banyak biaya: Pi0.5 against SmolVLA untuk kapasitas lebih besar dengan ide yang sama, dan GR00T N1.7 against SmolVLA untuk jalur NVIDIA, keduanya tier 80 GB dengan biaya 4 hingga 12 USD per eksekusi. Di sisi lain, ACT adalah dasar yang lebih murah: 80 M parameters, 20 ms per langkah aksi, tanpa pengkondisian bahasa. Kelima-limanya ada di halaman kebijakan; arena memiliki 85 model dan 332 hasil benchmark.

Daftar periksa sebelum Anda menskalakan apa pun

1. Apakah lr mencapai batas bawah 2.5e-6? Di bawah 30000 langkah, lerobot menskalakan ulang peluruhan dan mengatakannya saat startup; di atas itu, atur --policy.scheduler_decay_steps sendiri.
2. Lebih dari satu checkpoint, dan episode yang ditahan dengan --dataset.eval_split agar kerugian evaluasi berarti.
3. Apakah kebijakan bergerak sama sekali? Kerugian yang menurun dengan lengan yang tidak bergerak memiliki penyebab spesifik: kerugian menurun, kebijakan tidak melakukan apa-apa.
4. Apakah ia bertahan dalam perubahan adegan? Jika tidak: kebijakan hanya berfungsi dalam satu pengaturan.
5. Apakah Anda mencatat seed-nya? lerobot secara default menggunakan 1000, sehingga dua eksekusi yang tidak tersentuh tetap sebanding.
6. Baru kemudian: lebih banyak episode, lebih banyak variasi, atau model yang lebih besar. Dalam urutan tersebut.

Untuk mengapa model-model ini ada dan apa yang mereka lakukan dengan masukan bahasa, adalah latar belakangnya; menjalankan perakitan melalui ke pertama. Untuk checkpoint yang sudah selesai, ; jika lengan tidak pernah muncul, .