Cara Melatih SmolVLA pada GPU 24 GB (lerobot 0.6.1)

Kebanyakan orang yang mahukan model tindakan bahasa penglihatan pada lengan sebenar berhenti pada had perkakasan. GR00T N1.7 dan Pi0.5 adalah sekitar tiga bilion parameter setiap satu dan memerlukan A100 80 GB atau H100. Jika apa yang anda miliki adalah PC permainan dengan RTX 4090, itu adalah penghujung jalan. SmolVLA adalah pengecualian: 450 M parameter, di dalam LeRobot, dibina untuk penalaan halus pada satu kad pengguna dan berkhidmat dari CPU.

Laluan manual dahulu: pasang lerobot, tarik lerobot/smolvla_base checkpoint, jalankan arahan sebenar, baca larian semasa ia berlaku. Kemudian laluan platform, dan di mana ia tidak membantu.

Apa itu SmolVLA, dalam nombor yang boleh anda semak

SmolVLA ialah pemadanan aliran polisi yang dipasang pada model bahasa penglihatan kecil. Tulang belakangnya ialah SmolVLM2-500M-Video-Instruct; kertas kerja ini hanya mengekalkan 16 lapisan pertama model bahasanya, mengehadkan setiap bingkai kamera kepada 64 token visual dengan pengacakan piksel dan bukannya jubin imej, serta menyisipkan perhatian silang dengan lapisan perhatian kendiri setiap blok kedua. Kos inferens adalah kekangan reka bentuk, bukan sesuatu yang difikirkan kemudian.

Penanda aras adalah sebab mengapa orang mengambil berat tentang model 450 M. Pada LIBERO, ia mencatatkan purata 87.3 peratus berbanding 76.5 untuk OpenVLA pada 7 B dan 86.0 untuk Pi0 yang telah dilatih robotik pada 3.3 B; pada Meta-World, 57.3 berbanding 47.9. Pada perkakasan SO-100 sebenar, latihan berbilang tugas memberikan 75 peratus pada ambil dan letak, 90 pada susun, 70 pada isih, dengan purata 78.3, di mana ACT yang dilatih mengikut tugas mencatatkan purata 48.3. Baris yang sama terletak di sebelah setiap VLA yang diterbitkan dalam entri arena SmolVLA dan perbandingan ACT dengan SmolVLA.

Mengapa kad 24 GB adalah pilihan yang tepat untuk larian pertama

LeRobot menghantar panduan saiz pengkomputeran, halaman paling berguna dalam repo untuk ini. Ia mengelaskan polisi mengikut saiz tulang belakang dan memberikan satu sampul VRAM bagi setiap kumpulan, diukur pada saiz kelompok 8 dengan AdamW, lalai lerobot. Keadaan pengoptimum sahaja menambah 30 hingga 100 peratus berbanding laluan ke hadapan dan ke belakang yang kosong, jadi ini bukan angka berat sahaja.

Sepuluh hingga enam belas gigabait pada kelompok 8 adalah hujah: kad 24 GB sesuai untuk itu ditambah dengan pemuat data. AY-Robots meletakkan SmolVLA pada RTX 4090 atau mana-mana kad 24 GB, minimum 30 episod, LeRobot v3.0 data, 245 ms setiap langkah tindakan. Disewa, iaitu 2 hingga 5 jam pada 0.30 hingga 0.60 USD sejam, kira-kira 1 hingga 3 USD untuk satu penalaan halus larian, berbanding 4 hingga 12 USD pada peringkat 80 GB yang diperlukan oleh GR00T dan Pi0.5 (harga). Larian SmolVLA yang gagal adalah harga secawan kopi; larian GR00T yang gagal, harga makan tengah hari.

Langkah 0: set data menentukan jalankan, bukan bendera

Tiada apa-apa di bawah ini penting jika rakaman itu buruk. Halaman LeRobot SmolVLA adalah terus terang: set data rujukan adalah 50 episod merentasi 5 posisi kiub, 10 setiap posisi, dan tugas yang sama pada 25 episod menunjukkan prestasi yang buruk. Pengulangan setiap variasi menggeneralisasi, kiraan episod mentah tidak. Tidak pernah merakam satu? Mulakan di rakam set data pertama anda dengan klien desktop, yang menulis format LeRobot daripada teleoperasi sesi, atau pinjam satu daripada direktori set data.

• Sekurang-kurangnya 30 episod di AY-Robots, kira-kira 50 untuk resipi rujukan LeRobot.
• Setiap variasi yang anda jangkakan semasa pelancaran, diulang beberapa kali.
• Satu rentetan tugas, dieja sama semasa rakaman dan masa pelancaran. Model ini dikondisikan pada teks tersebut.
• Kamera tetap. Kamera yang digerakkan antara rakaman dan pelancaran adalah sebab paling biasa lengkung kerugian yang bersih menghasilkan lengan yang tidak bergerak.
• Variasi yang disimpan yang tidak pernah anda latih, supaya anda mempunyai sesuatu yang jujur untuk diuji.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Lebih lanjut mengenai ini di cara mengumpul data latihan VLA berkualiti tinggi. Versi ringkas: 30 hingga 50 episod bersih satu tugas dengan variasi yang disengajakan mengalahkan 200 episod ceroboh tiga tugas, dengan margin yang tiada hiperparameter dapat tutup.

Pasang lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Pemasangan asas lerobot adalah nipis dan menyekat kebergantungan berat di sebalik tambahan (extras): smolvla menambah transformers, num2words dan accelerate, training timbunan set data dan wandb, core_scripts kebergantungan perkakasan dan visualisasi. Pada Linux, laluan pemasangan juga menentukan roda CUDA anda: lalai PyPI ialah roda cu130 dengan lantai pemacu 580.65, jadi pada pemacu yang lebih lama, pasang torch dari indeks cu128 dahulu, kemudian lerobot.

Pelaksanaan latihan, arahan demi arahan

1. 1
   Mengesahkan terhadap Hub

   Titik semak asas datang dari Hub, dan set data anda mungkin juga.

   bash

   hf auth login

2. 2
   Baca pilihan sekali

   Setiap medan konfigurasi saluran paip dan polisi adalah bendera. Imbasnya sebelum mendalami sumber.

   bash

   lerobot-train --help

3. 3
   Mulakan penalaan halus

   Contoh dokumen menjalankan kelompok 64 pada satu A100; panduan pengiraan A100 40 GB sendiri adalah kelompok 16, dan 8 adalah setara 24 GB. Tiada bendera penjadual di sini dengan sengaja, lihat di bawah.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Baca baris log, bukan hanya kerugian

   Setiap --log_freq langkah, lerobot mencetak loss, grdn, lr, updt_s, data_s, smp/s dan, pada CUDA, mem_gb. mem_gb menyatakan sama ada kelompok muat, lr sama ada jadual merosot, dan data_s yang menghampiri updt_s bermakna pemuat data adalah kesesakan, bukan GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Kumpul titik semak yang boleh anda bandingkan

   save_freq lalai kepada 20000, jadi larian 20000 langkah meninggalkan satu titik semak dan tiada apa untuk dibandingkan. Tetapkan 2000. Menolak ke Hub memerlukan --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Sambung semula jika mesin mati

   Tunjuk --config_path pada train_config.json di sebelah titik semak. lerobot enggan bermula ke output_dir yang sedia ada melainkan anda menyambung semula, jadi anda tidak boleh menimpa larian secara tidak sengaja.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Bendera yang sebenarnya mengubah hasil

Lalai yang anda warisi jika anda tidak mengubah apa-apa

Konfigurasi dalam lerobot membawa pratetap pengoptimum dan penjadualnya sendiri, dan melainkan anda menetapkan use_policy_training_preset=false pratetap tersebut akan diguna pakai. Separuh daripada soalan yang ditanya orang tentang latihan SmolVLA dijawab oleh lalai yang mereka tidak tahu wujud.

Dua baris yang mengejutkan orang ialah freeze_vision_encoder dan train_expert_only, kedua-duanya benar. Secara lalai anda melatih kira-kira 100 J parameter, bukan 450 J, itulah sebabnya ia muat pada 24 GB. Larian rujukan LeRobot sendiri pada kluster H100 empat-GPU menukar kedua-duanya kepada palsu; pada satu kad 24 GB itu mengubah larian yang berfungsi menjadi .

Berapa lama larian mengambil masa, dan berapa banyak langkah yang mencukupi

LeRobot menerbitkan penanda jam dinding untuk lima epok merentasi set data kira-kira 50 episod, kira-kira 45000 bingkai pada 30 fps. Angka magnitud, kata dokumen, tetapi ia adalah perbezaan antara menjangkakan sejam dan sehari.

Menjalankan semula polisi yang telah ditala halus pada lengan robot

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms per langkah tindakan mudah disalah tafsir: polisi mengeluarkan chunk_size = 50 tindakan per laluan hadapan dan melaksanakan n_action_steps = 50 daripadanya, jadi kekerapan anda membayar kos itu ditetapkan oleh tetapan tersebut, bukan oleh kekerapan servo menerima arahan. Itulah yang tawarkan, dan mengapa model 245 ms boleh menggerakkan lengan 30 Hz. Apa yang tinggal ialah pada akhir cebisan.

Baris ketiga itu adalah apa yang kebanyakan penulisan abaikan. Inferens asinkron adalah kira-kira 30 peratus lebih pantas dan secara kasarnya menggandakan daya pemprosesan dalam tetingkap tetap, dan kertas kerja itu menyatakan kadar kejayaan adalah setanding, yang secara purata memang begitu. Di bawahnya, pengisihan menurun dari 70 kepada 50 peratus manakala ambil dan letak meningkat 5. lerobot 0.6.1 membawa tuil lain dalam binari yang sama: --inference.type=rtc menukar pelaksanaan kepada pengecilan masa nyata, yang disyorkan oleh blok penggunaan skrip itu sendiri untuk VLA yang perlahan, Pi0, Pi0.5 dan SmolVLA.

Dua laluan ke pusat pemeriksaan yang sama

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Apabila SmolVLA adalah pilihan yang salah

Ujian sama ada SmolVLA adalah percubaan pertama yang betul bukanlah sama ada ia berjaya, tetapi sama ada kegagalan itu memberitahu anda sesuatu. Capai 60 atau 70 peratus dan model yang lebih besar adalah perbelanjaan seterusnya yang munasabah: data membawa isyarat. Capai 10 peratus dan model 3 B kemungkinan besar juga mencapai 10 peratus, yang baru anda pelajari dengan tiga dolar dan bukannya dua belas.

Berbaloi dibaca sebelum berbelanja lebih: Pi0.5 berbanding SmolVLA untuk kapasiti lebih pada idea yang sama, dan GR00T N1.7 berbanding SmolVLA untuk laluan NVIDIA, kedua-duanya tier 80 GB pada 4 hingga 12 USD setiap larian. Cara lain, ACT adalah garis dasar yang lebih murah: 80 M parameter, 20 ms setiap langkah tindakan, tiada pengkondisian bahasa. Kesemua lima berada di halaman polisi; arena mempunyai 85 model dan 332 hasil penanda aras.

Senarai semak sebelum anda menskalakan apa-apa

1. Adakah lr mencapai had bawah 2.5e-6? Di bawah 30000 langkah, lerobot menskalakan semula pereputan dan menyatakan demikian semasa permulaan; di atasnya, tetapkan --policy.scheduler_decay_steps sendiri.
2. Lebih daripada satu titik semak, dan episod yang dikecualikan dengan --dataset.eval_split supaya kerugian penilaian bermakna sesuatu.
3. Adakah polisi bergerak sama sekali? Kerugian yang menurun dengan lengan yang tidak bergerak mempunyai punca tertentu: kerugian menurun, polisi tidak melakukan apa-apa.
4. Adakah ia bertahan dalam perubahan suasana? Jika tidak: polisi hanya berfungsi dalam satu persediaan.
5. Adakah anda mencatat benih (seed)? lerobot lalai kepada 1000, jadi dua larian yang tidak disentuh kekal setanding.
6. Hanya selepas itu: lebih banyak episod, lebih banyak variasi, atau model yang lebih besar. Mengikut urutan itu.

Untuk mengapa model-model ini wujud dan apa yang mereka lakukan dengan input bahasa, adalah latar belakang; menjalankan pemasangan melalui kepada larian pertama. Untuk titik semak yang telah siap, ; jika lengan tidak pernah muncul, .