Cara Melatih ACT pada SO-100 dari Awal

ACT adalah pengecualian di antara kebijakan SO-100. GR00T N1.7 dan N1.5 dimulai dari nvidia/GR00T-N1.7-3B dan nvidia/GR00T-N1.5-3B, Pi0.5 dari lerobot/pi05_base. ACT dimulai dari nol: tidak ada checkpoint dasar, karena ini bukan model dasar. Ini adalah transformer dengan sekitar 80 juta parameter yang Anda latih dari awal untuk satu tugas, pada lengan Anda, di bawah pencahayaan Anda.

Itulah mengapa ia menjalankan langkah kontrol dalam 20 ms di mana VLA 3 miliar parameter membutuhkan 152 hingga 485 ms, dan biayanya 1 hingga 3 USD per jalankan, bukan 4 hingga 12. Panduan ini menelusuri rute manual dengan lerobot pada SO-100: perekaman, konfigurasi act, apa yang dikendalikan oleh chunk_size dan n_action_steps, jadwal 100000 langkah, dan rollout. Kemudian pekerjaan yang sama pada AY-Robots, termasuk di mana platform tidak membantu.

Apa sebenarnya ACT itu

Action Chunking with Transformers berasal dari makalah ALOHA, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, oleh Zhao, Kumar, Levine, dan Finn, arXiv, 23 April 2023. Rig merekam pada 50 Hz dengan empat webcam yang mengalirkan 480x640 pada 30 fps: dua pada gripper, satu di atas, satu di depan. Abstrak mengklaim enam keterampilan dengan tingkat keberhasilan 80 hingga 90 persen, di antaranya membuka cangkir bumbu transparan dan memasukkan baterai, dari 10 menit demonstrasi.

Bagian utama lebih berguna saat merencanakan sesi perekaman: 50 demonstrasi per tugas, kecuali Thread Velcro pada 100, yaitu 10 hingga 20 menit data dan 30 hingga 60 menit waktu nyata setelah reset dihitung. Keberhasilan juga tidak seragam: Thread Velcro berakhir pada 20 persen, Put On Shoe pada 92, Cup Open 84, Prep Tape 64.

Pengelompokan aksi adalah inti idenya

Kloning perilaku biasa memetakan satu observasi ke satu aksi, dan kesalahan menumpuk: penyimpangan menempatkan lengan di luar distribusi, menghasilkan aksi yang lebih buruk, dan tiga puluh langkah kemudian gripper tidak berada di dekat objek. Pengelompokan aksi memprediksi k aksi sekaligus dan mengeksekusinya, mengurangi horizon efektif dengan faktor k. Ini juga menangani gangguan khusus data manusia: teleoperator berhenti sejenak, dan Markovian satu langkah kebijakan tidak dapat memodelkan jeda yang bergantung pada apa yang terjadi sebelumnya.

Makalah tersebut menguji k daripada menegaskannya. Dengan temporal ensembling dimatikan, dirata-ratakan di atas empat pengaturan, keberhasilan meningkat dari 1 persen pada k = 1 menjadi 44 persen pada k = 100, kemudian melandai pada 200 dan 400 saat kebijakan mendekati kontrol loop terbuka. Kurva itulah mengapa nilai default adalah 100.

• chunk_size: berapa banyak aksi masa depan yang diprediksi oleh dekoder per forward pass. Default 100.
• n_action_steps: berapa banyak dari aksi tersebut yang Anda eksekusi sebelum melakukan kueri lagi. Default 100, sehingga lerobot menjalankan seluruh chunk secara open loop.
• lerobot memvalidasi n_action_steps <= chunk_size dan akan memunculkan ValueError jika Anda mengaturnya terbalik.

Yang penting secara operasional adalah chunk_size dibagi dengan frame rate. Pada 30 fps yang digunakan contoh SO-100 lerobot, sebuah chunk berisi 100 aksi mewakili sekitar 3,3 detik dari satu observasi. Jika tugas memerlukan koreksi dalam jendela waktu tersebut, turunkan n_action_steps, bukan chunk_size: Anda tetap mempertahankan prediksi panjang dan mengobservasi ulang lebih sering.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Ketika ACT mengungguli model dasar

Lima kebijakan yang dapat dilatih secara berdampingan, dengan angka-angka yang diukur dan digunakan AY-Robots untuk menentukan ukuran GPU yang disewanya.

Pilih ACT ketika tugas dan adegan tetap dan gerakan harus cepat dan presisi. Pilih ketika satu checkpoint harus mencakup beberapa instruksi. Dua halaman membahas keputusan secara langsung: dan . Untuk benchmark yang dipublikasikan, menautkan setiap angka ke sumbernya.

Apa yang Anda butuhkan sebelum memulai

Satu lengan pengikut, satu lengan pemimpin untuk , setidaknya satu kamera, GPU 24 GB. ACT hanya membaca gambar dan posisi sendi. Dua kamera adalah titik terbaik: tampilan depan tetap untuk lokasi objek, kamera pergelangan tangan untuk apa yang akan disentuh oleh , seperti pada ALOHA.

Dari lengan kosong hingga kumpulan data terekam

Alur di bawah ini adalah lerobot 0.6.x. Lewati jika Anda memiliki lengan yang sudah dikalibrasi dan kumpulan data. Jika tidak, panduan memulai SO-100 mencakup perakitan, panduan perekaman mencakup pengambilan dan dokumen kumpulan data formatnya.

1. 1
   Instal lerobot dengan ekstensi yang tepat

   Perekaman membutuhkan core_scripts, pelatihan training, servo Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Temukan port USB setiap lengan

   Jalankan dengan kedua lengan terpasang, cabut salah satunya saat diminta. Di Linux, Anda mungkin perlu membuka izin node.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Atur ID motor dan baudrate

   Pada SO-100, ini terjadi sebelum perakitan: tidak seperti SO-101, konektor tidak dapat dijangkau setelah dirakit. Skrip akan memindai bus satu motor pada satu waktu dari gripper, menulis ID ke EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Kalibrasi kedua lengan

   Atur setiap sendi ke tengah jangkauannya, tekan Enter, lalu sapukan masing-masing sendi melalui seluruh jangkauannya. Kalibrasi memungkinkan kebijakan yang dilatih pada satu lengan berjalan pada lengan lainnya. Gunakan kembali id yang sama.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperasikan sekali dengan kamera menyala

   Aturan praktis lerobot: Anda harus dapat melakukan tugas hanya dengan melihat gambar kamera. Jika tidak bisa, ACT juga tidak bisa. Ini menangkap lebih banyak dataset yang buruk daripada debugging di kemudian hari.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Rekam 50 episode

   50 adalah minimum AY-Robots dan yang digunakan ALOHA per tugas. lerobot menyarankan 10 per lokasi objek, kamera tetap, genggaman konsisten. n mengakhiri episode, r merekam ulang, q berhenti dan mengkodekan.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Sebelum pelatihan, putar ulang setidaknya lima episode. Format dataset LeRobot menyimpan aliran kamera, status sendi, dan tindakan per episode, dan pemutaran ulang mendorong tindakan tersebut kembali ke lengan. Jika pemutaran ulang tidak melakukan tugas, data tidak mengandungnya dan pelatihan tidak akan menciptakannya.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Melatih kebijakan ACT

Ini adalah seluruh perintah. Semua yang spesifik untuk ACT sudah menjadi default, itulah mengapa halaman ACT lerobot menyarankan untuk memulai dengan mereka.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act memuat ACTConfig, yang beradaptasi dengan berapa pun jumlah motor dan kamera yang direkam oleh dataset Anda, sehingga Anda tidak perlu mendeklarasikan bentuk observasi. --wandb.enable=true bersifat opsional dan sepadan: kurva kerugian adalah satu-satunya sinyal murah dalam proses 100000 langkah. Jadwal berasal dari konfigurasi pelatihan lerobot, bukan ACTConfig: 100000 langkah, batch 8, seed 1000, sebuah checkpoint setiap 20000 langkah, pencatatan setiap 200.

Proses penuh menyisakan lima direktori checkpoint, 020000 hingga 100000, ditambah sebuah last symlink. Simpan semuanya: kebijakan terbaik seringkali bukan yang terakhir.

Durasi: sekitar 5 jam pada RTX 2080 Ti 11 GB dalam makalah, beberapa jam untuk 100 ribu langkah per halaman ACT lerobot, 2 hingga 5 jam pada tingkatan AY-Robots 24 GB. Jangan dipersingkat. README repo referensi menyatakan bahwa kebijakan yang tersendat-sendat atau berhenti sejenak biasanya hanya membutuhkan lebih banyak pelatihan, karena keberhasilan dan kehalusan terus meningkat setelah kerugian mencapai dataran tinggi: untuk data dunia nyata, dibutuhkan setidaknya 5000 epoch, atau 3 hingga 4 kali durasi lagi setelah dataran tinggi.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Menjalankan kebijakan yang telah dilatih pada lengan robot

Penerapan menggunakan lerobot-rollout. Kunci kamera harus sesuai dengan yang direkam: kebijakan yang dilatih pada front dan wrist tidak akan menerima cam0 dan cam1, dan rename_map tidak membantu, karena membutuhkan checkpoint yang sudah dilatih sebelumnya. String tugas dapat dihilangkan; contoh lerobot sendiri menandainya dapat dilewati untuk ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Untuk menyematkan checkpoint daripada model akhir, tambahkan --policy.pretrained_revision. Itu membutuhkan eksekusi yang dimulai dengan --save_checkpoint_to_hub=true, nonaktif secara default: tanpanya lerobot mendorong model akhir dan tidak ada yang lain. Dengan itu, setiap checkpoint ditandai dengan langkah yang diisi nol, jadi --policy.pretrained_revision=060000 memulihkan yang langkah 60000. Membandingkannya dengan 100000 pada lengan robot nyata adalah eksperimen termurah yang tersedia.

Dua jalur ke checkpoint yang sama

Semua di atas adalah jalur manual dan berhasil. Jalur platform menukar kontrol dengan tidak perlu memiliki GPU atau lingkungan Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Apa yang sebenarnya salah

Hampir tidak ada kesulitan dalam perintah pelatihan. Kesulitan ada pada hal-hal di sekitarnya, diurutkan berdasarkan seberapa sering mereka menjadi masalah pertama kali.

Dua baris patut ditekankan. ACT melatih pada LeRobot v3.0 sementara loader GR00T mengalami crash padanya dan membutuhkan v2.1, sehingga dataset yang melatih ACT dapat menggagalkan eksekusi GR00T. Dan baris terakhir memiliki dua perbaikan: penulis ACT menjawab gerakan tersentak-sentak dengan lebih banyak pelatihan, sementara dengan n_action_steps pada 100, kemacetan yang sebenarnya terjadi pada batas chunk, jeda yang terlihat setiap 3.3 detik pada 30 fps. Dua hal lagi yang perlu diketahui: satu sendi mati biasanya adalah id servo yang tidak pernah ditulis, dan gripper yang mendekat tetapi tidak pernah menutup berarti jangkauan gripper terlalu kecil dalam demonstrasi. Indeks lengkap: halaman mode kegagalan.

Berapa biaya satu eksekusi

Ini adalah argumen untuk memulai dengan ACT meskipun Anda menginginkan VLA nanti. Sebuah percobaan ACT yang gagal hanya seharga secangkir kopi dan memberi tahu Anda dalam beberapa jam apakah dataset Anda berisi tugas tersebut. Sebuah percobaan GR00T yang gagal menghabiskan biaya empat kali lipat untuk pelajaran yang sama. Pindah ke GR00T N1.7 atau SmolVLA setelahnya adalah perubahan bentuk, bukan pembangunan ulang. Latar belakang: model visi-bahasa-aksi, panduan lengkap SO-100, latih kebijakan pertama Anda dan pembelajaran imitasi. Tidak punya lengan? Halaman langsung menyiarkan SO-100 sungguhan untuk dikendalikan tanpa perlu mendaftar.