Cara Melatih ACT pada SO-100 dari Awal

ACT adalah yang paling berbeza di antara polisi SO-100. GR00T N1.7 dan N1.5 bermula dari nvidia/GR00T-N1.7-3B dan nvidia/GR00T-N1.5-3B, Pi0.5 dari lerobot/pi05_base. ACT bermula dari kosong: tiada titik semak asas, kerana ia bukan model asas. Ia adalah transformer dengan kira-kira 80 juta parameter yang anda latih dari awal untuk satu tugas, pada lengan anda, di bawah pencahayaan anda.

Itulah juga sebabnya ia menjalankan langkah kawalan dalam 20 ms di mana VLA 3 bilion parameter memerlukan 152 hingga 485 ms, dan kos 1 hingga 3 USD setiap larian berbanding 4 hingga 12. Panduan ini menerangkan laluan manual dengan lerobot pada SO-100: rekod, konfigurasi act, apa yang chunk_size dan n_action_steps kawal, jadual 100000 langkah, pelancaran. Kemudian kerja yang sama pada AY-Robots, termasuk di mana platform tidak membantu.

Apa sebenarnya ACT itu

Action Chunking with Transformers berasal dari kertas kerja ALOHA, Pembelajaran Manipulasi Bimanual Berbutir Halus dengan Perkakasan Kos Rendah, oleh Zhao, Kumar, Levine dan Finn, arXiv, 23 April 2023. Pelantar ini merekod pada 50 Hz dengan empat kamera web menstrim 480x640 pada 30 fps: dua pada pengepit, satu di atas, satu di hadapan. Abstrak tersebut mendakwa enam kemahiran dengan kejayaan 80 hingga 90 peratus, antaranya membuka cawan perasa lutsinar dan memasukkan bateri, daripada 10 minit demonstrasi.

Bahagian utama lebih berguna apabila merancang sesi rakaman: 50 demonstrasi setiap tugas, kecuali Thread Velcro pada 100, iaitu 10 hingga 20 minit data dan 30 hingga 60 minit masa jam dinding setelah penetapan semula dikira. Kejayaan juga tidak seragam: Thread Velcro berakhir pada 20 peratus, Put On Shoe pada 92, Cup Open 84, Prep Tape 64.

Pencungkilan tindakan adalah keseluruhan idea

Pengklonan tingkah laku biasa memetakan satu pemerhatian kepada satu tindakan, dan ralat terkumpul: sisihan meletakkan lengan di luar taburan, menghasilkan tindakan yang lebih buruk, dan tiga puluh langkah kemudian pengepit tidak berada berhampiran objek. Pencungkilan tindakan meramalkan k tindakan sekaligus dan melaksanakannya, mengurangkan ufuk berkesan dengan faktor k. Ia juga mengendalikan gangguan khusus kepada data manusia: pengendali jauh berhenti seketika, dan Markovian satu langkah dasar tidak dapat memodelkan jeda yang bergantung pada apa yang berlaku sebelumnya.

Kertas kerja itu mengablat k dan bukannya menegaskannya. Dengan ensembel temporal dimatikan, purata empat tetapan, kejayaan meningkat daripada 1 peratus pada k = 1 kepada 44 peratus pada k = 100, kemudian berkurangan pada 200 dan 400 apabila dasar menghampiri kawalan gelung terbuka. Lengkung itulah sebabnya nilai lalai ialah 100.

• chunk_size: berapa banyak tindakan masa depan yang diramalkan oleh penyahkod bagi setiap laluan ke hadapan. Lalai 100.
• n_action_steps: berapa banyak daripadanya yang anda laksanakan sebelum membuat pertanyaan semula. Lalai 100, jadi lerobot menjalankan keseluruhan cebisan dalam gelung terbuka.
• lerobot mengesahkan n_action_steps <= chunk_size dan akan menimbulkan ValueError jika anda menetapkannya secara terbalik.

Apa yang penting dari segi operasi ialah chunk_size dibahagikan dengan kadar bingkai. Pada 30 fps yang digunakan oleh contoh SO-100 lerobot, satu cebisan 100 melakukan kira-kira 3.3 saat dari satu pemerhatian. Jika tugas memerlukan pembetulan dalam tetingkap itu, kurangkan n_action_steps, bukan chunk_size: anda mengekalkan ramalan panjang dan memerhati semula dengan lebih kerap.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Apabila ACT mengatasi model asas

Lima polisi boleh latih sebelah menyebelah, dengan nombor yang diukur dan digunakan oleh AY-Robots untuk menentukan saiz GPU yang disewanya.

Pilih ACT apabila tugas dan pemandangan adalah tetap dan pergerakan mestilah pantas dan tepat. Pilih apabila satu titik semak mesti meliputi beberapa arahan. Dua halaman membincangkan keputusan secara langsung: dan . Untuk penanda aras yang diterbitkan, memautkan setiap nombor kepada sumbernya.

Apa yang anda perlukan sebelum bermula

Satu lengan pengikut, satu lengan pemimpin untuk , sekurang-kurangnya satu kamera, GPU 24 GB. ACT hanya membaca imej dan kedudukan sendi. Dua kamera adalah pilihan terbaik: pandangan hadapan tetap untuk lokasi objek, kamera pergelangan tangan untuk apa yang akan sentuh, seperti pada ALOHA.

Dari lengan kosong ke set data yang direkodkan

Aliran di bawah adalah lerobot 0.6.x. Langkau jika anda mempunyai lengan yang ditentukur dan set data. Jika tidak, panduan permulaan SO-100, meliputi pemasangan, panduan rakaman meliputi penangkapan dan dokumen set data formatnya.

1. 1
   Pasang lerobot dengan tambahan yang betul

   Perekaman memerlukan core_scripts, latihan training, servo Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Cari port USB setiap lengan

   Jalankan dengan kedua-dua lengan dipasang, cabut satu apabila diminta. Pada Linux, anda mungkin perlu membuka kebenaran nod.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Tetapkan id motor dan kadar baud

   Pada SO-100 ini berlaku sebelum pemasangan: tidak seperti SO-101, penyambung tidak dapat dicapai setelah dibina. Skrip ini melintasi bas satu motor pada satu masa dari pengepit, menulis id ke EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Tentukur kedua-dua lengan

   Tetapkan setiap sendi ke tengah julatnya, tekan Enter, kemudian sapu setiap satu melalui julat penuhnya. Penentukuran membolehkan polisi yang dilatih pada satu lengan berjalan pada lengan yang lain. Gunakan semula id yang sama.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Teleoperasi sekali dengan kamera dihidupkan

   Peraturan umum lerobot: anda sepatutnya dapat melakukan tugas hanya dengan melihat imej kamera. Jika anda tidak dapat, ACT juga tidak dapat. Ini menangkap lebih banyak set data yang buruk daripada penyahpepijatan kemudian.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Rakam 50 episod

   50 adalah minimum AY-Robots dan apa yang ALOHA gunakan setiap tugas. lerobot menasihatkan 10 setiap lokasi objek, kamera tetap, genggaman konsisten. n menamatkan episod, r merakam semula, q berhenti dan mengekod.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Sebelum latihan, mainkan semula sekurang-kurangnya lima episod. menyimpan aliran kamera, keadaan sendi dan tindakan setiap , dan main semula menolak tindakan tersebut kembali ke lengan. Jika main semula tidak melakukan tugas, data tidak mengandungi ia dan latihan tidak akan menciptanya.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Melatih polisi ACT

Ini adalah keseluruhan arahan. Semua yang khusus untuk ACT sudah menjadi lalai, sebab itulah halaman ACT lerobot menyarankan untuk bermula dengan mereka.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act memuatkan ACTConfig, yang menyesuaikan diri dengan berapa banyak motor dan kamera yang direkodkan oleh set data anda, jadi anda tidak perlu mengisytiharkan bentuk pemerhatian. --wandb.enable=true adalah pilihan dan berbaloi: lengkung kerugian adalah satu-satunya isyarat murah dalam larian 100000 langkah. Jadual ini berasal dari konfigurasi latihan lerobot, bukan ACTConfig: 100000 langkah, kelompok 8, seed 1000, satu titik semak setiap 20000 langkah, log setiap 200.

Larian penuh meninggalkan lima direktori titik semak, 020000 hingga 100000, serta symlink last. Simpan semuanya: polisi terbaik selalunya bukan yang terakhir.

Tempoh: sekitar 5 jam pada RTX 2080 Ti 11 GB dalam kertas kerja, beberapa jam untuk 100k langkah mengikut halaman ACT lerobot, 2 hingga 5 jam pada peringkat 24 GB AY-Robots. Jangan pendekkan. README repo rujukan menyatakan polisi yang tersentak-sentak atau berhenti seketika biasanya hanya memerlukan lebih banyak latihan, kerana kejayaan dan kelancaran terus meningkat selepas kerugian mendatar: untuk data dunia nyata ia memerlukan sekurang-kurangnya 5000 epok, atau 3 hingga 4 kali ganda tempoh lagi selepas mendatar.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Menjalankan polisi terlatih pada lengan robot

Penerapan menggunakan lerobot-rollout. Kunci kamera mesti sepadan dengan yang direkodkan: polisi yang dilatih pada front dan wrist tidak akan menerima cam0 dan cam1, dan rename_map tidak membantu, kerana ia memerlukan titik semak praterlatih. Rentetan tugas boleh diabaikan; contoh lerobot sendiri menandakannya sebagai boleh dilangkau untuk ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Untuk menetapkan titik semak dan bukannya model akhir, tambah --policy.pretrained_revision. Itu memerlukan larian dimulakan dengan --save_checkpoint_to_hub=true, dimatikan secara lalai: tanpanya lerobot menolak model akhir dan tiada yang lain. Dengannya, setiap titik semak ditandakan dengan langkahnya yang diisi sifar, jadi --policy.pretrained_revision=060000 memulihkan yang langkah 60000. Membandingkannya dengan 100000 pada lengan sebenar adalah eksperimen termurah yang tersedia.

Dua laluan ke titik semak yang sama

Semua di atas adalah laluan manual dan ia berfungsi. Laluan platform menukar kawalan dengan tidak perlu memiliki GPU atau persekitaran Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Apa yang sebenarnya berlaku salah

Hampir tiada masalah dalam arahan latihan. Masalahnya terletak pada perkara-perkara di sekelilingnya, disusun mengikut kekerapan ia berlaku pada kali pertama.

Dua baris patut diberi penekanan. ACT melatih pada LeRobot v3.0 manakala pemuat GR00T ranap padanya dan memerlukan v2.1, jadi set data yang melatih ACT boleh menyebabkan kegagalan larian GR00T. Dan baris terakhir mempunyai dua penyelesaian: penulis ACT menjawab pergerakan tersentak-sentak dengan lebih banyak latihan, manakala dengan n_action_steps pada 100, tersekat sebenar berlaku pada sempadan 'chunk', jeda yang kelihatan setiap 3.3 saat pada 30 fps. Dua lagi untuk diketahui: satu sendi mati biasanya adalah id servo yang tidak pernah ditulis, dan pencengkam yang mendekat tetapi tidak pernah menutup bermakna julat pencengkam terlalu kecil dalam demonstrasi. Indeks penuh: halaman mod kegagalan.

Berapa kos satu larian

Ini adalah hujah untuk bermula dengan ACT walaupun anda mahukan VLA kemudian. Larian ACT yang gagal menelan belanja seperti harga kopi dan memberitahu anda dalam beberapa jam sama ada set data anda mengandungi tugas tersebut. Larian GR00T yang gagal menelan belanja empat kali ganda untuk pelajaran yang sama. Beralih kepada GR00T N1.7 atau SmolVLA selepas itu adalah perubahan bentuk, bukan pembinaan semula. Latar belakang: model tindakan bahasa-penglihatan, panduan lengkap SO-100, latih polisi pertama anda dan pembelajaran tiruan. Tiada lengan? Halaman langsung menstrim SO-100 sebenar untuk dipandu tanpa perlu mendaftar.