Pelatihan policy

Pelatihan tanpa GPU sendiri

Melatih policy manipulasi adalah beban kerja GPU, dan model vision-language-action modern membutuhkan lebih banyak VRAM daripada workstation biasa. Di AY-Robots, pelatihan berjalan di GPU cloud yang dikelola platform: Anda memilih dataset dan jenis policy, memulai run-nya, dan mengamati progresnya dari browser. Tidak ada penyiapan CUDA, tidak ada pencocokan driver, dan tidak ada environment yang perlu dirawat.

Inputnya selalu berupa dataset cloud dari Dashboard > Datasets. Apa pun yang Anda rekam lewat sesi teleoperasi atau unggah dalam format LeRobot memenuhi syarat, termasuk dataset yang sudah digabungkan. Kurasi dulu sebelum melatih: episode berlabel Failure biasanya sebaiknya dikeluarkan dari training set, dan sepuluh menit peninjauan di episode browser menghemat berjam-jam waktu GPU yang habis belajar dari demonstrasi buruk.

Policy yang didukung

Empat keluarga policy didukung. Mereka berbeda dalam ukuran, biaya pelatihan, dan seberapa banyak yang bisa mereka serap dari data Anda, jadi pilihan yang tepat lebih bergantung pada tugas dan dataset Anda daripada peringkat umum mana pun.

Memulai sebuah run

1. 1
   Pilih dataset

   Buka Dashboard > Training dan pilih dataset untuk dilatih. Jumlah episode dan robot type ditampilkan sehingga Anda bisa memastikan telah memilih yang benar.

2. 2
   Pilih policy

   Pilih salah satu jenis policy yang didukung. Jika Anda tidak yakin, mulai dengan ACT: ini cara termurah untuk mengetahui apakah dataset Anda cukup baik untuk melatih apa pun sama sekali.

3. 3
   Luncurkan

   Mulai run-nya. Run mendapat job id dan halaman run-nya sendiri, dan Anda bisa menutup browser: pelatihan berlanjut di sisi server dan halamannya menampilkan status langsung kapan pun Anda kembali.

Halaman training run

Setiap run punya halaman khusus yang menjawab dua pertanyaan yang benar-benar Anda punya selama pelatihan: apakah policy-nya sedang belajar, dan apakah mesinnya sehat. Progres pembelajaran ditampilkan sebagai grafik loss, jadwal learning rate, dan gradient norm. Loss yang langsung mendatar atau gradient norm yang meledak memberi tahu Anda sejak awal bahwa run ini tidak layak ditunggu.

Kesehatan mesin ditampilkan bersamaan: utilisasi dan memori GPU, ditambah metrik host dari mesin pelatihan. Timeline fase menunjukkan di mana run saat ini berada, dari persiapan environment hingga pemuatan data, loop pelatihan itu sendiri, dan unggahan checkpoint. Ketika sesuatu terlihat tidak beres, log viewer bawaan memberi Anda log pelatihan mentah tanpa akses SSH apa pun, yang biasanya cukup untuk melihat apakah kegagalannya berasal dari dataset Anda atau dari run itu sendiri.

Checkpoint dan melanjutkan

Checkpoint disimpan per run, bukan dalam pool bersama, jadi checkpoint yang tercantum di halaman sebuah run selalu milik persis run itu dan konfigurasinya. Ini lebih penting dari kedengarannya: mencampur checkpoint antar run dengan pengaturan berbeda adalah sumber klasik policy yang diam-diam rusak.

Jika sebuah run terinterupsi, Anda bisa melanjutkan dari checkpoint terbarunya alih-alih memulai dari awal. Checkpoint perantara juga berguna dengan sendirinya: ketika run yang panjang mulai overfitting menjelang akhir, checkpoint yang lebih awal sering berjalan lebih baik pada lengan sungguhan dibanding checkpoint final.

Menjalankan policy hasil pelatihan pada lengan Anda

Policy yang selesai bisa langsung di-deploy kembali ke robot Anda. Di cockpit, pilih policy yang sudah dilatih untuk lengan Anda yang terhubung dan mulai inferensi: policy tersebut sekarang menghasilkan perintah joint yang sebelumnya Anda hasilkan lewat teleoperasi. Lengannya harus robot type yang sama dengan tempat dataset direkam, dan scene-nya sebaiknya menyerupai scene pelatihan, termasuk penempatan kamera.

Perlakukan run inferensi pertama seperti eksperimen, bukan demo. Jaga tombol berhenti darurat tetap terjangkau, mulai dari kondisi awal yang dekat dengan yang Anda demonstrasikan, dan perkirakan policy-nya sensitif terhadap hal-hal yang mungkin tidak Anda sadari: kamera yang bergeser, pencahayaan berbeda, atau objek yang tidak pernah ada di dataset.

Berapa banyak episode yang Anda butuhkan

Kesalahan pelatihan paling umum di platform ini bukan hyperparameter yang salah, melainkan melatih dengan data terlalu sedikit lalu menyimpulkan bahwa jenis policy-nya tidak berfungsi. Sebagai aturan praktis untuk satu tugas tabletop: sekitar 50 episode memberi Anda policy dengan generalisasi sempit yang berhasil dari kondisi awal yang dekat dengan yang Anda demonstrasikan. Sekitar 100 sampai 200 episode memberi ketahanan yang layak pakai di seluruh workspace untuk tugas itu, asalkan Anda memvariasikan penempatan objek antar episode.

Jenis policy yang lebih mampu tidak membatalkan hal ini. Fine-tune GR00T pada 20 episode tetap akan bergeneralisasi buruk; yang dibeli model yang lebih besar adalah batas atas yang lebih baik begitu datanya sudah ada. Jika anggaran Anda terbatas, belanjakan untuk episode yang lebih bervariasi sebelum membelanjakannya untuk model yang lebih besar.

Pertanyaan yang sering diajukan