Latihan policy

Latihan tanpa GPU sendiri

Melatih policy manipulasi ialah beban kerja GPU, dan model vision-language-action moden memerlukan lebih banyak VRAM daripada stesen kerja biasa. Di AY-Robots latihan berjalan pada GPU awan yang diuruskan oleh platform: anda pilih set data dan jenis policy, mulakan larian itu, dan tonton kemajuannya daripada pelayar. Tiada persediaan CUDA, tiada padanan driver, dan tiada persekitaran untuk diselenggara.

Input sentiasa set data awan daripada Dashboard > Datasets. Apa jua yang anda rakam melalui sesi teleoperasi atau muat naik dalam format LeRobot layak digunakan, termasuk set data gabungan. Uruskan sebelum melatih: episod berlabel Failure biasanya perlu dikeluarkan daripada set latihan, dan sepuluh minit semakan dalam pelayar episod menjimatkan berjam-jam masa GPU yang dibelanjakan untuk belajar daripada demonstrasi yang buruk.

Policy yang disokong

Empat keluarga policy disokong. Ia berbeza dari segi saiz, kos latihan, dan sejauh mana ia boleh menyerap daripada data anda, jadi pilihan yang tepat lebih bergantung pada tugas dan set data anda daripada mana-mana kedudukan umum.

Memulakan larian

1. 1
   Pilih set data

   Buka Dashboard > Training dan pilih set data untuk dilatih. Bilangan episod dan jenis robot dipaparkan supaya anda dapat mengesahkan pilihan yang betul.

2. 2
   Pilih policy

   Pilih salah satu jenis policy yang disokong. Jika tidak pasti, mulakan dengan ACT: cara paling murah untuk mengetahui sama ada set data anda cukup baik untuk melatih apa-apa pun.

3. 3
   Lancarkan

   Mulakan larian itu. Ia mendapat job id dan halaman larian sendiri, dan anda boleh menutup pelayar: latihan diteruskan di sisi pelayan dan halaman itu menunjukkan keadaan langsung apabila anda kembali.

Halaman larian latihan

Setiap larian mempunyai halaman khusus yang menjawab dua soalan yang benar-benar anda ada semasa latihan: adakah ia sedang belajar, dan adakah mesin itu sihat. Kemajuan pembelajaran ditunjukkan sebagai carta loss, jadual kadar pembelajaran, dan norma gradien. Loss yang segera mencapai plateau atau norma gradien yang meletup memberitahu anda lebih awal bahawa larian itu tidak berbaloi ditunggu.

Kesihatan mesin dipaparkan bersebelahan: penggunaan dan memori GPU, ditambah metrik hos mesin latihan. Garis masa fasa menunjukkan di mana larian itu berada sekarang, daripada penyediaan persekitaran hingga pemuatan data, gelung latihan itu sendiri, dan muat naik checkpoint. Apabila sesuatu kelihatan tidak kena, pemapar log terbina dalam memberi anda log latihan mentah tanpa sebarang akses SSH, yang biasanya cukup untuk melihat sama ada kegagalan itu daripada set data anda atau larian itu sendiri.

Checkpoint dan menyambung semula

Checkpoint disimpan mengikut larian, bukan dalam kumpulan bersama, jadi checkpoint yang disenaraikan pada halaman larian sentiasa tergolong dalam larian dan konfigurasinya yang tepat itu. Ini lebih penting daripada yang kedengaran: mencampurkan checkpoint merentasi larian dengan tetapan berbeza ialah punca klasik policy yang rosak secara senyap.

Jika larian terganggu, anda boleh menyambung semula daripada checkpoint terkininya dan bukannya bermula dari awal. Checkpoint pertengahan juga berguna dengan sendirinya: apabila larian panjang mula overfitting menghampiri penghujung, checkpoint yang lebih awal selalunya berjalan lebih baik pada lengan sebenar berbanding yang terakhir.

Menjalankan policy terlatih pada lengan anda

Policy yang siap boleh digunakan terus semula pada robot anda. Dalam cockpit, pilih policy terlatih untuk lengan anda yang tersambung dan mulakan inference: policy itu kini menghasilkan arahan sendi yang sebelum ini anda hasilkan melalui teleoperasi. Lengan itu mesti jenis robot yang sama seperti tempat set data itu dirakam, dan adegan itu perlu menyerupai adegan latihan, termasuk kedudukan kamera.

Layankan larian inference pertama seperti eksperimen, bukan demonstrasi. Pastikan henti kecemasan berada dalam jangkauan, mulakan daripada keadaan permulaan yang hampir dengan apa yang anda demonstrasikan, dan jangkakan policy itu sensitif kepada perkara yang anda mungkin tidak perasan: kamera yang dipindahkan, pencahayaan berbeza, atau objek yang tidak pernah ada dalam set data.

Berapa banyak episod yang anda perlukan

Kesilapan latihan paling biasa pada platform bukan hiperparameter yang salah, tetapi melatih dengan data yang terlalu sedikit dan membuat kesimpulan bahawa jenis policy itu tidak berfungsi. Sebagai panduan kasar untuk satu tugas meja tunggal: kira-kira 50 episod memberi anda policy dengan generalisasi sempit yang berjaya daripada keadaan permulaan yang hampir dengan apa yang anda demonstrasikan. Kira-kira 100 hingga 200 episod memberikan keteguhan yang boleh digunakan merentasi ruang kerja untuk satu tugas itu, dengan syarat anda mempelbagaikan penempatan objek antara episod.

Jenis policy yang lebih berkeupayaan tidak membatalkan ini. fine-tune GR00T pada 20 episod masih akan menggeneralisasi dengan lemah; apa yang dibeli oleh model yang lebih besar ialah siling yang lebih baik sebaik sahaja data itu ada. Jika bajet anda terhad, belanjakannya pada episod yang lebih pelbagai sebelum membelanjakannya pada model yang lebih besar.

Soalan lazim