Blog

Penjelasan langkah demi langkah bagi satu pusingan DAgger berpintu-manusia pada lengan SO-100: jalankan polisi dan rakamkannya, ambil alih apabila ia tersasar, failkan larian itu sebagai pembetulan, gubah set data campuran, dan sambung latihan daripada satu checkpoint. Turut merangkumi laluan ambil alih papan kekunci dan slaid untuk mereka yang tiada lengan leader, serta empat kesilapan yang menjadikan satu pusingan sia-sia.

Kadar campur tangan - bingkai campur tangan dibahagi dengan bingkai larian - ialah isyarat kemajuan jujur yang paling murah yang dimiliki oleh gelung DAgger berpintu manusia. Artikel ini mentakrifkannya supaya dua orang mengira nilai yang sama, menunjukkan cara mencatatnya, dan membincangkan empat cara ia boleh mengelirukan anda: pembiasaan operator, persediaan penilaian yang menghanyut, latihan hanya pada pembetulan, dan manusia yang membetulkan secara berbeza pada hari Selasa berbanding hari Isnin.

DAgger biasa meminta manusia melabel keadaan (states) semasa robot masih memandu. Pada perkakasan sebenar, ini tidak selamat dan menghasilkan label yang lemah. Varian berpintu menggantikan pelabelan buta dengan satu pintu yang perlu dipegang oleh seseorang: manusia dalam HG-DAgger, pengelas keselamatan dalam SafeDAgger, percanggahan ensemble dalam EnsembleDAgger, anggaran kebaharuan-dan-risiko berbajet dalam ThriftyDAgger. Artikel ini membandingkan kaedah-kaedah tersebut berdasarkan siapa memegang pintu, isyarat apa yang membukanya, dan apakah kos setiap satu — serta sebab bentuk berpintu manusia adalah yang bertahan apabila bersentuhan dengan lengan robot sebenar.

Behavior cloning menyesuaikan satu policy pada taburan keadaan (state distribution) milik pakar, kemudian digunakan secara bersendirian. Jurang antara kedua-dua taburan inilah yang menyebabkan policy yang kelihatan baik semasa validasi tiba-tiba tersasar keluar dari meja pada langkah ke-300. Ini ialah bab teori dalam siri DAgger kami: dari mana datangnya sebutan ralat kuadratik, apa yang diubah oleh dataset aggregation, apa yang diandaikan oleh bukti no-regret, dan bahagian kos mana yang masih perlu ditanggung oleh pakar manusia.

DROID, BridgeData V2 dan Open X-Embodiment menukar kepada tindakan hujung-efektor 7-D pada lengan 6 dan 7-DoF. SO-100 mengambil 6 posisi sendi. Apa yang boleh dipindahkan, apa yang tidak, apa yang perlu dilakukan sebagai ganti.

Simulasi boleh menggandakan beberapa demonstrasi menjadi ribuan. Berikut adalah apa yang sebenarnya dikatakan oleh angka-angka yang diterbitkan, di mana jurang sim-ke-nyata memberi kesan, dan apa yang masih perlu direkodkan.

TinyVLA dan SmolVLA meletakkan VLA yang berfungsi di bawah 1 B parameter. Nombor sebenar dari kedua-dua kertas, tetapan lalai LeRobot, latensi yang diukur, dan kos satu larian pada kad 24 GB.

Mesin robot anda tiada GPU. Letakkan pelayan polisi GR00T pada GPU awan sewa, strim cebisan tindakan ke lengan, dan ketahui dengan tepat kos rangkaian anda.

Latih Action Chunking Transformer dari awal pada SO-100 dengan lerobot: konfigurasi act, chunk_size dan n_action_steps, jadual 100000 langkah, inferens 20 ms.

GR00T N1.7, Pi0.5, SmolVLA, ACT atau GR00T N1.5? Jadual keputusan yang dipadankan dengan situasi sebenar, dengan nombor penanda aras yang diterbitkan, kependaman, kos setiap larian dan lesen di sebalik setiap pilihan.

Harga GPU pasaran spot sebenar, berapa lama setiap satu daripada lima polisi berjalan, berapa kos lengan robot dan demonstrasi, dan empat tempat wang itu senyap-senyap hilang.

Rakam dataset LeRobot yang boleh digunakan dengan SO-100: penentukuran, teleoperasi pemimpin-pengikut, bendera dan lalai lerobot-record sebenar, persediaan kamera, kiraan episod, dan kecacatan yang merosakkan larian.

SmolVLA ialah VLA 450 M parameter yang boleh ditala halus pada satu kad 24 GB. Perintah lerobot 0.6.1 sebenar, tetapan lalai sebenar, perangkap yang memakan masa sehari, dan kos satu larian.

Lakukan penalaan halus Pi0.5, VLA padanan aliran dari Physical Intelligence, menggunakan data robot anda sendiri. Perintah sebenar untuk openpi dan lerobot pi05, perangkap format set data, had VRAM dan kependaman.

Ketahui bagaimana Isaac Lab NVIDIA merevolusikan pembelajaran robot berbilang modal melalui simulasi dipercepatkan GPU, membolehkan latihan AI yang lebih pantas, penggunaan berskala dan ROI yang dioptimumkan untuk penyelidik dan syarikat robotik.

Ketahui bagaimana Isaac Gym merevolusikan pembelajaran robot dengan simulasi fizik asli GPU, membolehkan beribu-ribu persekitaran selari untuk pembelajaran pengukuhan pantas, latihan model VLA dan teleoperasi robot AI yang cekap. Terokai penanda aras, integrasi dengan PyTorch dan aplikasi dunia sebenar yang merapatkan jurang sim-ke-real.

Terokai bagaimana BC-Z merevolusikan pembelajaran peniruan robotik dengan membolehkan generalisasi tugas zero-shot melalui data demonstrasi berskala. Temui undang-undang penskalaan, model VLA, amalan terbaik teleoperasi dan faedah ROI untuk syarikat robotik dan jurutera AI.

Ketahui cara Dataset DROID, dataset manipulasi robot skala besar, mengubah latihan AI untuk robot dengan lebih 76,000 demonstrasi daripada persekitaran dunia sebenar. Ketahui tentang impaknya terhadap model VLA, penanda aras dan kaedah pengumpulan data berskala untuk syarikat robotik.

Terokai cara BridgeData V2 menyediakan data robot kos rendah pada skala, meningkatkan kaedah pembelajaran peniruan dan pembelajaran pengukuhan luar talian. Temui penanda aras utama, model VLA dalam robotik dan aliran kerja teleoperasi robot yang cekap untuk pengumpulan data latihan AI.

Ketahui cara teknik padanan aliran Pi-Zero, digabungkan dengan permulaan VLM, mengubah dasar robot generalis untuk kawalan tangkas. Ketahui tentang kelebihannya berbanding kaedah tradisional, kecekapan dalam data latihan AI untuk robotik dan implikasi untuk penggunaan robot berskala dalam industri.

Ketahui bagaimana Model Visi-Bahasa-Tindakan RT-2 Google merevolusikan kawalan robot dengan memindahkan pengetahuan web kepada tindakan fizikal. Ketahui tentang seni binanya, kaedah latihan, keupayaan baru muncul, dan implikasi untuk syarikat dan pengendali robotik, termasuk integrasi dengan teleoperasi untuk latihan AI yang cekap.

Terokai bagaimana model Vision-Language-Action (VLA) merevolusikan pembelajaran robot dengan menyepadukan penglihatan, bahasa dan tindakan untuk robotik yang lebih pintar dan cekap. Temui seni bina, kaedah latihan, penanda aras dan ROI untuk penggunaan dalam panduan komprehensif ini.

Temui bagaimana model RT-2 Google DeepMind merevolusikan robotik AI dengan menekankan peranan penting data latihan berkualiti tinggi berbanding algoritma canggih. Artikel ini membongkar eksperimen yang menunjukkan mengapa pengumpulan data yang berkesan adalah penting untuk prestasi robot dunia sebenar. Ketahui bagaimana platform seperti AY-Robots dapat membantu merapatkan jurang dalam data latihan untuk inovasi masa depan.

Ketahui bagaimana model Penglihatan-Bahasa-Tindakan (VLA) RT-2 Google membentuk semula pembelajaran robot dengan mengintegrasikan data visual, bahasa semula jadi dan tindakan masa nyata. Teknologi AI inovatif ini meningkatkan pengumpulan data untuk teleoperator dan meningkatkan kecekapan dalam aplikasi robotik. Terokai potensi impaknya terhadap masa depan robot dipacu AI di AY-Robots.