HG-DAgger dan Varian-Varian Bergerbang: Siapa yang Menentukan Kapan Mengambil Alih Policy Robot

Policy hasil cloning gagal tepat di titik data trainingnya habis. Solusinya adalah terus mengumpulkan data di bawah state distribution milik policy itu sendiri, bukan milik demonstrator — itulah yang dilakukan DAgger dan yang dibahas dari prinsip dasarnya oleh pengantar tentang agregasi dataset. Yang tersisa terbuka adalah bagian yang canggung dari algoritma aslinya: selagi learner mengemudikan sistem, expert diharapkan mengatakan apa yang akan mereka lakukan, untuk setiap state, tanpa sedang memegang kendali.

Di simulator dengan scripted expert, hal itu gratis. Di atas meja dengan lengan robot sungguhan, hal itu tidak gratis maupun aman. Para penulis HG-DAgger menyatakan keberatan ini secara tepat: skema sampling semacam itu "mengharuskan expert memberikan label aksi tanpa sepenuhnya memegang kendali sistem", yang "dapat menurunkan keamanan, dan ketika manusia digunakan sebagai expert, cenderung menurunkan kualitas label yang terkumpul akibat perceived actuator lag" (Kelly et al., 2019). Dua kegagalan tersembunyi dalam kalimat itu: policy terus bergerak ke state yang tidak diinginkan siapa pun, dan label yang diperoleh dengan risiko itu lebih buruk daripada yang dihasilkan manusia saat benar-benar memegang kontrol. Setiap varian di bawah ini menjawab pertanyaan yang sama — pasang gate pada kontrol dan biarkan seseorang memutuskan kapan gate itu terbuka. Perbedaannya ada pada siapa orang itu.

Human-gated dan robot-gated: pembagian yang benar-benar penting

Pembelajaran imitasi interaktif punya survei tersendiri; Celemin dan koleganya mengkatalogkannya berdasarkan jenis feedback, interface, model pembelajaran, pengalaman pengguna, aplikasi, dan benchmark. Perbedaan yang benar-benar menentukan rekayasa Anda lebih sederhana daripada semua sumbu itu, dan karya terbaru menamainya secara langsung: sebuah metode disebut human-gated ketika supervisor yang menentukan kapan harus melakukan intervensi, dan robot-gated ketika agent yang menentukan kapan harus meminta bantuan (Cai et al., 2025). Semua hal lainnya hanyalah mesin yang melayani salah satu dari dua pilihan itu. Trade-off-nya terlihat sejak awal: human gate membebankan biaya berupa perhatian yang terus-menerus, dan robot gate menjanjikan pengembalian perhatian itu — tetapi hanya jika sinyal yang menjadi dasar gate tersebut bisa dipercaya, dan membangun sinyal itu adalah masalah riset tersendiri.

SafeDAgger: classifier yang memprediksi deviasinya sendiri

SafeDAgger dari Zhang dan Cho (2016) adalah yang paling awal di antara gate-gate ini. Melakukan query ke reference policy adalah bagian yang mahal, sehingga sebuah network kecil kedua — safety policy — memprediksi apakah query itu sepadan dilakukan sama sekali. Network ini "mengembalikan label biner yang menunjukkan apakah primary policy kemungkinan akan menyimpang dari reference policy tanpa perlu melakukan query terhadapnya". Label tersebut didefinisikan berdasarkan deviasi L2 kuadrat antara aksi kedua policy dengan sebuah threshold tau, dan classifier-nya dilatih dengan binary cross-entropy. Pada saat run time, ia memutuskan per state apakah learner tetap mengemudikan sistem atau reference yang mengambil alih. Abstrak papernya melaporkan lebih sedikit query ke reference dalam simulator balap mobil plus percepatan konvergensi yang oleh penulisnya dikaitkan dengan efek automated curriculum, tanpa memberikan angka pasti untuk keduanya.

Jebakannya ada pada definisinya, bukan pada hasilnya. Melatih classifier ini membutuhkan aksi reference policy pada setiap state yang dipakai untuk melatihnya, yang mengasumsikan reference tersebut adalah program lain. Jika reference Anda adalah seseorang dengan leader arm, kumpulan label itu tidak murah, dan metode ini kehilangan sifat yang justru menjadi alasan ia dirancang.

EnsembleDAgger: doubt dan discrepancy, dua-duanya

Menda, Driggs-Campbell, dan Kochenderfer (2019) memperlakukan gate sebagai persoalan probabilistik. EnsembleDAgger "mengaproksimasi sebuah Gaussian Process menggunakan ensemble dari neural network" dan membaca variance ensemble tersebut sebagai proxy kepercayaan diri: variance tinggi berarti sebuah region yang tidak menyerupai data training, yang — dengan asumsi expert menghindari failure state — berkorelasi dengan kedekatan pada kegagalan. Aturannya berupa konjungsi. Learner boleh bertindak hanya ketika jarak L2 antara aksi rata-ratanya dan aksi expert tetap di bawah satu threshold (discrepancy) dan variance dari aksi yang diprediksinya tetap di bawah threshold kedua (doubt). Jika salah satu syarat gagal dipenuhi, expert mengambil alih kontrol. Tujuannya adalah memaksimalkan porsi aksi yang dijalankan learner sambil membatasi probabilitas kegagalan; paper ini melaporkan keamanan dan pembelajaran yang lebih baik dibanding varian DAgger lain pada inverted pendulum dan MuJoCo HalfCheetah.

LazyDAgger: menghentikan switch agar tidak chattering

Hoque dan koleganya (2021) menyoroti sebuah biaya yang tidak diukur oleh paper-paper sebelumnya: switch itu sendiri. Setiap intervensi "mengganggu pekerjaan lain yang sedang dilakukan manusia, menimbulkan latensi pada setiap context switch antara supervisor dan kontrol otonom, dan membutuhkan waktu untuk dilakukan". Sebuah gate yang terbuka dan tertutup sepuluh kali dalam semenit lebih buruk daripada gate yang terbuka sekali selama sepuluh detik, pada porsi otonomi yang sama. LazyDAgger memperluas SafeDAgger dengan threshold asimetris — lebih sulit untuk masuk ke kontrol supervisor dibanding untuk tetap berada di dalamnya — sehingga sistem tidak berosilasi di batasnya. Dalam simulasi, metode ini "dapat mengurangi context switch rata-rata 60% dibanding SafeDAgger pada 3 tugas continuous control sambil mempertahankan performa policy state-of-the-art"; dalam manipulasi kain dengan ABB YuMi, metode ini "mengurangi context switch sebesar 60% sekaligus mencapai success rate 60% lebih tinggi dibanding SafeDAgger pada saat eksekusi".

ThriftyDAgger: novelty atau risiko, dengan budget

ThriftyDAgger (Hoque et al., CoRL 2021) berangkat dari budget milik supervisor, bukan dari policy. Metode ini "menggunakan sebuah switching policy yang dipelajari untuk meminta intervensi hanya pada state yang cukup (1) novel, di mana robot policy tidak punya reference behavior untuk ditiru, atau (2) berisiko, di mana robot memiliki kepercayaan diri rendah dalam menyelesaikan task", dengan metrik baru untuk mengestimasi risiko tersebut. Budget di sini adalah input, bukan outcome: Anda menyatakan berapa banyak waktu manusia yang akan Anda habiskan. Diterapkan pada saat eksekusi, metode ini "mencapai success rate 100% baik pada task simulasi maupun task fisik", dan sebuah user study dengan sepuluh partisipan yang mengendalikan armada tiga robot sambil mengerjakan task konsentrasi melaporkan bahwa metode ini "meningkatkan performa manusia dan robot masing-masing sebesar 58% dan 80% dibanding algoritma terbaik berikutnya, sekaligus mengurangi beban supervisor". Setting armada (fleet) adalah rumah alami bagi karya ini; Fleet-DAgger kemudian memformalkan interactive fleet learning dengan banyak robot dan supervisor, mengusulkan Return on Human Effort sebagai besaran yang dioptimalkan.

HG-DAgger: manusia yang memegang gate

Kelly dkk. (2019) menempuh arah sebaliknya. Tidak ada switching policy. Learner dijalankan (rolled out) "hingga expert mengamati bahwa novice telah memasuki region yang tidak aman dari state space", pada titik mana expert mengambil alih kontrol dan menuntun sistem kembali. Aturan agregasinya adalah bagian yang ketat: "Label aksi expert hanya dikumpulkan dan ditambahkan ke dataset selama recovery trajectory ini, yaitu saat human expert memegang kontrol sistem tanpa terputus." Tidak ada yang dilabeli selagi manusia hanya menjadi penonton.

HG-DAgger tidak berhenti pada switch saja. Metode ini juga "mempelajari sebuah safety threshold untuk risk metric berbasis model-uncertainty yang dapat dipakai untuk memprediksi performa novice yang telah selesai dilatih penuh pada berbagai region dari state space": ia mencatat seberapa uncertain learner tersebut pada momen-momen manusia melakukan intervensi, lalu merata-ratakan seperempat catatan terakhir, tempat learner paling menyerupai bentuk akhirnya. Itu bukan sebuah gate yang dioperasikan robot, melainkan sebuah diagnostik yang memberi tahu di mana policy yang sudah jadi diharapkan tetap bertahan. Evaluasinya mencakup task mengemudi simulasi dan dunia nyata, dan melaporkan performa yang lebih baik dibanding DAgger maupun behavior cloning.

Satu jalur penelitian yang berkaitan mengubah apa yang dihitung sebagai label. Expert Intervention Learning dari Spencer dan koleganya berpendapat bahwa "seberapa pun jumlah feedback expert, baik melalui intervensi maupun non-intervensi, memberikan informasi tentang kualitas state saat ini, optimalitas aksi, atau keduanya", diformalkan sebagai sebuah constraint pada value function milik learner dan diselesaikan dengan no-regret online learning. Dengan bacaan ini, rentang waktu ketika manusia hanya menonton dan tidak melakukan apa-apa dianggap sebagai bukti positif yang lemah, bukan kekosongan. EIL mempelajari collision avoidance dari kurang lebih satu menit kontrol expert.

Varian-varian yang dibandingkan berdampingan

Apa yang didapat dari tiap gate, dan apa harganya

Baca kolom "kebutuhan" dari atas ke bawah dan sebuah pola akan terlihat: setiap sinyal robot-gated di sana adalah sebuah proxy yang harus dibangun sendiri, dan setiap proxy punya tagihannya masing-masing.

• Sinyal discrepancy (SafeDAgger, LazyDAgger, separuh dari aturan EnsembleDAgger) membutuhkan sebuah reference policy. Entah Anda punya scripted expert — dalam hal ini masalah yang menarik sudah terpecahkan — atau seorang manusia terus-menerus menghasilkan aksi di latar belakang agar sebuah jarak bisa dihitung.
• Sinyal doubt membutuhkan epistemic uncertainty yang terkalibrasi. Sebuah ensemble dari network kontrol kecil bisa mengaproksimasinya; sebuah ensemble dari vision-language-action model berparameter tiga miliar lebih dulu menjadi masalah memori dan latensi.
• Sinyal novelty dan risiko membutuhkan sebuah estimator hasil pembelajaran untuk penyelesaian task, yang dilatih pada cukup banyak rollout yang berhasil maupun gagal. Pada task yang masih Anda usahakan agar berjalan, data itu belum ada pada ronde pertama.
• Human gate hanya membutuhkan perhatian dan tidak ada yang lain — satu-satunya sinyal yang tersedia sejak hari pertama, pada arsitektur policy apa pun, tanpa model tambahan yang perlu dilatih.
• Tidak ada robot gate yang menghilangkan manusia dari ruangan. Yang mereka kurangi adalah seberapa sering manusia harus bertindak, bukan apakah manusia harus hadir.

Ada perbedaan yang lebih halus dalam apa yang dihasilkan gate tersebut. Robot gate yang aktif di tengah trajectory menyerahkan lengan yang sedang bergerak kepada seseorang pada pose yang sembarang. Human gate membiarkan operator memilih momennya sendiri — setelah reach, sebelum grasp, bukan di tengah-tengah swing. Segmen recovery dari keduanya tidak sama bersihnya, dan segmen-segmen itulah seluruh produk dari ronde tersebut.

Mengapa bentuk human-gated menang pada hardware nyata

Ini adalah argumen rekayasa, bukan hasil benchmark — tidak ada paper yang kami temukan yang menjalankan kelima gate ini pada manipulator yang sama dengan kelas policy yang sama. Argumen ini bertumpu pada empat poin.

Pertama, supervisor toh sudah ada di sana. Tidak ada yang membiarkan sebuah lengan SO-100 berjalan tanpa pengawasan di dekat objek-objek yang bisa dijatuhkannya. Begitu seseorang sudah mengawasi, biaya marjinal untuk memberinya tombol takeover nyaris nol; membangun sebuah risk estimator yang terkalibrasi adalah sebuah proyek tersendiri.

Kedua, uncertainty yang benar-benar bisa Anda ukur pada policy modern seringkali adalah besaran yang salah. Sebuah head diffusion atau flow-matching menghasilkan variance di seluruh action chunk yang di-sample, dan variance itu mencerminkan multimodality yang memang dilatih untuk direpresentasikan oleh head tersebut, bukan ketidaktahuan epistemik tentang state. Term doubt milik EnsembleDAgger menggunakan sebuah ensemble justru untuk menangkap yang kedua ini. Keduanya terlihat seperti angka yang sama, padahal bukan; entri action chunking dan flow matching membahas bagaimana head-head tersebut menghasilkan aksi sejak awal.

Ketiga, kegagalan yang benar-benar penting dalam manipulasi seringkali bersifat semantik, bukan tidak biasa secara statistik. Sebuah policy yang menutup gripper dua sentimeter terlalu awal, atau meraih dengan percaya diri salah satu dari dua kubus identik yang salah, tidak berada pada state dengan variance tinggi — ia percaya diri dan salah. Tidak ada variance threshold yang menangkap hal itu; seseorang yang mengawasi akan langsung menangkapnya.

Keempat, kualitas label — poin asli dari HG-DAgger, dan yang paling sering dilewatkan. Label yang dikumpulkan selagi manusia memegang kontrol tanpa terputus lebih baik daripada label yang dinarasikan di atas sistem yang sedang bergerak. Jika tujuannya adalah data korektif yang layak diagregasi, beban pembuktian ada pada gate otomatis.

Gate hanyalah separuh dari metode; penanganan data adalah separuh lainnya

Sebuah gate menentukan frame mana yang dikemudikan manusia, bukan apa yang harus dilakukan terhadapnya, dan keputusan kedua itulah yang paling sering menyia-nyiakan sebuah ronde. Aturan pertama adalah aturan yang diwakili huruf D dalam DAgger: agregasi, jangan menggantikan. Melakukan fine-tuning sebuah checkpoint murni pada beberapa ratus frame koreksi akan memberi Anda model yang hampir tidak pernah melihat apa pun selain recovery dan telah melupakan trajectory nominalnya.

Aturan kedua adalah bahwa frame intervensi bukanlah frame biasa. Mandlekar dkk. membangun sebuah sistem remote-teleoperation untuk manipulasi 6-DoF yang memungkinkan operator memantau policy dan mengambil alih saat terjadi kegagalan, lalu melatihnya secara iteratif dengan sebuah algoritma yang "mendorong policy untuk mempelajari cara melewati bottleneck melalui intervensi-intervensi tersebut"; agent yang dilatih dengan data itu mengungguli agent yang dilatih dengan jumlah sampel demonstrasi biasa yang setara. Sirius mendorong gagasan ini hingga ke tahap deployment, "memberi bobot ulang pada sampel training dengan aproksimasi human trust dan mengoptimalkan policy dengan weighted behavioral cloning". Keduanya membutuhkan sebuah penanda per-frame tentang mana yang dikemudikan manusia, itulah sebabnya flag intervention lebih penting daripada yang terlihat.

Aturan ketiga adalah bahwa pencampuran otomatis adalah jebakan. Sebuah dataset hasil komposisi yang sumber-sumbernya tidak bisa Anda enumerasi adalah dataset yang tidak bisa Anda debug ketika ronde berikutnya justru memburuk. Di platform ini, langkah compose dibuat eksplisit justru karena alasan itu — dataset asli ditambah correction, pemilihan episode per sumber, dan hasilnya adalah sebuah LeRobot dataset biasa yang sync dan bisa dipakai training seperti dataset lainnya; dokumentasi dataset membahas sisi formatnya.

Menetapkan gate yang benar-benar bisa dipegang seseorang

"Manusia yang memutuskan" bukanlah sebuah spesifikasi. Dua operator dengan threshold berbeda menghasilkan ronde-ronde yang tidak bisa dibandingkan, dan threshold yang melenceng menghasilkan tren yang tidak bisa Anda baca. Tuliskan trigger-trigger-nya sebelum run pertama.

1. Sebutkan kondisi-kondisi yang membuka gate — approach yang meleset lebih dari margin tetap, gripper menutup pada kekosongan, sebuah joint yang melenceng ke arah limit-nya, stall lebih dari satu atau dua detik — dan jaga agar daftar itu tidak berubah selama ronde berlangsung.
2. Sebutkan juga apa yang tidak membuka gate. Overshoot yang bisa dipulihkan sendiri oleh policy adalah sinyal training; mengambil alih di titik itu justru menghapus recovery yang sudah dikuasainya.
3. Ambil alih cukup dini agar handover-nya bersih, dan kembalikan kontrol segera setelah state-nya bisa dipulihkan.
4. Catat alasan Anda mengambil alih, per episode. Tiga ronde kemudian, itulah satu-satunya catatan tentang apakah kegagalan yang sama muncul kembali.
5. Jaga agar kamera, teks task, dan operator tetap konstan di seluruh ronde. Ubah salah satunya saja, dan angka-angkanya berhenti bisa dibandingkan.

Secara mekanis, handover ini punya dua varian. Dengan leader arm, leader harus mencapai pose follower saat ini terlebih dahulu sebelum torque dipindahkan, kalau tidak lengan akan menyentak; gerakan penyelarasan ini adalah bagian rantai yang paling sedikit diuji pada hardware nyata. Tanpa leader arm, takeover bersifat manual sejak keypress pertama: follower ditahan dan operator menggesernya joint demi joint dari keyboard atau menyeret slider, dengan clamp di sisi server yang menjaga tiap input tetap kecil — beberapa derajat per keypress, sedikit per update slider — karena langkah besar ke dalam pose yang sedang ditahan adalah cara paling ampuh untuk merusak servo. Versi langkah-demi-langkah dengan key binding-nya ada di walkthrough sebuah ronde DAgger pada SO-100; latar belakang kedua mode teleoperasi ada di dokumentasi teleoperasi dan entri leader-follower.

Membaca apakah gate ini benar-benar berpengaruh

Metrik dari sebuah ronde human-gated adalah intervention rate: frame intervensi dibagi frame dari run tersebut. Metrik ini punya satu tugas — jika angkanya tidak turun antar ronde, ronde tersebut tidak membeli apa-apa, dan ronde berikutnya harus mengubah sesuatu selain jumlah data.

Ini adalah metrik yang bias, dan Anda perlu tahu bagaimana caranya. Metrik ini mengukur threshold operator sama besarnya dengan kompetensi policy, itulah sebabnya daftar trigger harus tetap tidak berubah; seorang operator yang mengendur selama sesi berlangsung akan menghasilkan kurva menurun tanpa substansi di baliknya. Metrik ini juga mengabaikan severity — sepuluh frame untuk menghentikan sebuah collision dan sepuluh frame untuk menggeser sebuah grasp terlihat identik. Pasangkan metrik ini dengan sebuah evaluation set tetap yang tidak pernah diambil data correction-nya. Artikel tentang mengukur sebuah loop DAgger membahas desain evaluasinya secara rinci, termasuk cara menjaga agar episode evaluation tidak masuk ke dalam campuran training.

Pertanyaan terbuka yang layak terus diperhatikan

Benchmark-benchmarknya lemah. Spencer dan koleganya memeriksa benchmark yang dipakai untuk menguji pendekatan imitation learning dan mendapati bahwa benchmark-benchmark itu "realizable dan sederhana sehingga tidak cukup untuk menangkap rezim error compounding yang lebih sulit, sebagaimana terlihat pada persoalan pengambilan keputusan dunia nyata" — dan, berbeda dari literatur di sekitarnya, mendapati bahwa behavior cloning biasa justru tampil baik pada benchmark-benchmark tersebut. Itulah alasan untuk bersikap skeptis terhadap peringkat mana pun dari varian-varian DAgger yang bertumpu pada task-task tersebut, termasuk beberapa angka pada tabel di atas.

Robot gate pada policy besar juga belum terpecahkan. Karya AIM mengganti uncertainty dengan sebuah proxy Q-function yang meniru aturan intervensi manusia dan melaporkan peningkatan 40% dalam take-over cost dan efisiensi pembelajaran dibanding ThriftyDAgger — pada continuous dan discrete control, bukan pada vision-language-action model yang mengendalikan sebuah manipulator. Apakah salah satu dari gate-gate ini bisa dipindahkan ke VLA hasil fine-tuning masih terbuka. Survei tersebut membuat poin yang terkait: terminologi dan struktur bidang ini belum disatukan di seluruh literatur, sehingga metode-metodenya sulit dibandingkan. Pada lengan Anda sendiri, log Anda adalah bukti yang Anda miliki.

Untuk satu lengan di satu meja, pilihannya sudah jelas: pegang gate itu sendiri, tuliskan apa yang membukanya, dan curahkan upaya pada penanganan data di baliknya, bukan pada otomatisasi switch-nya. Sisi platform-nya dijelaskan pada halaman loop DAgger, opsi training per keluarga policy ada di training dan pricing. Untuk latar belakang, mulai dari imitation learning dan imitation learning pada SO-100; untuk run pertama, jalankan policy pertama Anda adalah jalan yang lebih singkat.