Mengukur Loop DAgger: Tingkat Intervensi, Protokol Evaluasi, dan Jebakan di Antaranya

Satu putaran DAgger terasa produktif selagi Anda menjalankannya. Anda mengemudikan kebijakan, mengambil alih ketika ia gagal melakukan grasp, menyimpan koreksinya, melatih ulang, dan run berikutnya terlihat - Anda akan bersumpah - sedikit lebih halus. Dua putaran kemudian Anda tidak bisa memastikan apakah ada yang berubah, karena "sedikit lebih halus" bukanlah sebuah besaran.

Loop ini membutuhkan satu angka per putaran, dan dalam loop dengan gerbang manusia angka itu hampir gratis: fraksi dari run selama Anda yang memegang kendali, bukan kebijakan. Artikel ini mendefinisikannya sehingga dua orang menghitung nilai yang sama, mencatatnya, membaca kurva yang dihasilkan, dan menyebutkan empat cara angka ini menyesatkan Anda ketika berdiri sendiri. Untuk teori yang menjadi dasar tulisan ini, lihat penjelasan DAgger dan varian dengan gerbang manusia; padanan praktiknya adalah menjalankan loop DAgger pada SO-100.

Mengapa satu putaran butuh angka sama sekali

DAgger ada karena masalah distribusi, dan masalah distribusi tidak terlihat oleh mata. Ross dan Bagnell menunjukkan bahwa imitation learning pada set demonstrasi yang tetap menyebabkan error yang terakumulasi (compounding) dan batas regret yang tumbuh secara kuadratik terhadap horizon waktu: begitu pembelajar (learner) meninggalkan state yang pernah dikunjungi demonstrator, tidak ada apa pun dalam data yang memberitahunya cara kembali. DAgger mengatasi ini dengan melakukan iterasi - jalankan kebijakan, beri label pada state yang dikunjunginya, agregasikan, latih ulang - yang oleh Ross, Gordon, dan Bagnell dirumuskan sebagai reduksi menjadi pembelajaran online tanpa regret (no-regret online learning).

Perumusan itu punya konsekuensi yang sering dilewatkan orang. Jaminan tersebut berlaku untuk urutan kebijakan sepanjang iterasi, bukan untuk satu run tunggal. Ia tidak mengatakan apa pun tentang apakah Anda-lah yang membuat putaran ketiga ini membantu. Satu-satunya cara untuk mengetahuinya adalah dengan mengukur setiap iterasi. Kelly dan koleganya memperkenalkan HG-DAgger karena DAgger klasik meminta label aksi dari pakar (expert) sementara si pemula (novice) masih memegang kendali, yang menurut makalah tersebut dapat menurunkan keselamatan dan, dengan pakar manusia, kemungkinan besar menurunkan kualitas label akibat lag aktuator yang dirasakan (perceived actuator lag). HG-DAgger juga mempelajari ambang batas keselamatan untuk metrik risiko berbasis ketidakpastian model, dan melaporkan performa yang lebih baik dibanding DAgger maupun behavioural cloning pada tugas mengemudi. Makalah ini tidak mempublikasikan jumlah intervensi; itu harus Anda hasilkan sendiri.

Mendefinisikan tingkat ini agar dua orang mendapatkan angka yang sama

Definisinya hanya satu baris: frame intervensi dibagi frame dari keseluruhan run. Semua kesulitannya tersembunyi dalam apa yang dihitung sebagai frame dan apa yang dihitung sebagai run.

Frame, bukan episode

Menghitung episode dengan setidaknya satu intervensi tidaklah berguna: sepuluh episode dengan masing-masing satu sentuhan kecil (nudge), dan sepuluh episode di mana Anda mengemudikan delapan puluh persennya, sama-sama menghasilkan "10/10". Hitungan frame memisahkan keduanya, dan itu adalah granularitas yang sudah dimiliki oleh perekaman - dalam format dataset LeRobot setiap timestep adalah satu baris, sehingga flag intervensi adalah satu kolom boolean di samping state dan action. Di sini flag itu ditulis per frame pada saat takeover dimulai dan dihapus ketika kendali dikembalikan.

Penyebut mencakup koreksi

Ada dua penyebut yang bisa dipertahankan - total frame dari run, atau frame yang dikemudikan kebijakan secara otonom - dan keduanya menyimpang jauh pada tingkat intervensi yang tinggi. Ambil alih 400 dari 1000 frame, cara pertama memberi 40 persen, cara kedua 67 persen. Membandingkan satu putaran yang diukur dengan cara pertama terhadap putaran berikutnya yang diukur dengan cara kedua adalah cara peningkatan yang sesungguhnya bisa menghilang begitu saja. Gunakan total frame, dan jangan pernah mengubah pilihan ini di tengah rangkaian pengukuran.

Putuskan sekali untuk semua apa yang terjadi pada frame handover

Selalu ada celah (seam). Ketika kendali berpindah, beberapa frame tidak termasuk salah satu sisi: lengan sedang ditahan, leader sedang menyelaraskan diri, perekaman dibekukan. Dalam pipeline ini, frame handover tersebut tetap berada dalam stream mentah dan tidak pernah masuk ke dalam episode yang telah dikurasi - frame itu bukan perilaku kebijakan maupun koreksi yang layak dilatih. Hitung celah ini dengan cara yang sama setiap putaran: pada 30 Hz, enam kali takeover dengan celah dua detik masing-masing berarti 360 frame, cukup untuk menggeser satu poin persentase.

Mencatatnya agar angka itu bertahan melewati sesi

Metrik dalam panel status dari proses yang sedang berjalan hanyalah tampilan sesaat (readout): ia hilang saat restart dan tidak bisa diplot. Satu baris append-only per run sudah mencakup seluruh rangkaian - termasuk checkpoint mana yang Anda kemudikan, karena itu berubah setiap putaran dan tertukarnya checkpoint akan membatalkan validitas semua yang mengikutinya.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

Dua field yang paling menentukan. train_mix adalah apa yang Anda masukkan ke pekerjaan pelatihan berikutnya; tanpanya, tidak ada yang bisa diatribusikan. eval_protocol menyebutkan tes tetap yang Anda jalankan sesudahnya, dan merupakan field yang paling sering dibiarkan kosong. Di cockpit ay-robots, status takeover melaporkan jumlah frame intervensi untuk sesi yang sedang berjalan, sehingga pencatatan menjadi sekadar transkripsi, bukan instrumentasi; dokumentasi dataset menjelaskan di mana kolom per-frame itu berakhir.

Membaca kurva: tiga putaran, satu kesimpulan

Tiga putaran adalah jumlah minimum untuk bisa membaca pola, karena dua titik selalu membentuk garis lurus. Tabel di bawah adalah templat pencatatan dengan angka placeholder, bukan hasil pengukuran dari run mana pun. Yang Anda cari adalah penurunan yang monoton, diimbangi oleh peningkatan keberhasilan pada tes yang tetap.

Putaran satu dan dua memberikan hasil. Putaran tiga tidak: 11.3 berbanding 11.1 persen masih berada dalam rentang variasi antar-run untuk apa pun yang diukur pada lengan fisik, dan putaran keempat dengan koreksi yang sama hanya menghabiskan waktu satu sore tanpa hasil. Segmen yang datar ini mengatakan: ubah sesuatu yang struktural.

• Kegagalan yang tersisa tidak dapat diperbaiki dengan teleoperasi - objek di luar jangkauan, geometri gripper, sendi yang mencapai batasnya. Tidak ada data koreksi yang bisa memperbaiki tembok kinematik (kinematic wall).
• Koreksinya terlalu sedikit dibanding dataset dasar untuk menggerakkan gradien, dan tidak ada apa pun yang memberi bobot padanya.
• Koreksi-koreksi itu saling bertentangan, sehingga kebijakan merata-ratakan dua strategi dan berakhir di antara keduanya.
• Kegagalannya berasal dari hulu (upstream): kamera bergeser, pencahayaan berubah, tampilan wrist tidak lagi cocok dengan data pelatihan.
• Tugas ini sudah mencapai batas atas (ceiling) untuk kelas kebijakan ini pada hardware ini, dan langkah berikutnya adalah menambah data dasar.

Dua penyebab terakhir bukan kegagalan dari loop-nya. Pada Sirius-Fleet, menurunnya kebutuhan akan manusia justru adalah hasil yang memang dirancang: seiring meningkatnya otonomi robot, prediktor anomalinya menyesuaikan kriteria prediksinya, sehingga permintaan intervensi manusia berkurang dan beban kerja manusia menurun secara bertahap seiring waktu. Di sana kriterianya memang sengaja disesuaikan. Dalam loop manual, milik Anda juga menyesuaikan diri, tapi diam-diam - sehingga tingkat yang mendatar karena tugas sudah mencapai batas atasnya akan terlihat persis sama seperti tingkat yang mendatar karena operator berhenti memperhatikan. Dan itu adalah masalah berikutnya.

Jebakan 1: tingkat yang menurun bukan tingkat keberhasilan yang meningkat

Tingkat intervensi hanya mengukur satu hal secara tepat: seberapa banyak bagian dari run yang Anda putuskan untuk ambil alih. Keputusan itu adalah milik Anda, dibuat secara real-time, dan ia bergeser. Pada putaran nol Anda mengambil alih saat sudut pendekatan pertama yang buruk; menjelang putaran tiga Anda sudah menyaksikan kebijakan pulih dari belasan kejadian semacam itu, dan Anda membiarkannya mencoba. Ambang batas Anda bergeser; kebijakan belum tentu berubah. Tingkatnya tetap turun dalam kedua kasus.

Kepercayaan manusia (human trust) setidaknya merupakan besaran yang dimodelkan dalam literatur, bukan konstanta yang begitu saja diasumsikan. Sirius memberi bobot ulang pada sampel pelatihan menggunakan perkiraan kepercayaan manusia dan mengoptimalkan kebijakan dengan weighted behavioural cloning, melaporkan peningkatan 8 persen dalam simulasi dan 27 persen pada hardware nyata dibanding state of the art dalam tingkat keberhasilan kebijakan, dengan kecepatan konvergensi dua kali lipat. Itu memperlakukan kepercayaan sebagai bobot pada data. Itu tidak mengoreksi ambang batas di kepala Anda antara putaran nol dan putaran tiga.

Anda tidak bisa menghilangkan pergeseran ini, jadi pasangkan tingkat intervensi dengan sesuatu yang tidak bisa disentuh oleh ambang batas Anda: satu set percobaan tetap di mana Anda sama sekali tidak melakukan intervensi, dinilai terhadap kriteria yang ditulis sebelum putaran dimulai. Tingkat yang menurun sementara tingkat keberhasilan pasangannya tetap datar adalah ciri khas habituasi - patut dikenali, karena dari dalam loop hal ini terasa seperti kemajuan.

Jebakan 2: tanpa protokol tetap, Anda mengukur ruangan

Evaluasi pada robot nyata mahal dan sulit diulang. Para penulis SIMPLER melandasi evaluasi tersimulasi dengan pengamatan bahwa evaluasi dunia nyata untuk kebijakan semacam ini tidak scalable dan menghadapi tantangan reproduksibilitas yang kemungkinan makin memburuk seiring kebijakan memperluas spektrum tugasnya. RoboArena menyerang masalah ini dari sisi lain, dengan lebih dari 600 episode evaluasi berpasangan (pairwise) pada robot nyata di tujuh kebijakan generalis, dijalankan oleh evaluator di tujuh institusi akademik pada platform DROID. Para evaluatornya memilih sendiri tugas dan lingkungannya, tetapi harus menilai pasangan kebijakan secara double-blind; makalah tersebut melaporkan bahwa peringkat hasil crowd-sourced ini melacak performa kebijakan generalis lebih akurat dibanding evaluasi konvensional yang tersentralisasi.

Anda tidak akan menjalankan 600 episode berpasangan pada satu SO-100 di dalam bengkel. Yang bisa Anda lakukan adalah menghilangkan varians yang berada dalam kendali Anda - sebuah daftar yang cukup membosankan sehingga biasanya justru dilewatkan.

Lalu ada aritmetikanya, yang tidak memberi ampun pada jumlah percobaan yang mampu dilakukan sebuah bengkel. Dengan pendekatan normal, keberhasilan 60 persen dari 20 percobaan membawa standard error sekitar 11 poin persentase - akar kuadrat dari 0.6 dikali 0.4 dibagi 20 - dan selisih antara dua putaran semacam itu membawa sekitar 15 poin. Lompatan dari 60 ke 70 persen karenanya tetap konsisten dengan kemungkinan tidak ada apa pun yang sebenarnya terjadi. Lima puluh percobaan menurunkan angka per-putaran ini menjadi sekitar 7 poin, dan menghabiskan waktu satu sore.

Asimetri inilah yang menjadi argumen untuk tingkat intervensi: dihitung dari ribuan frame alih-alih dua puluh hasil biner, tingkat ini bergerak lebih awal dan lebih halus. Catatannya adalah frame-frame dalam satu episode sangat berkorelasi - satu grasp yang buruk menghasilkan ratusan frame intervensi yang berurutan - sehingga ukuran sampel efektifnya lebih mendekati jumlah takeover. Perlakukan tingkat intervensi sebagai indikator dini, dan tingkat keberhasilan sebagai ground truth yang lambat.

Jebakan 3: melatih hanya pada koreksi akan membengkokkan kebijakan

Koreksi adalah data yang menarik, sehingga naluri kita adalah melatih model dengannya. Jangan lakukan itu. Koreksi, karena konstruksinya, berasal dari irisan sempit ruang state di mana kebijakan sudah gagal, dan hampir tidak mengatakan apa pun tentang sebagian besar run yang justru berhasil. Fine-tune hanya pada irisan itu, dan Anda akan mendapatkan kebijakan yang pandai pulih dari pendekatan yang berantakan, tetapi lupa cara melakukan pendekatan yang bersih.

Mandlekar dan koleganya membangun sistem intervensi jarak jauh (remote intervention) mereka berdasarkan hal ini. Perumusan mereka: tugas manipulasi memiliki wilayah bottleneck yang membutuhkan rangkaian aksi presisi - memasukkan pod ke dalam mesin kopi adalah contoh yang mereka gunakan - di mana deviasi kecil membawa ke state yang tidak pernah dicakup oleh demonstrasi. Algoritme mereka melatih secara iteratif pada data baru sehingga kebijakan belajar melewati bottleneck tersebut, dan mereka melaporkan bahwa agen yang dilatih pada data intervensi mengungguli agen yang dilatih pada jumlah sampel setara dari demonstrator non-intervensi.

Rasio campuran adalah sebuah hyperparameter dan layak untuk dicatat. Menyusun dataset berikutnya adalah tempat rasio ini diputuskan: demonstrasi asli ditambah set koreksi, dengan pemilihan episode yang eksplisit per sumber, alih-alih aturan yang diam-diam menarik apa pun yang tersedia. Di sini itu adalah satu langkah compose di cockpit, dan hasilnya adalah dataset biasa - lihat dokumentasi pelatihan. Yang tidak dilakukan oleh alat mana pun untuk Anda adalah mencatat rasio mana yang menghasilkan kurva yang mana.

Jebakan 4: manusia bukan pakar yang konsisten

Teori DAgger mengasumsikan adanya seorang pakar (expert). Anda bukan pakar dalam pengertian teknis: koreksi Anda bukanlah sampel dari distribusi kondisional tetap atas aksi. Para penulis ACT menyebutkan hal ini saat mendaftar hambatan-hambatan manipulasi halus - error terakumulasi seiring waktu, dan demonstrasi manusia bisa bersifat non-stasioner. Sistem mereka tetap mencapai keberhasilan 80 hingga 90 persen pada enam tugas nyata hanya dari sepuluh menit demonstrasi, jadi masalah ini bisa diatasi (tractable), bukan tidak ada.

Studi robomimic menegaskan hal ini dari sisi data. Di enam algoritme offline pada lima tugas multi-tahap tersimulasi dan tiga tugas nyata, pelajaran yang didapat mencakup sensitivitas terhadap pilihan desain, ketergantungan pada kualitas demonstrasi, dan - yang paling menyakitkan di sini - variabilitas yang muncul dari kriteria penghentian (stopping criteria), karena tujuan pelatihan dan evaluasi berbeda. Checkpoint dengan loss terendah tidak selalu menjadi checkpoint dengan tingkat keberhasilan tertinggi.

Ada versi hardware dari masalah ini: mode input membentuk koreksi. Setup leader-follower menghasilkan trajektori kontinu dengan tempo manusia. Sentuhan keyboard (keyboard nudges) dibatasi ketat oleh server - dua derajat per panggilan pada sendi lengan, empat pada gripper - sehingga niat yang sama tiba sebagai tangga langkah-langkah kecil. Slider mengirim target absolut dan server bergerak paling banyak enam derajat menuju target itu per panggilan. Tiga mode, tiga distribusi aksi; mencampur ketiganya menjadi satu set koreksi lalu bertanya-tanya mengapa pendekatannya jadi gerak-gerik (twitchy) adalah masalah yang diakibatkan sendiri. dokumentasi teleoperasi menjelaskan apa yang dikirim oleh setiap mode.

Memberi bobot pada intervensi: IWR dan apa yang datang setelahnya

Jika koreksi adalah minoritas yang berharga, perbaikan yang berprinsip adalah memberi bobot, bukan eksklusivitas. Intervention Weighted Regression adalah implementasi rujukannya: data dipartisi menjadi sampel intervensi dan non-intervensi, dan kedua partisi tersebut disampling dalam proporsi yang sama selama pelatihan. Set koreksi yang hanya lima persen dari frame kemudian berkontribusi setengah dari gradien, tanpa perilaku nominal menghilang dari distribusi.

Proporsi yang sama adalah titik awal, bukan hukum baku. Sirius menggeneralisasinya dengan mengganti partisi biner dengan bobot kontinu dari perkiraan kepercayaan manusia; Sirius-Fleet memindahkan keputusan itu ke hulu (upstream), menggunakan visual world model dan prediktor anomali untuk memutuskan kapan manusia sama sekali perlu diminta. Benang merahnya: flag intervensi adalah sinyal pelatihan, bukan sekadar kolom pencatatan.

Empat metrik yang layak dicatat di samping tingkat intervensi

• Takeover per run. Dua puluh koreksi singkat dan satu koreksi panjang bisa menghasilkan tingkat yang mirip, tetapi menggambarkan kebijakan yang berbeda - satu gerak-gerik (jittery), satu lagi punya satu titik buta (blind spot) tunggal.
• Rata-rata panjang intervensi. Panjang yang meningkat dengan jumlah yang menurun berarti kegagalan yang tersisa adalah yang sulit, dan itulah wujud kemajuan di tahap akhir.
• Waktu hingga intervensi pertama. Kebijakan yang bisa berjalan lebih jauh sebelum membutuhkan bantuan sedang membaik, bahkan ketika tingkat totalnya datar.
• Di mana intervensi mengelompok. Kelompokkan (bin) flag berdasarkan progres episode yang dinormalisasi; puncak yang stabil di seluruh putaran menunjuk pada satu bottleneck.

Protokol putaran yang benar-benar bisa Anda jalankan

Satu putaran yang terukur memiliki enam langkah dan menghasilkan satu baris dalam log. Empat langkah pertama adalah loop-nya; dua langkah terakhir yang menjadikannya sebuah pengukuran.

1. 1
   Bekukan protokol evaluasi sebelum putaran nol

   Catat pose awal, penempatan objek, kamera, jumlah percobaan, timeout, dan kriteria keberhasilan. Foto meja kerjanya. Jika dokumen ini harus diubah, rangkaian pengukuran dimulai lagi dari awal.

2. 2
   Ukur baseline

   Jalankan protokol tanpa intervensi sama sekali dan catat keberhasilannya; lalu jalankan satu sesi yang terinstrumentasi dengan takeover diaktifkan dan catat tingkatnya. Kedua angka ini adalah putaran nol.

3. 3
   Kumpulkan koreksi dalam satu gaya yang konsisten

   Satu mode input per putaran, satu operator jika memungkinkan. Ambil alih berdasarkan kriteria yang bisa Anda ucapkan dengan lantang - 'gripper meleset lebih dari dua sentimeter saat mendekat' - dan pertahankan kriteria itu sepanjang putaran.

4. 4
   Triase setiap episode pada hari yang sama

   Koreksi, evaluasi, atau buang. Episode yang ambigu dibuang, tidak disimpan dengan alasan bahwa lebih banyak data akan membantu - koreksi di mana Anda sendiri melakukan kesalahan lebih buruk daripada tidak ada episode sama sekali.

5. 5
   Susun campuran secara eksplisit

   Demonstrasi asli ditambah koreksi, pemilihan episode per sumber. Catat jumlah data dasar, jumlah koreksi, dan bobot apa pun yang digunakan - inilah field yang akan Anda cari lagi tiga minggu kemudian.

6. 6
   Lanjutkan dari checkpoint, lalu ukur ulang

   Latih dataset yang telah disusun mulai dari checkpoint sebelumnya, bukan dari model dasar, jalankan protokol yang dibekukan ditambah satu sesi terinstrumentasi, tambahkan barisnya, dan bandingkan dengan dua putaran sebelumnya.

Ada dua batasan yang mengubah cara Anda membaca putaran yang lemah. Melanjutkan dari checkpoint hanya menginisialisasi bobot darinya - bukan resume optimizer, sehingga jadwal (schedule) dimulai dari awal lagi, dan run singkat dari checkpoint yang sudah konvergen bisa bergerak sangat sedikit. Dan gerakan leader-align di awal takeover memiliki mileage paling sedikit pada hardware nyata dibanding apa pun dalam rantai proses ini; jika semua koreksi dimulai dengan transien yang aneh, periksa di sana dulu sebelum menyalahkan campurannya.

Apa yang tidak bisa diberitahu oleh angka-angka ini

Tidak satu pun dari ini yang benar-benar terpecahkan, dan kurva yang rapi tidak seharusnya meyakinkan Anda sebaliknya. Tingkat intervensi mengukur sebuah sistem gabungan - kebijakan, hardware, operator, ruangan - dan tidak mengatribusikan apa pun dengan sendirinya. Ia tidak bisa menilai apakah koreksinya baik, dan ia akan dengan senang hati menurun pada tugas yang menjadi lebih mudah hanya karena objeknya bergeser dua sentimeter lebih dekat selama tiga minggu.

Yang bisa dilakukannya adalah mengubah kesan yang samar menjadi sebuah kolom yang bisa Anda perdebatkan. Alternatifnya bukanlah metrik yang lebih baik; alternatifnya adalah tiga minggu mengumpulkan koreksi yang, seandainya dihitung, kurva itu sudah akan memberitahu Anda, setelah putaran tiga, untuk berhenti mengumpulkan. Literatur survei mendefinisikan interactive imitation learning sebagai umpan balik manusia yang diberikan secara intermiten selama eksekusi robot, memungkinkan perbaikan perilaku secara online; keluarga metode ini luas, dan tidak ada susunan di dalamnya yang bekerja tanpa satu angka per putaran. Lihat juga panduan imitation learning untuk SO-100 untuk dataset dasar yang menjadi bahan campuran Anda, menjalankan sebuah kebijakan untuk sisi inferensinya, dan halaman loop DAgger untuk pipeline yang telah diimplementasikan.

Simpan log di dalam repository, bukan di buku catatan: putaran-putaran terpisah berhari-hari, hardware dibangun ulang, dan orang yang membaca kurva pada bulan Oktober adalah Anda sendiri yang sudah tidak ingat lagi bulan Agustus. FAQ dokumentasi membahas detail operasional yang tidak dicakup di sini.