Bir DAgger Döngüsünü Ölçmek: Müdahale Hızı, Değerlendirme Protokolü ve Aralarındaki Tuzaklar

Bir DAgger turu, içinde iken üretken hissettiriyor. Policy'yi yürütüyorsunüz, kavramayı kaçırdığında devralıyorsunuz, düzeltmeleri kaydediyorsunuz, yeniden eğitiyorsunuz ve sonraki koşu - yemin edebilirsiniz - biraz daha pürüzsüz görünüyor. İki tur sonra hiçbir şey değişip değişmediğini söyleyemiyorsunuz, çünkü "biraz daha pürüzsüz" bir nicelik değil.

Döngü bir tur başına bir sayıya ihtiyaç duyar ve insan-geçitli bir döngüde bu sayı neredeyse ücretsizdir: policy yerine kontrolde olduğunuz koşun kesri. Bu makale bunu, iki kişinin aynı değeri hesaplaması için tanımlar, günlüğe kaydeder, ortaya çıkan eğriyi okur ve onu tek başına durduğunda onu yanlış yönlendirebilecek dört yolu adlandırır. Teori için bu yazı şunları varsayar: DAgger açıklayıcısı ve insan-geçitli çeşit; pratik karşılığı bir SO-100 üzerinde DAgger döngüsü çalıştırmak.

Neden bir turu her şeyden bir sayıya ihtiyaç duyuyor

DAgger bir dağıtım sorunu nedeniyle var ve dağıtım sorunları gözle görülmez. Ross ve Bagnell gösterdi ki taklit öğrenme sabit bir gösteri seti üzerinde bileşik hatalara ve zaman ufkunda ikinci dereceden büyüyen bir pişmanlık sınırına yol açar: öğrenen, gösteri yapan tarafından ziyaret edilen durumları terk ettiğinde, veriler içinde nasıl geri geleceğini söyleyen hiçbir şey yoktur. DAgger bunu yineleme yaparak düzeltir - policy çalıştırma, ziyaret ettiği durumları etiketleme, toplama, yeniden eğitim - Ross, Gordon ve Bagnell çerçevesi hiçbir pişmanlık online öğrenmesine indirgeme olarak.

Bu çerçevelemenin insanların atladığı bir sonucu var. Garanti iterasyonlar üzerinde policy sırasıyla ilgilidir, herhangi bir tek koşu değil. Sizin üçüncü turunuzun yardımcı olup olmadığı hakkında hiçbir şey söylemez. Bilmenin tek yolu her tekrarı ölçmektir. Kelly ve meslektaşları HG-DAgger'ı tanıttılar çünkü klasik DAgger, öğrenci hala kontrol altındayken uzman eylem etiketleri ister, bu makalede güvenliği azaltabileceğini ve insan uzmanlarla, algılanan aktüatör gecikmesi aracılığıyla etiket kalitesini bozma olasılığı yüksek olduğunu tartışır. HG-DAgger ayrıca bir model-belirsizlik-tabanlı risk metriği için bir güvenlik eşiği öğrenir ve DAgger ve davranışsal klonlama üzerinde iyileştirilmiş performansı bir sürüş görevinde bildirir. Müdahale sayıları yayınlamaz; bunları kendiniz üretirsiniz.Hızı tanımlamak böylece iki kişi aynı sayıyı alırTanım bir satırdır: müdahale kareleri bölü koşunun kareleri. Tüm zorluk, bir kare olarak ne sayılır ve ne sayılır olarak gizlidir.

Bölümler değil kareler

En az bir müdahaleye sahip bölümleri saymak işe yaramaz: on bölüm birer nudge ile ve on bölüm yüzde seksen uncu oranı içinde sürülen her ikisi de "10/10" verir. Kare sayısı bunları ayırır ve kaydın zaten sahip olduğu parçalılıktır -

LeRobot veri seti biçiminde

her zaman adımı bir satır olduğundan, müdahale bayrağı durum ve eylem yanında bir boole sütunudur. Burada devralma başladığı anda kare başına yazılır ve kontrol geri döndüğünde silinir.Payda düzeltmeleri içerirİki payda savunulabilir - koşunun toplam kareleri veya policy'nin bağımsız olarak sürüdüğü kareler - ve yüksek müdahale seviyelerinde kötü şekilde farklılık gösterir. 1000 karenin 400'ünü devralın ve ilk yüzde 40 veriyor, ikinci yüzde 67 veriyor. Bir turu ilk şekilde ölçülen diğerine karşı ölçmek, gerçek bir iyileşmenin nasıl ortadan kalktığıdır. Toplam kareleri alın ve serinin ortasında asla seçimi ziyaret etmeyin.

Teslim alma kareleri için ne olacağını bir kez belirleyin

Her zaman bir dikiş var. Kontrol geçtiğinde, bazı kareler hiçbir tarafa ait değildir: kol tutulur, lider hizalanır, kayıt dondurulur. Bu boru hattında bu teslim alma kareleri ham akışta kalır ve asla küratör

bölüm

- ne policy davranışı ne de eğitim için değecek bir düzeltme. Dikiş her turda aynı şekilde sayın: 30 Hz'de, altı devralma ve iki saniye dikiş her biri 360 karedir, bir yüzde puan hareket etmek için yeterlidir.Karşılaştırılabilirliği kıran üç kararKareler veya bölümler; toplam koşu veya yalnızca özerk; teslim alma kareleri içinde veya dışında. Turlar arasında sessizce değiştirilmiş herhangi biri eğriyi anlamsız hale getirir. Üçünü yazın.

kontrol noktası

dahil olmak üzere, çünkü bu her tur değişir ve karıştırılması sonrasını geçersiz kılar.Tur başına bir satır. Paydayı ve teslim alma kuralını sayı yanında kaydetmek alan adlarından daha önemlidir.İki alan ağırlık taşır.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

sonraki eğitim işine ne yedirdiğinizdir; onsuz hiçbir şey atfedilemez. eval_protocol çalıştırdığınız sabit testi adlandırır ve boş bırakılan alandır. Ay-robots pit panelinde devralma durumu, çalışan oturum için müdahale kare sayısını bildirir, bu nedenle günlüğe kaydetme enstrümantasyon yerine transkripsiyon olur; veri seti belgelendirmesi kare başına sütunların nereye iniş yaptığını kapsar.Training yapılandırması matrisi policies, veri setleri ve kontrol noktalarını yan yana gösteriyorHer tur kontrol noktası ve veri seti karışımını değiştirir. Kombinasyonu kaydedilmeyen bir sayı atfedilemez.

Tur

Sürülen kontrol noktası

Düzeltmeler temel veri seti karşı çok az, gradyanı taşımak için ve hiçbir şey ağırlıklandırır.

• Düzeltmeler birbirini çelişir, bu nedenle policy iki strateji ortalaması ve aralarında iniş yap.
• Arıza akışta yukarı: bir kamera taşındı, aydınlatma değişti, bilek görünümü artık eğitim ile eşleşmiyor.
• Görev bu policy sınıfında bu donanım üzerinde tavana ulaşıyor ve sonraki adım daha fazla temel veri.
• Son ikisi döngünün arızaları değil. Sirius-Fleet içinde insan ihtiyacının azalması tasarlanan sonuçtur: robot otonomi iyileştikçe, anomali yordayıcıları tahmin kriterleri uyarlar, insan müdahalesi için daha az isteğe yol açar ve kademeli olarak zamanla insan iş yükünü azaltır. Orada kriter amaçlı uyarlar. Manuel bir döngüde sizin de uyarlar, sessizce - yani tavana ulaşan düz bir hız operatörün fark etmeyi durdurduğu için düz görünüyor. Hangi sonraki sorun.
• Tuzak 1: düşen bir hız yükselen bir başarı hızı değil

Müdahale hızı tam olarak bir şey ölçüyor: koşunun ne kadarını sahiplenmeye karar veriyorsunuz. Bu karar sizin, gerçek zamanlı yapılan ve hareket ediyor. Tur sıfırda ilk kötü yaklaşım açısında devralıyorsunuz; tur üç de policy'nin bir düzineden biri kurtulduğunu izlediniz ve bunu denemeyi bırakıyorsunuz. Eşiğiniz taşındı;

policy

olmayabilir. Hız her iki yönde de düşüyor.İnsan güveni en azından edebiyatta modellenen bir nicelik olarak sabit bir sabit olmaktan ziyade. Sirius, insan güvenini yaklaşık olarak eğitim örneklerini yeniden ağırlıklandırır ve policy'yi ağırlıklı davranışsal klonlama ile optimize eder, benzer davranış klonlamaya göre durum sanatından itibaryen, gerçek donanımda yüzde 27 simülasyonda yüzde 8 artış rapor eder, iki kat hızlı yakınsaklık hızında başarı. Bu güveni veriye bir ağırlık olarak tedavi eder. Tur sıfırdan tur üç arasında başınızdaki eşiği düzeltmez.Bölünemeyin kaldıramazsınız, bu nedenle hızı eşiğinize dokunmasını yapamayacak bir şeyle eşleştirin: müdahale etmediğiniz sabit bir deneme seti, tur önce yazılmış bir kriter karşı puanlandı. Eşleştirilmiş başarı hızı durgun kalırken düşen bir hız alışkanlığın imzası - yakalayacak değer, çünkü döngü içinden ilerleme gibi hissettiriyor.

Müdahale hızı

Sabit protokol üzerinde başarı hızı

Bir çalışma alanında 600 eşleştirilmiş bölüm çalıştırmayacaksınız

SO-100

de. Yapabileceğiniz şey, kontrolü altında olduğunuz varyansı kaldırmaktır - genellikle atlanacak kadar sıkıcı bir liste.BoyutBunu dondur

Değerlendirme bölümleri eğitim havuzu dışında tutun

Değerlendirme bölümleri hiçbir zaman oluşturulmuş eğitim veri setine girmez - aksi takdirde tur n+1 eğitildiği veriye karşı puanlandı ve eğri ezber ölçüyor.

Mandlekar ve meslektaşları uzaktan müdahale sistemini buna etrafında inşa etti. Çerçeve: manipülasyon görevleri bottleneck bölgelerini içerir kesin eylemler dizisini gerektiren - bir kahve makinesine bir pod eklemek örnek - küçük sapmaların gösteriler asla kapsamadığı devletlere yol açtığı. Algoritmaları iteratif olarak yeni veriye eğitim yapıyor policy bu darboğazları geçmeyi öğrenmek için ve müdahale verisi üzerine eğitim ajanları müdahale olmayan gösteri yapıcılardan eşdeğer örnek sayısı üzerine eğitim yapan ajanları yencek rapor ediyor.

Yalnızca düzeltmeler ince ayarı karşı oluşturulmuş karışım

Yalnızca düzeltmeler size ne verir

. Hiçbir araç sizin için hangi oranı hangi eğriyi ürettiyini kaydetmek yapmaz.Tuzak 4: insan tutarlı bir uzman değilDAgger teorisi bir uzman varsayar. Teknik anlamda bir değilsiniz: düzeltmeleriniz eylemler üzerinde sabit bir koşullu dağılım örnekleri değildir. ACT yazarları bunu ince manipülasyonda engeller listelenirken adlandırır - hatalar zamanla bileşir ve insan gösterileri durağan olmayabilir. Sistem hala simülasyonda yüzde 80 yüzde 90 başarısını on dakika gösteriden altı gerçek görevde ulaşıyor, bu nedenle sorun izlenebilir, yok değil.

Robomimic çalışması noktayı veri tarafından yapar. Beş simüle edilmiş ve üç gerçek dünya çok aşamalı görev üzerinde altı çevrimdışı algoritması arasında, dersleri tasarım seçimlerine duyarlılık, gösteri kalitesine bağımlılık ve - en çok acısı burada - durma kriterlerinden kaynaklanan değişkenlik içerir, çünkü eğitim ve değerlendirme hedefleri farklılık gösterir. En düşük kayıp kontrol noktası en yüksek başarı hızına sahip olması güvenilir değildir.

Bunun donanım versiyonu vardır: giriş modu düzeltmeyi şekiller.

lider takipçi

kuruluşu insan tarafından hızlandırılan sürekli yörüngeler üretir. Klavye nudge'leri sunucu tarafından sert tutturulmuş - kol eklemleri üzerinde iki derece per çağrısı, gripper üzerinde dört - aynı amaç küçük adımlar merdiveni olarak gelir. Kaydırıcılar mutlak hedefler gönderir ve sunucu onlara doğru çağrı başına en çok altı derece hareket ediyor. Üç mod, üç eylem dağılımı; üçünü de bir düzeltme seti içine karıştırmak ve sonra yaklaşmanın neden titrek olduğunu merak etmek kendi kendine yapılan. teleoperation belgelendirmesi her modun gönderdiğini kapsar.Müdahaleleri tartılandırmak: IWR ve sonrasında ne geldiDüzeltmeler değerlerin azınlığı ise, ilkeli fix ağırlık yerine münhasırlık. Müdahale Ağırlıklı Regresyon referans uygulamadır: veriler müdahale ve müdahale olmayan örneklere bölünür ve iki bölüm eğitim sırasında eşit oranda örneğe alınır. Karelerin yüzde beş olan bir düzeltme seti sonra gradyanın yarısında katkı verir, nominal davranış dağılımdan kaybolmadan.

Eşit oran başlangıç noktası, yasa değil. Sirius onu yaklaşık insan güveni ile sürekli bir ağırlıkla ikili bölümü değiştirerek genelleştirir; Sirius-Fleet karar akışta yukarı hareket ediyor, bir görseli bir dünya modeli ve anomali yordayıcıları bir insanın hiç ne zaman sorulmuş karar vermek için kullanarak. Ortak dişli: müdahale bayrağı eğitim sinyali, sadece muhasebe sütunu değil.

Yöntem

Kim karar verir ne zaman insan hareket ediyor

Ortalama müdahale uzunluğu. Düşen bir sayı ile yükselen uzunluk kalan arızaların zor olanlar olması anlamına geliyor, hangi geç ilerleme gibi görünüyor.

• İlk müdahaleye zaman. İlk yardıma ihtiyaç duymadan daha ileri bir policy geçiş olan toplam hızı düz bile iyileştiriyor.
• Müdahale kümeleri nerede. Normalleştirilmiş bölüm ilerlemesine göre bayrağı kutular; turlar arasında istikrarlı bir tepe bir bottleneck işaret ediyor.
• Gerçekte çalışabilileceğin bir tur protokolü
• Ölçülen tur altı adım ve bir günlük satır üretir. İlk dört döngü; son iki bunu bir ölçüm yapıyor.

Sıfır tur öncesi değerlendirme protokolü dondur

Ev pozu, nesne yerleşim, kamera, deneme sayısı, zaman aşımı ve başarı kriteri başlangıç yaz. Tabloyu fotoğrafla. Belge değişmesi gereken, seriler yeniden başlar.

1. 1
   Taban çizgisini ölçün

   Protokol hiçbir müdahaleler ile çalıştırın ve başarıları kaydet; sonra bir müdahale etkinleştirilmiş enstrümantasyonlu bir oturum çalıştırın ve hızı kaydet. Bu iki sayı tur sıfır.

2. 2
   Düzeltmeleri bir tutarlı stil içinde topla

   Tur başına bir giriş modu, mümkün kılabilir bir operatör. Dışarı bir kriter üzerinde al - 'gripper yaklaşımda iki santimetreden daha fazla' - ve turda tutun.

3. 3
   Aynı gün her bölümü sınıflandır

   Düzeltme, değerlendirme veya at. Belirsiz bölümler kaydedilmemiş, daha fazla verisi yardımcı olması teorisinde atılır - düzeltme hangi kendin fumbled daha kötüdür hiçbir bölüm.

4. 4
   Karışım açıkça oluştur

   Orijinal gösterim artı düzeltmeler, kaynak başına bölüm seçimi. Temel sayı, düzeltme sayısı ve herhangi bir tartılama kaydet - hangi oran hangi eğriyi ürettiğini üç hafta isteyecek alandır.

5. 5
   Kontrol noktasından devam et, sonra yeniden ölçün

   Önceki kontrol noktasından oluşturulmuş veri seti eğit tabanı modeli yerine, dondurulmuş protokol artı bir enstrümantasyonlu oturum çalıştırın, satırı ekleyin ve önceki iki turla karşılaştırın.

6. 6
   İki sınır zayıf tur nasıl okuyorsunuz değiştir. Kontrol noktasından devam etmek ağırlıkları başlatır - bir optimizer özgeçmiş değil, bu nedenle zamanlama taze başlıyor ve yakınsanmış bir kontrol noktasından kısa bir koşu çok az hareket edebilir. Ve takeover en başında lider-hizala hareket, donanımda en az mil var zincir herhangi bir şey; düzeltmeler bir tuhaf geçici başlamışsa, karışımı suçlamadan önce orada bakın.

   Ölçülen döngü, zaten kablolu

ay-robots bu altı adımı ürün özellikleri olarak uygular: bir lider kol, klavye veya kaydırıcılardan tur ortasında devral, müdahale kareleri otomatik olarak işaretli; her bölümü düzeltme, değerlendirme veya atla sınıflandır; sonraki veri setini orijinal gösterim artı düzeltmelerden oluştur, kaynak başına bölüm seçimi açık; ve sonraki eğitim çalışmasını temel model yerine önceki kontrol noktasından başlat.

Yapı vague bir izlenim bir sütun çevir argümanı yapabilir. Alternatif daha iyi bir metrik değil; eğri tur üç sonra toplamak durdur söyler üç hafta düzeltme toplama. Araştırma edebiyat etkileşimli taklit öğrenme tanımlar insan geri bildirim aralıklı verilen robot yürütme sırasında, davranış çevrimiçi iyileştirilmesine izin verilmek; aile geniş ve hiçbir düzenlemesi tur başına sayı olmadan çalışır. Ayrıca görmek

SO-100 taklit öğrenme kılavuzu

temel veri seti için karşı karışımı, bir policy çalıştırmak çıkarım tarafı için ve DAgger döngü sayfası uygulanır boru hattı için.DAgger döngü sayfası uygulanır boru hattı için.

Depo not defter yaz günlüğü tutun: turlar ayrı günler, donanım yeniden yapılmış ve Ekim kağıdı oku kişi hiç Ağustos hafızası olmayan. belgelendirme SSS sol operasyonel detayları kapsar.