HG-DAgger a řízené varianty: Kdo rozhoduje o převzetí kontroly nad robotickou politikou

Naklonovaná politika selhává tam, kde došla její trénovací data. Řešením je pokračovat ve sběru dat podle vlastního rozdělení stavů politiky namísto rozdělení demonstrátora, což dělá DAgger a co úvod do agregace datasetů popisuje od základů. Ponechává otevřenou nepříjemnou část původního algoritmu: zatímco řídí žák, expert má pro každý stav říct, co by udělal on, aniž by měl kontrolu.

V simulátoru se skriptovaným expertem je to zadarmo. Na stole se skutečným ramenem to není ani zadarmo, ani bezpečné. Autoři HG-DAgger formulují námitku přesně: takové schéma vzorkování „vyžaduje, aby expert poskytoval popisky akcí, aniž by měl systém plně pod kontrolou", což „může snížit bezpečnost a při použití lidí jako expertů pravděpodobně zhorší kvalitu sebraných popisků kvůli vnímanému zpoždění akčních členů" (Kelly et al., 2019). V této větě se skrývají dvě chyby: politika dál směřuje do stavů, ve kterých ji nikdo nechce mít, a popisky získané za cenu tohoto rizika jsou horší než ty, které člověk vytvoří, když drží ovládání. Každá z níže uvedených variant odpovídá na stejnou otázku – nasadit na řízení bránu a nechat někoho rozhodnout, kdy se otevře. Liší se v tom, kdo tím někým je.

Řízení člověkem a řízení robotem: rozdíl, na kterém záleží

Interaktivní imitační učení má vlastní přehledovou studii; Celemin a kolegové je kategorizují podle typu zpětné vazby, rozhraní, modelu učení, uživatelské zkušenosti, aplikace a benchmarku. Rozdíl, který určuje váš návrh systému, je jednodušší než kterákoli z těchto os, a nedávná práce jej pojmenovává přímo: metoda je řízená člověkem, když o zásahu rozhoduje supervizor, a řízená robotem, když o žádosti o pomoc rozhoduje agent sám (Cai et al., 2025). Všechno ostatní je jen mechanismus sloužící jedné z těchto dvou voleb. Kompromis je vidět hned na začátku: brána řízená člověkem stojí nepřetržitou pozornost a brána řízená robotem slibuje tuto pozornost vrátit – ale jen pokud je signál, na kterém je založena, důvěryhodný, a vybudovat takový signál je samo o sobě výzkumný problém.

SafeDAgger: klasifikátor, který předpovídá vlastní odchylku

SafeDAgger od Zhanga a Choa (2016) je nejstarší z těchto bran. Dotazování referenční politiky je nákladná část, a tak druhá, malá síť – bezpečnostní politika – předpovídá, jestli se dotaz vůbec vyplatí. „Vrací binární popisek udávající, zda se hlavní politika pravděpodobně odchýlí od referenční politiky, aniž by se na ni dotazovala." Popisek je definován pomocí kvadratické L2 odchylky mezi akcemi obou politik s prahem tau a klasifikátor se trénuje binární křížovou entropií. Za běhu rozhoduje pro každý stav, jestli dál řídí žák, nebo přebírá referenční politika. Abstrakt uvádí méně dotazů na referenční politiku v simulátoru automobilových závodů a zrychlení konvergence, které autoři přisuzují efektu automatického kurikula, aniž by pro některé z toho udávali konkrétní číslo.

Zádrhel je v definici, ne ve výsledcích. Trénink klasifikátoru vyžaduje akci referenční politiky pro každý stav použitý k tréninku, což předpokládá, že referencí je jiný program. Pokud je vaší referencí člověk s vodicím ramenem, taková sada popisků není levná a metoda ztrácí vlastnost, pro kterou byla navržena.

EnsembleDAgger: pochybnost i odchylka zároveň

Menda, Driggs-Campbell a Kochenderfer (2019) pojímají bránu jako pravděpodobnostní otázku. EnsembleDAgger „aproximuje Gaussovský proces pomocí souboru neuronových sítí" a čte rozptyl souboru jako proxy pro důvěru: vysoký rozptyl znamená oblast nepodobnou trénovacím datům, což – za předpokladu, že se expert vyhýbá stavům selhání – koreluje s blízkostí k selhání. Pravidlo je konjunkce. Žák smí jednat, jen když L2 vzdálenost mezi jeho průměrnou akcí a akcí experta zůstává pod jedním prahem (odchylka) a rozptyl jeho předpovídané akce zůstává pod druhým prahem (pochybnost). Pokud jedna z podmínek selže, přebírá kontrolu expert. Cílem je maximalizovat podíl akcí žáka při omezení pravděpodobnosti selhání; práce uvádí lepší bezpečnost a učení oproti dalším variantám DAgger na inverzním kyvadle a MuJoCo HalfCheetah.

LazyDAgger: zabránit kmitání přepínače

Hoque a kolegové (2021) se zaměřili na náklad, který dřívější práce neměřily: samotné přepínání. Každý zásah „přerušuje jinou práci, kterou člověk dělá, přináší latenci při každém přepnutí kontextu mezi supervizorem a autonomním řízením a vyžaduje čas na provedení". Brána, která se desetkrát za minutu otevře a zavře, je horší než ta, která se otevře jednou na deset sekund, při stejném podílu autonomního řízení. LazyDAgger rozšiřuje SafeDAgger o asymetrické prahy – vstoupit do řízení supervizorem je těžší než v něm zůstat – takže systém na hranici neosciluje. V simulaci „dokáže v průměru snížit počet přepnutí kontextu o 60 % oproti SafeDAgger na 3 úlohách spojitého řízení při zachování nejmodernějšího výkonu politiky"; při manipulaci s látkou pomocí ABB YuMi „snižuje počet přepnutí kontextu o 60 % a zároveň dosahuje o 60 % vyšší úspěšnosti než SafeDAgger v době provádění".

ThriftyDAgger: novost nebo riziko, v rámci rozpočtu

ThriftyDAgger (Hoque et al., CoRL 2021) vychází z rozpočtu supervizora, ne z politiky. „Používá naučenou přepínací politiku k vyžádání zásahů jen ve stavech, které jsou dostatečně (1) nové, kde politika robota nemá žádné referenční chování k napodobení, nebo (2) rizikové, kde má robot nízkou důvěru v dokončení úkolu", s novou metrikou pro odhad tohoto rizika. Rozpočet je vstup, ne výsledek: sami určíte, kolik lidského času věnujete. Při použití v době provádění metoda „dosahuje 100 % úspěšnosti jak v simulaci, tak na fyzických úlohách", a uživatelská studie s deseti účastníky řídícími flotilu tří robotů souběžně s úkolem na soustředění uvádí, že „zvyšuje výkon člověka a robota o 58 %, respektive o 80 % ve srovnání s druhým nejlepším algoritmem, a zároveň snižuje zátěž supervizora". Nasazení na flotile je pro tuto práci přirozeným prostředím; Fleet-DAgger později formalizoval interaktivní učení flotil s více roboty a supervizory a navrhl Return on Human Effort jako veličinu k optimalizaci.

HG-DAgger: bránu drží člověk

Kelly et al. (2019) jdou opačnou cestou. Žádná přepínací politika neexistuje. Žák běží, „dokud expert nezpozoruje, že nováček vstoupil do nebezpečné oblasti stavového prostoru", v tu chvíli expert přebírá kontrolu a vrací systém zpět. Pravidlo agregace je ta přísná část: „Popisky akcí experta se sbírají a přidávají do datasetu jen během těchto zotavovacích trajektorií, během nichž má lidský expert nepřerušovanou kontrolu nad systémem." Dokud je člověk jen divákem, nic se nepopisuje.

Tím to nekončí. HG-DAgger také „učí bezpečnostní práh pro metriku rizika založenou na nejistotě modelu, kterou lze použít k předpovědi výkonu plně natrénovaného nováčka v různých oblastech stavového prostoru": zaznamenává, jak nejistý byl žák v okamžicích, kdy člověk zasáhl, a zprůměruje poslední čtvrtinu těchto záznamů, kde se žák nejvíce podobá své finální podobě. To není brána, kterou by ovládal robot, ale diagnostika, která říká, kde se očekává, že hotová politika bude fungovat spolehlivě. Vyhodnocení pokrývá simulovanou i reálnou úlohu řízení a uvádí lepší výkon oproti DAgger i klonování chování.

Jedna příbuzná linie práce mění, co se počítá za popisek. Expert Intervention Learning od Spencera a kolegů tvrdí, že „jakékoli množství zpětné vazby experta, ať už zásahem, nebo jeho absencí, přináší informaci o kvalitě aktuálního stavu, o optimalitě akce, nebo o obojím", formalizováno jako omezení na hodnotovou funkci žáka a řešeno online učením typu no-regret. Podle tohoto pojetí jsou úseky, kdy se člověk díval a nic nedělal, slabým pozitivním důkazem, nikoli prázdnou informací. EIL se naučí vyhýbat kolizím z přibližně jedné minuty kontroly experta.

Varianty vedle sebe

Co která brána přináší a co stojí

Když projdete sloupec „potřebné zdroje", vykrystalizuje vzorec: každý signál řízený robotem je proxy, kterou je třeba vyrobit, a každá taková proxy má svou cenu.

• Signály odchylky (SafeDAgger, LazyDAgger, polovina pravidla EnsembleDAgger) potřebují referenční politiku. Buď máte skriptovaného experta, a pak je zajímavý problém už vyřešen, nebo v pozadí nepřetržitě produkuje akce člověk, aby šlo vzdálenost vůbec spočítat.
• Signály pochybnosti potřebují kalibrovanou epistemickou nejistotu. Soubor malých řídicích sítí ji dokáže aproximovat; soubor modelu typu vision-language-action o třech miliardách parametrů je především problém paměti a latence.
• Signály novosti a rizika potřebují naučený odhad dokončení úkolu, natrénovaný na dostatečném počtu úspěšných i neúspěšných rolloutů. U úlohy, kterou teprve zprovozňujete, taková data v prvním kole ještě neexistují.
• Brána řízená člověkem potřebuje pozornost, a nic víc – jediný signál dostupný od prvního dne, na jakékoli architektuře politiky, bez dalšího modelu k tréninku.
• Žádná brána řízená robotem neodstraní člověka z místnosti. Snižují jen to, jak často musí zasáhnout, ne to, zda musí být přítomen.

Existuje ještě tišší rozdíl v tom, co brána produkuje. Brána řízená robotem, která se spustí uprostřed trajektorie, předá člověku pohybující se rameno v libovolné poloze. Brána řízená člověkem nechá operátora vybrat okamžik – po přiblížení, před uchopením, ne uprostřed výmachu. Zotavovací segmenty z obou přístupů nejsou stejně čisté, a přitom tyto segmenty jsou celým produktem daného kola.

Proč forma řízená člověkem vyhrává na reálném hardwaru

Toto je inženýrský argument, ne výsledek benchmarku – nenašli jsme žádnou práci, která by spustila všech pět bran na stejném manipulátoru se stejnou třídou politiky. Stojí na čtyřech bodech.

Za prvé, supervizor je tam stejně přítomen. Nikdo nenechá rameno SO-100 běžet bez dozoru vedle předmětů, které může shodit. Jakmile už někdo dohlíží, mezní náklad na to, dát mu tlačítko pro převzetí kontroly, je téměř nulový; postavit kalibrovaný odhad rizika je celý projekt.

Za druhé, nejistota, kterou lze u moderní politiky skutečně měřit, je často špatná veličina. Difuzní hlava nebo hlava typu flow-matching produkuje rozptyl napříč vzorkovanými bloky akcí, a tento rozptyl odráží multimodalitu, kterou se hlava naučila reprezentovat, ne epistemickou neznalost stavu. Člen pochybnosti u EnsembleDAgger používá soubor modelů právě proto, aby zachytil to druhé. Ty dvě věci vypadají jako totéž číslo, ale nejsou; hesla action chunking a flow matching popisují, jak tyto hlavy vlastně akce generují.

Za třetí, selhání, na kterých v manipulaci záleží, jsou často sémantická, ne statisticky neobvyklá. Politika, která zavře úchop o dva centimetry dřív, nebo sebejistě sáhne po nesprávné z dvou identických kostek, není ve stavu s vysokým rozptylem – je sebejistá a špatná. Žádný práh rozptylu to nezachytí; člověk, který se dívá, to zachytí okamžitě.

Za čtvrté, kvalita popisků – původní bod HG-DAgger a ten, který se nejčastěji přeskakuje. Popisky sebrané, když má člověk nepřerušovanou kontrolu, jsou lepší než popisky nadiktované nad pohybujícím se systémem. Pokud je cílem korekční data, která stojí za agregaci, důkazní břemeno leží na automatizované bráně.

Brána je jen polovina metody; zpracování dat je ta druhá polovina

Brána rozhoduje, které snímky řídil člověk, ne co s nimi dál dělat, a právě toto druhé rozhodnutí je místo, kde se kola nejčastěji zmaří. První pravidlo je to, pro co stojí D v DAgger: agregovat, ne nahrazovat. Fine-tuning checkpointu čistě na několika stovkách korekčních snímků vám dá model, který neviděl skoro nic jiného než zotavování a zapomněl nominální trajektorii.

Druhé pravidlo je, že snímky zásahu nejsou obyčejné snímky. Mandlekar a kol. postavili systém vzdálené teleoperace pro manipulaci se 6 stupni volnosti, který operátorům umožňuje sledovat politiky a při selhání převzít kontrolu, a poté trénovali iterativně algoritmem, který „vede politiku k tomu, aby se pomocí zásahů naučila překonávat úzká místa"; agenti trénovaní na těchto datech předčili agenty trénované na stejném počtu obyčejných demonstračních vzorků. Sirius posouvá tuto myšlenku do nasazení, „přehodnocuje váhy trénovacích vzorků pomocí odhadnuté lidské důvěry a optimalizuje politiky pomocí váženého klonování chování". Obě metody potřebují značku po jednotlivých snímcích, co bylo řízeno člověkem, a proto na příznaku zásahu záleží víc, než se zdá.

Třetí pravidlo je, že automatické míchání je past. Sestavený dataset, jehož zdroje nedokážete vyjmenovat, je dataset, který nelze ladit, když další kolo dopadne hůř. Na této platformě je proto krok sestavení (compose) z tohoto důvodu explicitní – původní dataset plus korekce, výběr epizod podle zdroje, a výsledkem je obyčejný LeRobot dataset, který se synchronizuje a trénuje jako kterýkoli jiný; dokumentace k datasetům popisuje formátovou stránku.

Nastavení brány, kterou člověk skutečně udrží

„Rozhoduje člověk" není specifikace. Dva operátoři s různými prahy produkují neporovnatelná kola a plovoucí práh produkuje trend, který nelze číst. Napište spouštěče (triggery) dopředu, před prvním během.

1. Pojmenujte podmínky, které otevírají bránu – přiblížení mimo o víc než pevnou odchylku, úchop zavírající se naprázdno, kloub směřující k limitu, zaseknutí déle než sekundu nebo dvě – a po celé kolo tento seznam neměňte.
2. Pojmenujte i to, co bránu neotevírá. Přestřelení, ze kterého se politika zotaví sama, je trénovací signál; převzetí kontroly v takovém místě smaže zotavení, které už umí.
3. Přebírejte kontrolu dost brzy na čisté předání, vraťte ji zpět, jakmile je stav zotavitelný.
4. Zaznamenávejte, proč jste převzali kontrolu, u každé epizody. O tři kola později je to jediný záznam o tom, zda se stejné selhání vrací.
5. Udržujte kamery, text úlohy i operátora napříč koly konstantní. Změňte jedno a čísla přestanou být srovnatelná.

Mechanicky má předání kontroly dvě varianty. S vodicím ramenem musí vodicí rameno nejprve dosáhnout aktuální polohy sledovaného ramene, než se přenese točivý moment, jinak rameno škubne; tento krok zarovnání je na reálném hardwaru nejméně otestovaná část celého řetězce. Bez vodicího ramene je převzetí kontroly ruční od prvního stisku klávesy: sledované rameno se drží a operátor jím pohybuje kloub po kloubu z klávesnice nebo tahá za posuvníky, přičemž omezení na straně serveru drží každý vstup malý – pár stupňů na stisk klávesy, hrst stupňů na aktualizaci posuvníku, protože velký krok do drženého úchopu je způsob, jak zničit servo. Postup krok za krokem i s klávesovými zkratkami je v návodu na kolo DAgger na SO-100; podklady k oběma režimům teleoperace jsou v dokumentaci k teleoperaci a v položce leader-follower.

Čtení, jestli brána vůbec něco udělala

Metrikou kola řízeného člověkem je míra zásahů: snímky se zásahem dělené počtem snímků běhu. Má jeden úkol – pokud napříč koly neklesá, kolo nic nepřineslo a další kolo by mělo změnit něco jiného než množství dat.

Je to zkreslená metrika a měli byste vědět jak. Měří práh operátora stejně jako schopnost politiky, a proto seznam spouštěčů zůstává pevný; operátor, který v průběhu sezení povolí, produkuje klesající křivku bez skutečného obsahu. Také ignoruje závažnost – deset snímků na zastavení kolize a deset na doladění úchopu vypadá stejně. Kombinujte ji s pevnou vyhodnocovací sadou, ze které nikdy nebyla čerpána korekční data. Článek o měření smyčky DAgger rozebírá návrh vyhodnocení, včetně toho, jak udržet vyhodnocovací epizody mimo trénovací mix.

Otevřené otázky, které stojí za sledování

Benchmarky jsou slabé. Spencer a kolegové prozkoumali ty, které se používají k testování přístupů imitačního učení, a shledali je „realizovatelnými a jednoduchými, a tudíž nedostatečnými k zachycení náročnějších režimů kumulace chyb, jaké se objevují v reálných rozhodovacích problémech" – a proti okolní literatuře zjistili, že na nich obyčejné klonování chování obstálo dobře. To je důvod ke skepsi vůči jakémukoli žebříčku variant DAgger založenému na těchto úlohách, včetně některých čísel v tabulce výše.

Brány řízené robotem u velkých politik také nejsou vyřešené. Práce AIM nahrazuje nejistotu proxy Q-funkcí napodobující pravidlo lidského zásahu a uvádí 40 % zlepšení nákladů na převzetí kontroly a efektivity učení oproti ThriftyDAgger – ve spojitém a diskrétním řízení, ne na modelu typu vision-language-action řídícím manipulátor. Zda se některá z těchto bran přenese na doladěný VLA model, je otevřená otázka. Přehledová studie upozorňuje na příbuzný bod: terminologie a struktura oboru nejsou napříč literaturou sjednocené, což ztěžuje porovnávání metod. Na vlastním rameni jsou vaše logy jediným důkazem, který máte.

Pro jedno rameno na jednom stole je volba jasná: držte bránu sami, zapište si, co ji otevírá, a věnujte úsilí zpracování dat za ní, ne automatizaci přepínače. Stránka platformy je popsaná na stránce smyčky DAgger, možnosti tréninku podle rodiny politik pod trénink a ceny. Pro souvislosti začněte s imitačním učením a imitačním učením na SO-100; pro první běh je spuštění vaší první politiky kratší cestou.