Spuštění DAgger cyklu na SO-100 s VLA strategií

Vaše strategie běží. Dosáhne krychle, zavře úchop centimetr příliš brzy a pokračuje, jako by ji měla. Nic se nejedna, a žádné studium trénovací ztráty to nevysvětluje. Řešení není dalších 20 000 gradient kroků na stejných demonstracích. Je to vrátit si ruku zpět na rameno přesně tam, kde selže, zaznamenat, co jste udělali místo toho, a trénovat další checkpoint na starých datech plus na té opravě. To je DAgger kolo, a tímto je způsob, jak jej spustit na SO-100 se strategií vision-language-action.

Teorie je jinde: proč vůbec funguje agregace datových sad a co human gating změní na tom. Toto je operační manuál a předpokládá trénovaný checkpoint, fungující sadu kamer a rameno, které se pohybuje. Šest kroků níže je cyklus, jak je implementován na DAgger stránku této platformy, ale posloupnost je stejná z vašich vlastních skriptů.

Proč druhé kolo není jen více dat

Behavior cloning trénuje na stavech, které lidé navštívili. V testovací době strategie navštěvuje stavy, které způsobuje, a malé chyby akcí se skládají do stavů, které žádná demonstrace nepokryla. Ross, Gordon a Bagnell formalizovali toto selhání pro AISTATS 2011 a odpověděli iterativním algoritmem, který trénuje stacionární deterministickou strategii a, pod jejich redukcí, musí dosahovat dobré výkonnosti pod distribucí stavů, kterou vyvolává: spusťte aktuální strategii, nechte experta označit stavy, které skutečně dosáhla, přidejte je do datové sady, přetrénujte, opakujte. Kelly et al. učinili dotaz praktickým s HG-DAgger, kde se lidé rozhodují, kdy převzít kontrolu místo označování stavů bez držení ovladačů; hlásí zlepšenou výkonnost oproti DAgger i behavior cloning na simulované i reálné úloze autonomního řízení. Human gating je to, co činí cyklus na stolním rameni snesitelným - posunete ruce jen když se něco špatně mění.

Dvě důsledky mají v praxi větší důležitost než teorie. Opravy nejsou běžné demonstrace: soustředují se na kritické oblasti, které Mandlekar et al. popisují, kde malá odchylka strčí strategii do stavů, které demonstrace nikdy nepokryly. A datová sada vytvořená pouze z těchto těžkých částí je špatně tvarovaná datová sada - Belkhale, Cui a Sadigh argumentují ze strany dat, že rozmanitost stavů není vždy přínosná, a že divergence akcí a diverzita přechodů dohromady rozhodují kvalitu datové sady. Smíšená datová sada není kompromis, je to smysl.

Zamrazte to před prvním kolem

DAgger kolo porovnává strategii sama se sebou v čase. Cokoli, co změníte mezi koly, co není datová sada, činí to srovnání nesmyslným.

• Pozice kamer a montáže, včetně kamery na zápěstí. Uvolněte jeden spoj a změnili jste distribuci pozorování, ne strategii.
• Expozice a balanci bílé, pokud vám to vaše capture stack umožňuje. Drift auto-expozice mezi koly je pomalá, neviditelná změna domény.
• Kalibrace ramene a pozice servo-nuly. Pokud musíte znovu kalibrovat, považujte vše zaznamenané před tím za oddělený datový soubor.
• Text úkolu. Každá VLA zde se podmiňuje na něm; přeformulování uprostřed cyklu je jiný úkol.
• Osvětlení, povrch stolu, sada objektů. Nový objekt je nový experiment, ne další kolo.
• Frekvence snímání nahrávání. Porovnávání intervention rates across dvě vzorkovací rastry vytváří rozdíly, které pocházejí z rastru.

Kolo, od konce ke konci

1. 1
   Spusťte inferenci a zaznamenávejte ji

   Spusťte běh proti checkpointu, který chcete zlepšit, pak spusťte nahrávání do kořene inference. Zaznamenáno tímto způsobem dědí vlastní textový popis úkolu běhu, což je to, na čem byla strategie trénována, místo výchozího popisku teleoperace. Bez nahrávky si můžete prohlédnout selhání, ale nemůžete na něm trénovat.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Převezměte, když se to špatně mění

   Stiskněte Převzetí a vyberte režim vstupu: vedoucí rameno, klávesnice nebo posuvníky. Runner se pozastaví, vy opravíte, vrátíte. Snímky zaznamenané během vaší jízdy jsou automaticky označeny jako intervence.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Třídění epizod

   Rozhodněte per epizodu: archivujte jako opravu, ponechte jako evaluaci, nebo zahoďte. Běh, který strategie dokončila bez pomoci, jsou evaluační data.

4. 4
   Synchronizace opravy datové sady

   Opravy se shromažďují v místní datové sadě per strategii a jdou do cloud storage prostřednictvím automatické synchronizace. Nic se do toho nemíchá, co jste si tam nedali.

5. 5
   Skládejte smíšenou datovou sadu

   Kombinujte původní datový soubor s opravou datové sady, výběrem epizod explicitně per zdroj. Výsledek je běžný datový soubor od té chvíle.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Pokračujte v trénování z checkpointu

   Trénujte mix z předchozího checkpointu místo základního modelu. Poznamenejte si, který checkpoint a který mix; bez tohoto páru není kolo reprodukovatelné.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Krok 2 podrobně: dva způsoby, jak převzít

S vedoucím ramenem

V leader-follower režimu je handover mezi dvěma rameny, která nejsou ve stejné poloze. Stisknutí Převzetí pozastaví runner a vede vedoucího do aktuální polohy followers, takže nic neskočí, když se moment přenáší. Pokud tato zarovnávací jednotka vypršet, srovnáte vedoucího ručně a uvolníte pouze, když jsou oba v pěti stupních. Od té chvíle se teleoperujete normálně a sloupec akcí zaznamenává to, co jste příkazoval.

Buďte čestní o této cestě: zarovnávací jednotka a transfer momenty jsou nejméně testovanou částí cyklu na reálném hardwaru. Otestujte handover na pomalé, neškodné poloze, než se na něm spolehnete v běhu, kterému záleží. Vedoucí rameno vytváří nejhladší opravy ze tří režimů a má také nejvíce, co se může pokazit mechanicky.

Bez vedoucího ramene: klávesnice a posuvníky

Většina lidí čtoucích to vlastní jedno rameno. To stačí. Vyberte si vstup klávesnice nebo posuvníku v okamžiku, kdy stisknete Převzetí, a handover je okamžitý a ruční - neexistuje druhé rameno k srovnání, takže není krok zarovnání. Follower drží svou polohu a čeká na vstup.

Omezení jsou vynucena na straně serveru, ne v rozhraní, protože chybně napsaná delta na rameni bus-servo je kolize. Opravy klávesnice vypadají po krocích a mírně hrubě; opravy posuvníky jsou hladší, protože server kráčí k cíli, zatímco rozhraní stále vysílá. Tak či onak sloupec akcí přijímá úplný příkazovaný vektor polohy a označení intervence je totožné s cestou vedoucího, takže opravy klávesnice přistávají ve stejné datové sadě bez rozdílu formátu.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Kdy stisknout tlačítko

Dříve spíše než později. Oprava, která začíná poté, co gripper zavře nic, učí obnovu z selhání, do kterého by strategie neměla vstoupit, a data obnovy stojí daleko méně než data vyhýbání. Přerušte v prvním okamžiku, kdy jste si jisti, že je trajektorie špatná, opravte skrze obtížnou část, vrátíte se hned, když je stav ten, který strategie zvládla. ThriftyDAgger automatizuje toto rozhodnutí bráním intervencí na novotě a odhadovaném riziku pod pevným rozpočtem lidí, ale na jednom rameni s člověkem již hlídajícím je lidská brána levnější a lépe kalibrovaná než cokoli, co budete ladit.

Krok 3 podrobně: třídění rozhoduje o kvalitě

Po běhu máte nahrávku s některými snímky označenými jako intervence. Tři destinace existují, a špatná potichu otravuje další kolo.

• Archivujte jako opravu, když byla intervence skutečná oprava: strategie byla na špatné cestě a váš vstup ukázal správnou věc ze stavu, který samotná strategie vyprodukovala.
• Ponechte jako evaluaci pro čisté autonomní běhy a pro běhy, které jste převzali z opatrnosti. Evaluační epizody jsou to, jak měříte další checkpoint, a nikdy se na nich nesmí trénovat.
• Zahoďte běhy zkazené něčím nesouvisejícím - vynechaný snímek kamery, zaseknutý servo, objekt, který jste srazili. Nepořádná oprava je horší než žádná oprava.

Krok 5 podrobně: skládání mixu

Skládání vezme původní datový soubor plus datový soubor opravy a vytvoří nový, běžný LeRobot dataset který trénuje jako každý jiný. Důležitou vlastností je, že výběr epizod je explicitní per zdroj - nic se automaticky nemíchá. To zní bez důsledku, dokud poprvé strategie chová podivně a musíte rekonstruovat, na čem byla trénována.

Otevřená otázka je poměr a nikdo nemá číslo, které by se přeneslo. To, na čem literatura souhlasí, je, že opravy by měly počítat více než jejich podíl snímku. Mandlekar et al. opakovaně trénují na datech, která jejich intervenční systém shromažďuje, takže se strategie učí procházet kritickými místy, a hlásí, že agenti trénovaní tímto způsobem překonávají agenty trénované na ekvivalentním počtu vzorků od neintervenčních demonstrantů. Sirius jde dále a znovu váží trénovací vzorky podle aproximovaného lidského důvěry, hlásí 8procentní zisk v simulaci a 27 procent na reálném hardwaru v míře úspěchu strategie oproti metodám, které srovnává, při dvojnásobné rychlosti konvergence. Žádný z vstupních bodů trénování zde neukazuje sampler-weighting knob, takže hrubou náhradou je udržet každou epizodu opravy, zatímco podvzorkovat původní demonstrace - a napsat si, co jste udělali.

Krok 6 podrobně: co opravdu znamená pokračování z checkpointu

Trénování mixu ze základního modelu funguje, ale zahodí předchozí kolo a stojí plný běh. Pokračování z předchozího checkpoint je rychlejší a obvykle lepší. Je to také omezenější, než fráze navrhuje.

Latence se skládá uvnitř DAgger smyčky způsobem, kterým se ne během demo: při přibližně 485 ms per action step převezmete, protože se rameno zaváhalo, ne protože bylo špatné, a data obnovy zaváhání nejsou užitečná trénovací data. Pokud iterujete na datech spíše než pronásledujete finální míru úspěchu, iterujte na rychlém modelu. Shukor et al. popisují SmolVLA jako navržené k trénování na jednom GPU a nasazení na GPU spotřebitele nebo CPU, s asynchronním zásobníkem inference, který odděluje předpověď akcí od provedení, aby umožnil vyšší kontrolní frekvence - vlastnost, která udržuje smyčku takeover responzivní.

Formáty datové sady nejsou zaměnitelné. GR00T vezme LeRobot v2.0 nebo v2.1, a Isaac-GR00T úložiště popisuje jeho vstup jako příchuť formátu LeRobot v2 s přidaným souborem popisu modality; novější trenéři zde očekávají v3.0. Mix skládaný v špatné verzi selže při času načítání spíše než vyprodukování špatné strategie - lepší režim selhání, stále ztrácený slot fronty. dataset documentation seznamuje, který formát každý trenér vezme.

Čtyři způsoby, jak zmar kolo

1. Trénování pouze na opravách

Nejčastější selhání a nejlákaví zkratkový. Datová sada pouze oprav je téměř zcela obtížným středem úkolu, s chybějícím přístupem a ústupem; strategie se zlepší v těžké části a zapomene, jak se tam dostat. Agregace není podrobností implementace metody, je to mechanismus: stará data jsou to, co drží zbytek chování na místě, zatímco opravy posouvají jednu část.

2. Přesunutí kamery mezi koly

Kamera, která se posune dva centimetry mezi koly, produkuje strategii horší než ta, s kterou jste začínali, a diagnózu, která stojí den. Každá VLA zde se podmiňuje na obrázcích; samotný stav kloubů nerozlišuje, kde je objekt. Vyfotografujte nastavení před prvním kolem a zkontrolujte tu fotografii před každým pozdějším.

3. Nechat artefakty handoveru vstoupit do trénování

Pokryto výše a v seznamu, protože je neviditelné. Symptomem je strategie, která se zasekne na zlomek sekundy přesně tam, kde operátor předchozího kola převzal. Vypadá to jako zaváhání; to je imitace.

4. Nazývání teplého startu obnovením

Pokud věříte, že optimizer state se přenesl, čtení počáteční ztráty skoku jako chyby a jdete lovit korumpovaná data. Pokud víte, že optimizer začal čerstvě, skok je očekáván a podíváte se na to, co přijde po něm. Stejná čísla, opačné závěry.

Měření kola

Metrika pro human-gated smyčku je intervention rate: snímky zaznamenané, zatímco jste byli v kontrole, děleny celkovými snímky běhu. Je v takeover stavu a je to jediné číslo, které odpovídá na otázku, kterou kolo položilo. Trénovací ztráta klesá ať už se strategie zlepšila či ne; míra úspěchu je binární a hlučná v počtech vzorků, které stolní rameno produkuje. Intervention rate je spojitá, měřená na stavech, které strategie sama vyvolala, a klesá, jak strategie potřebuje méně.

Porovnávejte jej pouze across běhy zaznamenané za totožných podmínek. Úplný argument a jak si vytvořit evaluační sadu, která přežije více než dvě kola, je v article on measuring a DAgger loop. Kolo jedna je realisticky test možnosti: kontrolujete, zda handover funguje na vašem hardwaru, že opravy přistávají se svými příznaky a že pokračovaný běh načetl checkpoint, který jste pojmenovali. Kola dva a tři jsou tam, kde by měla začít sazba pohybovat. Pokud se do kola čtyři nepohybuje, problém je upstream z DAgger.

Pokud ještě nemáte checkpoint

Smyčka nemá vstupní bod bez něj. Zaznamenejte první datový soubor, trénujte první strategii, spusťte ji - recording, training a running the policy pokrývají tu cestu. Klient nahrávání je na download page, úrovně GPU a hodinové sazby na pricing page a jak vypadá použitelná epizoda v SO-100 data collection guide. Dostaňte demonstrace správně před opravami: DAgger je opravy mechanismus a funguje daleko lépe na něčem, co bylo téměř správně.

Nic z toho není vyřešený problém a nic z toho není jednoklik. Interactive imitation learning je aktivní oblast výzkumu přesně proto, že její otázky - kdy intervenovat, jak vážit to, co lidé dělali, kolik starých dat uchovávat - nemají ustálené odpovědi; průzkum Celemin et al. mapuje, co je stále otevřeno. Co smyčka má, je měřitelná konvergence, když se běží opatrně, na hardwaru, který stojí pár set eur. Zamrazte nastavení, intervenujte brzy, třídění čestně, mix záměrně a zaznamenejte intervention rate pokaždé.