Pokretanje DAgger petlje na SO-100 sa VLA politikom

Vaša politika se pokreće. Stiže do kocke, zatvara hvatač centimetar pre nego što treba i nastavlja kao da jeste. Ništa se ne greši, i bez obzira koliko gledate u gubitak obuke, to se ne objašnjava. Rešenje nije još 20 000 koraka gradijenta na istim demonstracijama. To je da stavite ruku nazad na arm tačno tamo gde krene po zlu, zabeležite šta ste umesto toga uradili i obučite sledeću kontrolnu tačku na starim podacima plus tu korekciju. To je DAgger runda, i evo kako se pokretanju jednu sa SO-100 sa politikom viđenja-jezika-akcije.

Teorija je negde drugde: zašto agregacija skupa podataka uopšte radi i šta ljudsko vremenovanje menja kod toga. Ovo je priručnik za rad, i pretpostavlja treniranu kontrolnu tačku, radni skup kamera i arm koji se pokreće. Šest koraka ispod su petlja kako je implementirana na DAgger stranica ove platforme, ali niz je isti od vaših sopstvenih skripti.

Zašto druga runda nije samo više podataka

Kloniranje ponašanja se obučava na stanjima koja je čovek posetio. U vremenu testiranja politika poseća stanja koja uzrokuje, i male greške u akciji se akumuliraju u stanja koja ni jedna demonstracija nije pokrivala. Ross, Gordon i Bagnell su formalizovali taj propust za AISTATS 2011 i odgovorili ga sa iterativnim algoritmom koji trenira stacionarnu determinističku politiku i, pod njihovom redukcijom, mora da radi dobro pod distribucijom stanja koju induktuje: pokrenite trenutnu politiku, neka stručnjak označi stanja koja je zaista dostigla, dodajte je skupu podataka, prepodučite, ponovite. Kelly i dr. su učinili upit praktičnim sa HG-DAgger-om, gde čovek odluči kada preuzme kontrolu umesto da označava stanja bez držanja kontrola; izveštavaju o poboljšanim performansama nasuprot i DAgger-u i ponašanju kloniranja na simuliranom i stvarnom zadatku autonomne vožnje. Ljudsko vremenovanje je ono što čini petlju podnošljivom na armu na stolu - premještate ruke samo kada nešto krene po zlu.

Dve posledice su važnije u praksi nego što je teorija. Korekcije nisu obične demonstracije: koncentrišu se na uska mesta koja Mandlekar i dr. opisuju, gde mala devijacija baca politiku u stanja koja demonstracije nikada nisu pokrivale. I skup podataka napravljen samo od tih teških delova je loše oblikovan skup podataka - Belkhale, Cui i Sadigh argumentuju sa strane podataka da raznovrsnost stanja nije uvek korisna, i da divergencija akcije i raznovrsnost prelaza zajedno odlučuju kvalitet skupa podataka. Mešoviti skup podataka nije kompromis, to je cilj.

Zamrznite ovo pre nego što je runda jedan

DAgger runda upoređuje politiku sa sobom tokom vremena. Bilo šta što promenite između rundi što nije skup podataka čini tu poređenja besmislenim.

• Pozicije kamera i montaže, uključujući kameru na zglobu. Otvorite jednu stezaljku i promenili ste distribuciju posmatranja, ne politiku.
• Ekspozicija i ravnoteža belina, ako vaš stek za snimanje vam dozvoli da ih fiksno postavite. Auto-ekspozicija koja se kreće između rundi je spora, nevidljiva promena domene.
• Kalibracija arma i nulte pozicije servosa. Ako morate da rekalibrujete, tretirajte sve što je snimljeno pre toga kao odvojen skup podataka.
• Tekst zadatka. Svaki VLA ovde je uslovna na njega; prepravljanje ga mid-petljom je drugi zadatak.
• Osvetljenje, površina stola, skup objekata. Novi objekat je novi eksperiment, ne sledeća runda.
• Stopa kadrova za snimanje. Poređenje stopa intervencije preko dva rastera uzorkovanja proizvodi razlike koje dolaze iz rastera.

Runda, kraj do kraja

1. 1
   Pokrenite zaključivanje i zabeležite ga

   Pokrenite izvršavanja naspram kontrolne tačke koju želite da poboljšate, zatim počnite snimanje u korijen zaključivanja. Snimljeno na taj način nasleđuje tekst zadatka sopstvenog izvršavanja, što je ono na šta je politika bila obučavana, umesto zadane etikete teleoperacije. Bez snimanja možete gledati kvar ali ne možete ga obučavati.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Preuzite kada krene po zlu

   Pritisnite Preuzmi i odaberite modus unosa: arm sa vodstvom, tastatura ili klizači. Izvršavanje se pauzira, vi ispravite, vi se vratite. Okviri snimljeni dok ste vozili se automatski označavaju kao intervencije.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Triaža епизоде

   Odlučite po епизоди: zabeležite kao korekciju, zadržite kao evaluaciju, ili je odbacite. Izvršavanje koju je politika završila bez pomoći su podaci evaluacije.

4. 4
   Sinhronizuj skup podataka korekcija

   Korekcije se sakupljaju u lokalnom skupu podataka po politici i idu u skladištem oblaka kroz automatsku sinhronizaciju. Ništa se ne meša što niste stavili.

5. 5
   Sastavite mešoviti skup podataka

   Kombinujte originalni skup podataka sa skupom podataka korekcija, eksplicitno birajući епизоде po izvoru. Rezultat je obični skup podataka od te tačke dalje.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Nastavite obuku od kontrolne tačke

   Obučavajte mešavinu od prethodne kontrolne tačke umesto osnovnog modela. Zabeležite koja kontrolna tačka i koja mešavina; bez tog para runda nije reproducibilna.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Korak 2 detaljno: dva načina za preuzimanje

Sa armom sa vodstvom

U modu sa vodstvom-praćenjem preuzimanje je prerada između dva arma koja nisu u istoj poziciji. Pritiskom na Preuzmi pauzira se izvršavanje i vodi vodia na poziciju pratilaca, pa se ništa ne skače kada se moment transfera. Ako ovo usklađivanje vožnje istekne, usklađite vodia rukom i otpustite samo kada su dva unutar pet stepeni. Od tada vožite teleoperaciju normalno i kolona akcije beleži ono što ste naređivali.

Budite iskreni o ovoj putanji: vožnja usklađivanja i prerada momenta su najmanje testiran deo petlje na stvarnom hardveru. Testirajte predaju na sporom, neškodnom stanju pre nego što se oslonite na njega u izvršavanju do kojeg vam je stalo. Arm sa vodstvom proizvodi najglatke korekcije od tri moda, i ima i najveće što može da krene po zlu mehanički.

Bez arma sa vodstvom: tastatura i klizači

Većina ljudi koji ovo čitaju poseduje jedan arm. To je dovoljno. Odaberite unos preko tastature ili klizača u trenutku kada pritisnete Preuzmi, i preuzimanje je bezposredno i ručno - nema drugog arma za usklađivanje, pa nema koraka usklađivanja. Pratilac drži poziciju i čeka unos.

Stezaljke se nameću server-stranu, ne u interfejsu, jer pogrešno kucan delta na armu sa magistralnim servom je sudara. Korekcije preko tastature dolaze postepeno i blago grubo; korekcije klizača su glatke jer server kreće prema cilju dok interfejs nastavlja strujanje. Bilo kako kolona akcije prima kompletnu naredbenu vektor pozicije i označavanje intervencije je identično putanju lidera, pa korekcije preko tastature pristaju u isti skup podataka bez razlike formata.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Kada pritisnuti dugme

Ranije nego kasnije. Korekcija koja počinje nakon što je hvatač zatvoren na ništa uči oporavak od greške koju politika nije trebala da uđe, i podaci oporavka vrede daleko manje od podataka izbegavanja. Prekini u prvom trenutku kada si siguran da je putanja pogrešna, ispravi kroz teški deo, vrati se čim je stanje ono što je politika obradila pre. ThriftyDAgger automatizuje tu odluku stotinama intervencije na novosti i procenjenom riziku pod fiksnim ljudskim budžetom, ali na jednarm sa čovekom već gledam, ljudska kapija je jeftinija i bolje kalibrirana od svega što ćeš podešavati.

Korak 3 detaljno: trijaža odlučuje kvalitet

Nakon izvršavanja imate snimak sa nekim okvirima označenim kao intervencije. Tri odredišta postoje i pogrešno tiho otrovava sledeću rundu.

• Zabeležite kao korekciju kada je intervencija bila prava ispravka: politika je išla negde pogrešno i vaš unos je pokazao pravu stvar iz stanja koju je sama politika proizvela.
• Zadržite kao evaluaciju za čista autonomna izvršavanja i za izvršavanja koja ste preuzeli iz opreznosti. Епизоде evaluacije su kako merite sledeću kontrolnu tačku, i oni nikada ne smeju biti obučeni.
• Odbacite izvršavanja pokvarena nečim nepovezanim - ispušteni okvir kamere, zaglavljeni servo, objekat koji ste srušili. Neuredna korekcija je gore nego nikakva korekcija.

Korak 5 detaljno: sastavljanje mešavine

Kompozicija uzima originalni skup podataka plus skup podataka korekcija i proizvodi novi, obični LeRobot skup podataka koji obučava kao bilo koji drugi. Važno svojstvo je da je izbor епизоди eksplicitan po izvoru - ništa se ne meša automatski. To zvuči mali dok prvi put politika se ponaša čudno i moraš rekonstruisati šta je obučavana.

Otvoreno pitanje je odnos i nikome nema broja koji se prenosi. Ono sa čime se literatura slaže je da korekcije trebaju računati više od njihovog dela okvira. Mandlekar i dr. prepodučavaju iterativno na podacima koje njihov sistem intervencije skupi, tako da politika uči da prođe kroz uska mesta, i izveštavaju da agenti obučeni na taj način nadmašuju agente obučene na ekvivalentnom broju uzoraka od demonstratora bez intervencija. Sirius ide dalje i ponovno teži uzorke obuke aproksimiranom ljudskom poverenjem, izveštavajući o 8 procentnom dobitku u simulaciji i 27 procenata na stvarnom hardveru u stopi uspeha politike naspram metoda sa kojima se poređa, sa dvostrukom brzinom konvergencije. Nijedna od ulaznih tačaka obuke ovde ne izlaže gumbu za ponovno težnjenje uzorka, pa je grub zamena da se svaka епизода korekcije zadrži dok se originalne demonstracije poduzorkuju - i da napišete šta ste radili.

Korak 6 detaljno: šta nastavak od kontrolne tačke stvarno znači

Obuka mešavine od osnovnog modela radi ali baca prethodnu rundu i košta kompletan izvršavanje. Nastavak od prethodne kontrolna tačka je brže i obično bolje. Takođe je ograničenije nego što fraza sugeriše.

Kašnjenje se sabira unutar DAgger petlje na način na koji se ne dešava tokom demonstracije: sa grubo 485 ms po koraku akcije preuzimaš jer je arm kolebao, ne jer je pogrešan, i podaci oporavka od kolebanja nisu korisni podaci obuke. Ako ponavljaš na podacima umesto da juriš finalnu stopu uspeha, ponovi na brzom modelu. Shukor i dr. opisuju SmolVLA kao dizajniran da se obučava na jednom GPU i da se primeni na konzumentskim GPU-ima ili CPU-ima, sa asinkronim stackom zaključivanja koji odvaja predviđanje akcije od izvršavanja da dozvoli veće stope kontrole - svojstvo koje čini petlju preuzimanja reagovnom.

Formate skupa podataka nisu međuzamenljivi. GR00T uzima LeRobot v2.0 ili v2.1, i Isaac-GR00T skladište opisuje njegov unos kao ukus LeRobot v2 formata sa dodatnim fajlom opis modaliteta; noviji obučavači ovde očekuju v3.0. Mešavina sastavljena u pogrešnoj verziji ne uspe pri učitavanju umesto da ne proizvede lošu politiku - bolji modus neuspeha, još uvek uništen mesta u redu. dokumentaciju skupa podataka lista koji format svaki obučavač uzima.

Četiri načina da budiš rundu

1. Obuka samo na korekcijama

Najčešće stvar neuspešnosti i najtentativnija prečica. Skup podataka samo korekcija je skoro u potpunosti teško srednje zadatka, sa pristupom i povlačenjem nedostaće; politika postaje bolja na teško delu i zaboravlja kako da stigne tamo. Agregacija nije detalj implementacije metode, to je mehanizam: stari podaci su ono što drži ostatak ponašanja na mestu dok korekcije premešćaju jedan deo toga.

2. Premešćanje kamere između rundi

Kamera koja pomeranja dva centimetra između rundi proizvodi politiku goru od one sa kojom ste počeli, i dijagnozu koja košta dan. Svaki VLA ovde je uslovna na slike; stanje zgloba samo ne razjašnjava gde je objekat. Fotografirajte postavku pre prve runde i proverite tu fotografiju pre svake kasnije.

3. Dozvoljavanju artefakta preuzimanja u obuku

Pokriveno gore i na listi jer je nevidljivo. Simptom je politika koja se zaustavlja za delić sekunde tačno tamo gde je operater prethodne runde preuzeo. Izgleda kao kolebanje; to je imitacija.

4. Pozivanju tople početka preuzimanjem

Ako verujete da se stanje optimizatora prenosilo, početni gubitak vrh čita kao bug i ideš loviti za pokvarene podatke. Ako znate da je optimizator počeo svežanj, vrh je očekivan i gledate šta dolazi posle njega. Isti brojevi, suprotne zaključke.

Merenje runde

Metrika za human-gated petlju je stopa intervencije: okviri snimljeni dok ste bili u kontroli, podeljeni sa ukupnim okvirima izvršavanja. To je u statusu preuzimanja i to je jedini broj koji odgovara pitanju koje je runda postavila. Gubitak obuke pada bez obzira da li se politika poboljšala; stopa uspeha je binarna i šumna pri veličinama uzorka koje arm na stolu proizvodi. Stopa intervencije je kontinualna, merena na stanjima koja je politika sama proizvela i pada kako politika manje trebaj vas.

Uporedi je samo preko izvršavanja snimljena pod identičnim uslovima. Pun argument i kako napraviti skup evaluacije koji preživi više od dve runde nalazi se u članku o merenju DAgger petlje. Runda jedan je realno test izvodljivosti: proveravate da preuzimanje radi na vašem hardveru, da korekcije pristanu sa svojim zastavama i da je nastavljeno izvršavanje učitalo kontrolnu tačku koju ste imenovali. Runde dva i tri su gde bi stopa trebala početi da se pomera. Ako se do runde četiri nije pomerila, problem je uzvodno od DAgger-a.

Ako još nemaš kontrolnu tačku

Petlja nema ulazne tačke bez nje. Zabeležite prvi skup podataka obučavajte prvo politiku pokrenite je - snimanje, obuka i pokretanje politike pokrivaju tu putanju. Klijent snimanja je na stranici za preuzimanje, GPU nivoi i satne stope na stranici cena i šta je usable епизода izgleda u SO-100 vodiču za prikupljanje podataka. Dobijte demonstracije ispravne pre korekcije: DAgger je mehanizam popravke i radi daleko bolje na nečem što je bilo skoro da je u redu već.

Ništa od ovoga nije rešen problem i ništa od toga nije jedan klik. Interaktivno učenje imitacijom je aktivna oblast istraživanja upravo zato što su njegova pitanja - kada intervenirati, kako ponderirati šta je čovek uradio, koliko starih podataka čuvati - nema uspostavljenih odgovora; anketa od Celemin i dr. mapira šta je još otvoreno. Ono šta petlja ima je merljiva konvergencija kada se pokreće pažljivo, na hardveru koji košta nekoliko stotina evra. Zamrznite postavku, intervenujte rano, trijaža iskreno, komponujte namerno i beležite stopu intervencije svaki put.