'n DAgger-lus uitvoer op 'n SO-100 met 'n VLA-beleid

Jou beleid loop. Dit reik na die kubus, sluit die gryper 'n sentimeter te vroeg, en gaan voort asof dit dit vasgehad het. Niks gee 'n fout nie, en geen hoeveelheid staar na die afrigtingsverlies verduidelik dit nie. Die oplossing is nie nog 20 000 gradiënt-stappe op dieselfde demonstrasies nie. Dit is om jou hand terug op die arm te sit presies waar dit verkeerd gaan, op te neem wat jy in plaas daarvan gedoen het, en die volgende kontrolepunt af te rig op die ou data plus daardie korreksie. Dit is 'n DAgger-rondte, en so loop een op 'n SO-100 met 'n visie-taal-aksie-beleid.

Die teorie is elders te vind: waarom datastel-aggregasie hoegenaamd werk en wat menslike keuring daaraan verander. Dit is die bedryfshandleiding, en dit neem 'n afgerigte kontrolepunt, 'n werkende kamerastel en 'n arm wat beweeg as gegewe aan. Die ses stappe hieronder is die lus soos geïmplementeer op die DAgger-bladsy van hierdie platform, maar die volgorde is dieselfde met jou eie skrifte.

Waarom die tweede rondte nie net meer data is nie

Gedragskloning rig af op die toestande wat 'n mens besoek het. Tydens toetsing besoek die beleid die toestande wat dit self veroorsaak, en klein aksiefoute stapel op tot toestande wat geen demonstrasie gedek het nie. Ross, Gordon en Bagnell het daardie mislukking vir AISTATS 2011 geformaliseer en dit beantwoord met 'n iteratiewe algoritme wat 'n stilstaande deterministiese beleid afrig en, onder hul reduksie, goed moet vaar onder die toestandsverspreiding wat dit self teweegbring: laat die huidige beleid loop, laat die kenner die toestande etiketteer wat dit werklik bereik het, voeg dit by die datastel, rig weer af, herhaal. Kelly et al. het die navraag prakties gemaak met HG-DAgger, waar die mens besluit wanneer om beheer oor te neem in plaas daarvan om toestande te etiketteer sonder om die beheerknoppe vas te hou; hulle rapporteer verbeterde werkverrigting bo beide DAgger en gedragskloning op 'n gesimuleerde en 'n regte outonome-bestuur-taak. Menslike keuring is wat die lus draaglik maak op 'n lessenaararm - jy beweeg jou hande net wanneer iets verkeerd begin gaan.

Twee gevolge tel in die praktyk swaarder as die teorie. Korreksies is nie gewone demonstrasies nie: hulle konsentreer by die bottelnek-gebiede wat Mandlekar et al. beskryf, waar 'n klein afwyking die beleid in toestande laat val wat die demonstrasies nooit gedek het nie. En 'n datastel wat slegs uit daardie moeilike dele bestaan, is 'n swak gevormde datastel - Belkhale, Cui en Sadigh voer vanuit die data-kant aan dat toestandsdiversiteit nie altyd voordelig is nie, en dat aksie-divergensie en oorgangsdiversiteit saam datastelkwaliteit bepaal. Die gemengde datastel is nie 'n kompromie nie, dit is die hele punt.

Vries hierdie voor rondte een

'n DAgger-rondte vergelyk 'n beleid met homself oor tyd. Enigiets wat jy tussen rondtes verander en wat nie die datastel is nie, maak daardie vergelyking betekenisloos.

• Kameraposisies en montasies, polskamera ingesluit. Maak een klamp los en jy het die waarnemingsverspreiding verander, nie die beleid nie.
• Beligting (exposure) en witbalans, indien jou opnamestapel jou toelaat om dit vas te pen. Outo-beligting wat tussen rondtes verskuif, is 'n stadige, onsigbare domeinverskuiwing.
• Armkalibrasie en servo-nulposisies. As jy moet herkalibreer, behandel alles wat voor daardie punt opgeneem is as 'n aparte datastel.
• Die taakteks. Elke VLA hier kondisioneer daarop; om dit halfpad deur die lus te herformuleer, is 'n ander taak.
• Beligting, tafeloppervlak, voorwerpstel. 'n Nuwe voorwerp is 'n nuwe eksperiment, nie die volgende rondte nie.
• Die opnamerookoers (frame rate). Om intervensiekoerse oor twee monsternemingsraster te vergelyk, lewer verskille op wat van die raster self kom.

Die rondte, van begin tot einde

1. 1
   Laat inferensie loop en neem dit op

   Begin die lopie teen die kontrolepunt wat jy wil verbeter, begin dan die opname in die inferensie-wortel. Só opgeneem, erf dit die lopie se eie taakteks - waarop die beleid afgerig is - eerder as die verstek-teleoperasie-etiket. Sonder die opname kan jy die mislukking sien, maar nie daarop afrig nie.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Neem oor wanneer dit verkeerd gaan

   Druk Neem oor en kies die inset-modus: leierarm, sleutelbord of skuiwers. Die lopie pouseer, jy korrigeer, jy gee terug. Rame wat opgeneem is terwyl jy bestuur het, word outomaties as intervensies gemerk.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Triageer die episodes

   Besluit per episode: registreer as korreksie, hou as evaluasie, of gooi weg. 'n Lopie wat die beleid sonder hulp voltooi het, is evaluasiedata.

4. 4
   Sinkroniseer die korreksie-datastel

   Korreksies versamel in 'n plaaslike datastel per beleid en gaan na wolkberging via die outomatiese sinkronisasie. Niks word ingemeng wat jy nie self daar geplaas het nie.

5. 5
   Stel die gemengde datastel saam

   Kombineer die oorspronklike datastel met die korreksies, deur episodes eksplisiet per bron te kies. Die resultaat is van daardie punt af 'n gewone datastel.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Gaan voort met afrigting vanaf die kontrolepunt

   Rig die mengsel af vanaf die vorige kontrolepunt eerder as die basismodel. Noteer watter kontrolepunt en watter mengsel; sonder daardie paar is die rondte nie herhaalbaar nie.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Stap 2 in besonderhede: die twee maniere om oor te neem

Met 'n leierarm

In leier-volger-modus is die oorname 'n oorhandiging tussen twee arms wat nie in dieselfde houding is nie. Om Neem oor te druk, pouseer die lopie en dryf die leier na die volger se huidige houding, sodat niks spring wanneer wringkrag oorgedra word nie. As daardie belyningsaandrywing 'n tydgrens oorskry, belyn jy die leier met die hand en laat eers los sodra die twee binne vyf grade van mekaar is. Van daardie punt af teleopereer jy normaal en die aksiekolom neem op wat jy beveel het.

Wees eerlik oor hierdie pad: die belyningsaandrywing en die wringkrag-oorhandiging is die minste geteste deel van die lus op werklike hardeware. Toets die oorhandiging op 'n stadige, onskadelike houding voordat jy daarop staatmaak in 'n lopie waaroor jy omgee. 'n Leierarm lewer die gladdste korreksies van die drie modusse, maar het ook die meeste wat meganies verkeerd kan gaan.

Sonder 'n leierarm: sleutelbord en skuiwers

Die meeste mense wat dit lees, besit een arm. Dit is genoeg. Kies sleutelbord- of skuiwer-inset op die oomblik dat jy Neem oor druk, en die oorname is onmiddellik en met die hand - daar is geen tweede arm om te belyn nie, dus is daar geen belyningstap nie. Die volger hou sy houding en wag vir inset.

Die beperkings word bedienerkant afgedwing, nie in die koppelvlak nie, want 'n verkeerd-getikte delta op 'n bus-servo-arm is 'n botsing. Sleutelbord-korreksies kom stapsgewys en effens grof uit; skuiwer-korreksies is gladder, omdat die bediener na die teiken toe beweeg terwyl die koppelvlak voortstroom. In beide gevalle ontvang die aksiekolom die volle beveelde houdingsvektor en is die intervensiemerking identies aan die leier-pad, sodat sleutelbord-korreksies sonder 'n formaatverskil in dieselfde datastel land.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Wanneer om die knoppie te druk

Vroeg eerder as laat. 'n Korreksie wat begin nadat die gryper op niks toegesluit het, leer herstel van 'n mislukking waarin die beleid nooit moes beland het nie, en herstel-data is baie minder werd as vermydings-data. Onderbreek op die eerste oomblik dat jy seker is die trajek is verkeerd, korrigeer deur die moeilike deel, en gee terug sodra die toestand een is wat die beleid al voorheen hanteer het. ThriftyDAgger outomatiseer daardie besluit deur intervensies te keur op grond van nuutheid en geskatte risiko binne 'n vaste menslike begroting, maar op 'n enkele arm met 'n mens wat reeds kyk, is die menslike keuring goedkoper en beter gekalibreer as enigiets wat jy sal afstel.

Stap 3 in besonderhede: triage bepaal die kwaliteit

Na die lopie het jy 'n opname met sommige rame as intervensies gemerk. Drie bestemmings bestaan, en die verkeerde een vergiftig die volgende rondte stilweg.

• Registreer as korreksie wanneer die intervensie 'n ware regstelling was: die beleid was op pad na iets verkeerds en jou inset het die regte ding gewys vanuit 'n toestand wat die beleid self veroorsaak het.
• Hou as evaluasie vir skoon outonome lopies en vir lopies waar jy uit voorsorg oorgeneem het. Evaluasie-episodes is hoe jy die volgende kontrolepunt meet, en daar mag nooit op afgerig word nie.
• Gooi lopies weg wat deur iets onverwants bederf is - 'n weggevalle kameraraam, 'n servo wat vasgehaak het, 'n voorwerp wat jy omgestamp het. 'n Deurmekaar korreksie is erger as geen korreksie nie.

Stap 5 in besonderhede: die mengsel saamstel

Samestelling neem die oorspronklike datastel plus die korreksie-datastel en lewer 'n nuwe, gewone LeRobot-datastel op wat soos enige ander afrig. Die belangrike eienskap is dat die episode-keuse eksplisiet per bron is - niks word outomaties ingemeng nie. Dit klink onbeduidend totdat 'n beleid vir die eerste keer vreemd optree en jy moet herbou waarop dit afgerig is.

Die oop vraag is die verhouding, en niemand het 'n getal wat oordra nie. Waaroor die literatuur wel saamstem, is dat korreksies vir meer moet tel as hul aandeel van die rame. Mandlekar et al. rig iteratief af op die data wat hul intervensiestelsel versamel, sodat die beleid leer om die bottelnekke te deurkruis, en rapporteer dat agente wat só afgerig is, beter vaar as agente wat op 'n gelyke aantal monsters van nie-intervensionele demonstreerders afgerig is. Sirius gaan verder en herweeg afrigtingsmonsters volgens geskatte menslike vertroue, en rapporteer 'n toename van 8 persent in simulasie en 27 persent op werklike hardeware in beleidsukseskoers teenoor die metodes waarmee dit vergelyk word, teen dubbel die konvergensiespoed. Geen van die afrigtings-toegangspunte hier bied 'n monster-weging-knop nie, so die rowwe plaasvervanger is om elke korreksie-episode te behou terwyl die oorspronklike demonstrasies ondermonster word - en om neer te skryf wat jy gedoen het.

Stap 6 in besonderhede: wat voortgaan vanaf 'n kontrolepunt werklik beteken

Om die mengsel vanaf die basismodel af te rig werk, maar gooi die vorige rondte weg en kos 'n volledige lopie. Om vanaf die vorige kontrolepunt voort te gaan is vinniger en gewoonlik beter. Dit is ook meer beperk as wat die frase laat vermoed.

Latensie stapel op binne 'n DAgger-lus op 'n manier wat dit nie tydens 'n demonstrasie doen nie: teen sowat 485 ms per aksiestap neem jy oor omdat die arm gehuiwer het, nie omdat dit verkeerd was nie, en huiwering-korreksies is nie bruikbare afrigtingsdata nie. As jy op data itereer eerder as om 'n finale sukseskoers na te jaag, itereer op 'n vinnige model. Shukor et al. beskryf SmolVLA as ontwerp om op 'n enkele GPU af te rig en op verbruikers-GPU's of -CPU's te ontplooi, met 'n asinkrone inferensie-stapel wat aksievoorspelling van uitvoering ontkoppel om hoër beheerkoerse toe te laat - die eienskap wat 'n oorname-lus responsief hou.

Die datastelformate is ook nie uitruilbaar nie. GR00T neem LeRobot v2.0 of v2.1, en die Isaac-GR00T-bewaarplek beskryf sy toevoer as 'n variant van die LeRobot v2-formaat met 'n bygevoegde modaliteit-beskrywingslêer; die nuwer afrigters hier verwag v3.0. 'n Mengsel wat in die verkeerde weergawe saamgestel is, misluk by laaityd eerder as om 'n swak beleid op te lewer - die beter mislukkingsmodus, maar steeds 'n vermorste ry-gleuf. Die datastel-dokumentasie lys watter formaat elke afrigter neem.

Vier maniere om 'n rondte te mors

1. Om slegs op die korreksies af te rig

Die algemeenste mislukking en die aanloklikste kortpad. 'n Datastel wat slegs uit korreksies bestaan, is byna heeltemal die moeilike middedeel van die taak, met die nadering en terugtrekking ontbrekend; die beleid word beter in die moeilike deel maar vergeet hoe om daar te kom. Aggregasie is nie 'n implementeringsbesonderheid van die metode nie, dit is die meganisme: die ou data is wat die res van die gedrag op sy plek hou terwyl die korreksies een deel daarvan verskuif.

2. Om 'n kamera tussen rondtes te skuif

'n Kamera wat twee sentimeter tussen rondtes verskuif, lewer 'n beleid op wat swakker is as die een waarmee jy begin het, en 'n diagnose wat 'n dag kos. Elke VLA hier kondisioneer op beelde; gewrigstoestand alleen maak nie duidelik waar die voorwerp is nie. Fotografeer die opstelling voor die eerste rondte en kontroleer daardie foto voor elke latere een.

3. Om oorhandigingsartefakte in die afrigting te laat insluip

Reeds hierbo behandel, en op die lys omdat dit onsigbaar is. Die simptoom is 'n beleid wat vir 'n breukdeel van 'n sekonde vassteek presies waar die vorige rondte se operateur oorgeneem het. Dit lyk soos huiwering; dit is nabootsing.

4. Om 'n warm begin 'n hervatting te noem

As jy glo die optimeerder-toestand het oorgedra, lyk die aanvanklike verlies-opskiet soos 'n fout en gaan jy op soek na korrupte data. As jy weet die optimeerder het vars begin, is die opskiet verwag en kyk jy na wat daarna kom. Dieselfde syfers, teenoorgestelde gevolgtrekkings.

Die rondte meet

Die metriek vir 'n mens-gekeurde lus is die intervensiekoers: rame opgeneem terwyl jy in beheer was, gedeel deur totale rame van die lopie. Dit is in die oorname-status te vind, en dit is die enigste getal wat die vraag beantwoord wat die rondte gestel het. Afrigtingsverlies daal ongeag of die beleid verbeter het of nie; sukseskoers is binêr en raserig by die monstergroottes wat 'n lessenaararm oplewer. Intervensiekoers is deurlopend, gemeet op die toestande wat die beleid self veroorsaak het, en dit daal namate die beleid jou minder nodig het.

Vergelyk dit slegs oor lopies wat onder identiese toestande opgeneem is. Die volledige argument, en hoe om 'n evaluasiestel te bou wat meer as twee rondtes oorleef, is te vind in die artikel oor die meet van 'n DAgger-lus. Rondte een is realisties 'n uitvoerbaarheidstoets: jy kontroleer dat die oorname op jou hardeware werk, dat korreksies met hul merkers land, en dat die voortgesette lopie die kontrolepunt gelaai het wat jy genoem het. Rondtes twee en drie is waar die koers moet begin beweeg. As dit teen rondte vier nog nie beweeg het nie, lê die probleem stroomop van DAgger.

As jy nog nie 'n kontrolepunt het nie

Die lus het geen toegangspunt sonder een nie. Neem 'n eerste datastel op, rig 'n eerste beleid af, laat dit loop - opname, afrigting en die beleid laat loop dek daardie pad. Die opnamekliënt is op die aflaaibladsy, GPU-vlakke en uurlikse tariewe op die prysbladsy, en hoe 'n bruikbare episode lyk in die SO-100-dataversamelingsgids. Kry die demonstrasies reg voor die korreksies: DAgger is 'n herstelmeganisme, en dit werk baie beter op iets wat reeds byna reg was.

Niks hiervan is 'n opgeloste probleem nie, en niks daarvan is een klik nie. Interaktiewe nabootsingsleer is 'n aktiewe navorsingsgebied juis omdat sy vrae - wanneer om in te gryp, hoe om te weeg wat die mens gedoen het, hoeveel ou data om te behou - geen gevestigde antwoorde het nie; die oorsig deur Celemin et al. karteer wat nog oop is. Wat die lus wel het, is meetbare konvergensie wanneer dit versigtig uitgevoer word, op hardeware wat 'n paar honderd euro kos. Vries die opstelling, gryp vroeg in, triageer eerlik, meng doelbewus, en teken die intervensiekoers elke keer aan.