Een DAgger-lus uitvoeren op een SO-100 met een VLA-beleid

Je beleid werkt. Het reikt naar de kubus, sluit de grijper een centimeter te vroeg, en gaat verder alsof het hem heeft. Niets geeft een fout, en geen hoeveelheid naar het trainingsgedrag staren verklaart het. De oplossing is niet nog 20 000 gradiëntstappen op dezelfde demonstraties. Het is je hand precies daar terug op de arm zetten waar het fout gaat, opnemen wat je in plaats daarvan deed, en de volgende checkpoint trainen op de oude gegevens plus die correctie. Dat is een DAgger-ronde, en dit is hoe men er een uitvoert op een SO-100 met een vision-language-action beleid.

De theorie staat elders: waarom dataset-aggregatie überhaupt werkt en wat menselijk gating erover verandert. Dit is de bedieningshandleiding, en het gaat ervan uit dat je een getrainde checkpoint hebt, een werkende cameraverzameling, en een arm die beweegt. De zes stappen hieronder zijn de lus zoals geïmplementeerd op de DAgger-pagina van dit platform, maar de volgorde is dezelfde vanuit je eigen scripts.

Waarom de tweede ronde niet zomaar meer gegevens is

Behavior cloning traint op de staten die een mens heeft bezocht. Bij testuitvoering bezoekt het beleid de staten die het veroorzaakt, en kleine actiefouten samenstellen in staten die geen demonstratie heeft bestreken. Ross, Gordon en Bagnell formaliseerden die mislukking voor AISTATS 2011 en beantwoordden deze met een iteratief algoritme dat een stationaire deterministische policy traint en, onder hun reductie, goed moet presteren onder de toestandverdeling die het induceert: voer het huidige beleid uit, laat de expert de staten labelen die het werkelijk heeft bereikt, voeg die toe aan de dataset, train opnieuw, herhaal. Kelly et al. maakten de query praktisch met HG-DAgger, waarbij de mens besluit wanneer controle over te nemen in plaats van staten te labelen zonder de controles vast te houden; zij melden verbeterde prestaties ten opzichte van zowel DAgger als behavior cloning op een gesimuleerde en een echte autonome rijdtaak. Menselijk gating is wat de lus draagbaar maakt op een bureauarm - je beweegt je handen alleen wanneer iets fout gaat.

Twee gevolgen zijn praktischer dan de theorie. Correcties zijn geen gewone demonstraties: zij concentreren zich op de knelpuntstrejonen die Mandlekar et al. beschrijven, waar een kleine afwijking het beleid in staten stuwt die de demonstraties nooit hebben bestreken. En een dataset die alleen uit die moeilijke onderdelen bestaat, is een slecht gevormde dataset - Belkhale, Cui en Sadigh betogen vanuit de gegevenszijde dat toestandsdiversiteit niet altijd voordelig is, en dat actiedivergentie en overgangsdiversiteit samen datasetskwaliteit bepalen. De gemengde dataset is geen compromis, het is het doel.

Vriezen deze in voor ronde een

Een DAgger-ronde vergelijkt een beleid met zichzelf in de loop der tijd. Alles wat je tussen rondes verandert dat niet de dataset is, maakt die vergelijking zinloos.

• Camerapositie en bevestigingen, polsamera inbegrepen. Ontgrendel één klem en je hebt de observatieverdeling veranderd, niet het beleid.
• Belichting en witbalans, als je capturestack het je toestaat deze vast te zetten. Auto-exposure die tussen rondes wegdrijft is een langzame, onzichtbare domeinverschuiving.
• Armkalibratie en servo-nulposities. Als je opnieuw moet kalibreren, behandel alles wat voor het is opgenomen als een aparte dataset.
• De taaktekst. Elke VLA hier werkt eraan mee; het herformuleren ervan mid-loop is een ander karwei.
• Verlichting, tafeloppervlak, objectset. Een nieuw object is een nieuw experiment, niet de volgende ronde.
• De recording framerate. Het vergelijken van interventiefrequenties in twee bemonsterrasters produceert verschillen die uit het raster komen.

De ronde, van begin tot eind

1. 1
   Voer inferentie uit en neem het op

   Start de run tegen de checkpoint die je wilt verbeteren, start vervolgens de recording in de inferentie root. Opgenomen op die manier erft het de eigen taaktekst van de run, wat het beleid werd getraind, in plaats van het standaard teleopersatie-label. Zonder de recording kun je de mislukking bekijken maar niet trainen.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Neem over wanneer het fout gaat

   Druk op Takeover en kies de invoermodus: leidarme, keyboard of schuifregelaars. De runner pauzeer, je corrigeert, je geeft terug. Frames die opgenomen zijn terwijl je reed, zijn automatisch gemarkeerd als interventies.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Sorteer de episodes

   Beslis per episode: dien in als correctie, behoud als evaluatie, of verwijder. Een run die het beleid zonder hulp heeft voltooid, is evaluatiedata.

4. 4
   Synchroniseer de correctiedataset

   Correcties verzamelen zich in een lokale dataset per beleid en gaan naar cloudbewaring via de automatische synchronisatie. Niets wordt gemixt dat je daar niet hebt geplaatst.

5. 5
   Stel de gemengde dataset samen

   Combineer de originele dataset met de correctiedataset, en kies episodes expliciet per bron. Het resultaat is vanaf dat moment een normale dataset.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Ga verder met trainen vanuit de checkpoint

   Train de mix vanuit de vorige checkpoint in plaats van het basismodel. Noteer welke checkpoint en welke mix; zonder dat paar is de ronde niet reproduceerbaar.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Stap 2 in detail: de twee manieren om over te nemen

Met een leidarme

In leader-follower modus is de handover een handover tussen twee armen die zich niet in dezelfde pose bevinden. Als je Takeover indrukt, pauzeer je de runner en stuur je de leidarme naar de huidige pose van de follower, zodat niets springt wanneer koppel overbrengt. Als dat uitlijningsdrijf een time-out heeft, lijn je de leidarme handmatig uit en laat je los zodra de twee binnen vijf graden van elkaar liggen. Van daar af teleopereer je normaal en de actiekolom registreert wat je commande.

Wees eerlijk over dit pad: het uitlijningsdrijf en de koppelhandover zijn het minst geteste onderdeel van de lus op echte hardware. Test de handover op een langzame, onschadelijke pose voordat je er op een run waarop je geeft, op vertrouwt. Een leidarme produceert de vloeiendste correcties van de drie modi, en heeft ook het meest dat mechanisch fout kan gaan.

Zonder een leidarme: keyboard en schuifregelaars

De meeste mensen die dit lezen bezitten één arm. Dat is genoeg. Kies keyboard- of slider-invoer op het moment dat je Takeover indrukt, en de handover is onmiddellijk en handmatig - er is geen tweede arm om uit te lijnen, dus er is geen uitlijningsstap. De follower houdt zijn pose en wacht op invoer.

De klemmen worden serverside afgedwongen, niet in de interface, omdat een onjuiste delta op een busspanning-servrobot een botsing is. Toetsenbordherstel komt stap voor stap en enigszins grof uit; slider-correcties zijn vloeiender, omdat de server naar het doel gaat terwijl de interface blijft streamen. Hoe het ook zij, de actiekolom ontvangt de volledige opgestelde posevektor en de interventiemarking is identiek aan het leiderpad, dus toetsenbordherstel landt in dezelfde dataset zonder formaatverschi.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Wanneer op de knop drukken

Eerder in plaats van later. Een correctie die begint nadat de grijper op niets is gesloten, leert herstel van een mislukking die het beleid niet had moeten binnengaan, en herstelgegevens zijn veel minder waard dan vermijdingsgegevens. Onderbreek op het eerste moment dat je zeker bent dat het traject fout is, corrigeer het moeilijke gedeelte, geef het terug zodra de toestand er een is die het beleid eerder heeft afgehandeld. ThriftyDAgger automatiseert die beslissing door interventies in te passen op basis van nieuwheid en geschatte risico onder een vaste menselijk budget, maar op een enkele arm met een mens die al kijkt, is de menselijk gate goedkoper en beter gekalibreerd dan alles wat je zult instellen.

Stap 3 in detail: triage bepaalt de kwaliteit

Na de run heb je een opname met enkele frames gemarkeerd als interventies. Drie bestemmingen bestaan, en de verkeerde bepoezelt stilzwijgend de volgende ronde.

• Dien in als correctie wanneer de interventie een echte fix was: het beleid ging ergens verkeerd heen en je invoer toonde het juiste uit een toestand die het beleid zelf produceerde.
• Behoud als evaluatie voor schone autonome runs en voor runs die je uit voorzorg hebt overgenomen. Evaluatie-episodes zijn hoe je de volgende checkpoint meet, en ze mogen nooit worden getraind.
• Verwijder runs verpest door iets dat er niet mee te maken heeft - een gevallen camerakader, een vastgelopen servo, een object dat je hebt omvergeworpen. Een rommelcorrectie is erger dan geen correctie.

Stap 5 in detail: de mix samenstellen

Compositie neemt de originele dataset plus de correctiedataset en produceert een nieuwe, normale LeRobot dataset die treint als elke ander. De belangrijke eigenschap is dat de episodeselectie expliciet per bron is - niets wordt automatisch vermengd. Dat klinkt klein totdat de eerste keer dat een beleid zich vreemd gedraagt en je moet reconstrueren waarmee het werd getraind.

De open vraag is de verhouding, en niemand heeft een getal dat draagt. Wat de literatuur inderdaad eens is, is dat correcties meer moeten tellen dan hun frameshare. Mandlekar et al. trainen iteratief op de gegevens die hun interventiessysteem verzamelt, zodat het beleid leert de knelpunten te doorkruisen, en melden dat agenten die op die manier worden getraind, agenten overtreffen die worden getraind op een gelijkwaardig aantal steekproeven van non-interventiële demonstratoren. Sirius gaat nog verder en herweegt trainingssteekproeven door benaderde menselijk vertrouwen, meldend een winst van 8 procent in simulatie en 27 procent op echte hardware in beleidssucces tegen de methoden waarmee het vergelijkt, op tweemaal de convergentiesnelheid. Geen van de trainings ingangspunten hier stellen een steekproefgewicht-knop bloot, dus het grove substituut is om elke correctie-episode te behouden terwijl je de originele demonstraties subsamples - en om op te schrijven wat je hebt gedaan.

Stap 6 in detail: wat voortduren vanuit een checkpoint echt betekent

Training de mix van het basismodel werkt maar gooit de vorige ronde weg en kost een volledige run. Voortduren van de vorige checkpoint is sneller en meestal beter. Het is ook meer beperkt dan de zin suggereert.

Latentie stapelt zich in een DAgger-lus op een manier die het niet doet tijdens een demo: op ruwweg 485 ms per actiestap neem je over omdat de arm aarzelde, niet omdat het fout was, en aarzeling-correcties zijn geen bruikbare trainingsgegevens. Als je herhaalt met gegevens in plaats van een eindslag, itereer op een snel model. Shukor et al. beschrijven SmolVLA als ontworpen om op een enkele GPU te trainen en op consument-GPU's of CPU's in te zetten, met een asynchrone gevolgtrekking-stapel die actievoorspelling van uitvoering ontcoppelt om hogere besturingssnelheden toe te staan - de eigenschap die een takeover-lus responsief houdt.

De gegevensformaten zijn ook niet uitwisselbaar. GR00T neemt LeRobot v2.0 of v2.1, en de Isaac-GR00T-bibliotheek beschrijft zijn invoer als een smaak van het LeRobot v2-formaat met een toegevoegd modaliteitsbeschrijvingsbestand; de nieuwere trainers hier verwachten v3.0. Een mix samengesteld in de verkeerde versie mislukt bij het laden in plaats van een slecht beleid te produceren - de betere mislukking wijze, nog steeds een verspilde wachtrij-plaats. De gegevensdocumentatie geeft een overzicht van welk formaat elke trainer nodig heeft.

Vier manieren om een ronde te verspillen

1. Training alleen op de correcties

De meest voorkomende mislukking en het meest verleidelijke shortcut. Een alleen-correctie-dataset is bijna geheel het moeilijke midden van de taak, met benadering en terugtrekking ontbrekend; het beleid wordt beter in het lastige onderdeel en vergeet hoe je daar komt. Aggregatie is niet een implementatiedeeltail van de methode, het is het mechanisme: de oude gegevens zijn wat de rest van het gedrag op zijn plaats houdt terwijl de correcties een deel ervan verplaatsen.

2. Een camera tussen rondes verplaatsen

Een camera die twee centimeter tussen rondes verschuift produceert een beleid erger dan waar je mee begon, en een diagnose die een dag kost. Elke VLA hier werkt met afbeeldingen mee; gewrichtbeschrijving alleen onderscheidt niet waar het object is. Fotografeer de opstelling voor de eerste ronde en controleer dat fotorapport voor elke latere.

3. Handover-artefacten in training laten

Hierboven behandeld, en op de lijst omdat het onzichtbaar is. Het symptoom is een beleid dat precies waar de vorige operator van de vorige ronde overnam, een fractie van een seconde stilhoud. Het ziet er als aarzeling uit; het is imitatie.

4. Een warme start een hervatting noemen

Als je gelooft dat optimiseertoestand meekwam, leest de initiële verliesstijging als een bug en ga je jagen op corrupte gegevens. Als je weet dat de optimisator vers begon, is de piek verwacht en kijk je naar wat erop volgt. Dezelfde getallen, tegengestelde conclusies.

De ronde meten

De metriek voor een menselijk-gated lus is de interventiefrequentie: frames opgenomen terwijl je in controle was, gedeeld door totale frames van de run. Het staat in de handover-status, en het is het enige getal dat de vraag beantwoordt die de ronde heeft gesteld. Trainingsgedrag daalt of het beleid verbeterd is of niet; succes-percentage is binair en luidruchtig bij de steekproefgroottes die een bureauram produceert. Interventiefrequentie is continu, gemeten op de toestanden die het beleid zelf veroorzaakte, en daalt naarmate het beleid je minder nodig heeft.

Vergelijk het alleen over runs opgenomen onder identieke voorwaarden. Het volledige argument, en hoe je een evaluatieset bouwt die meer dan twee rondes overleeft, staat in het artikel over het meten van een DAgger-lus. Ronde één is realistisch gezien een haalbaarheidstest: je controleert dat de handover op je hardware werkt, dat correcties met hun markeringen landen, en dat de voortgezette run de checkpoint laadt die je hebt genoemd. Rondes twee en drie zijn waar het tarief zou moeten beginnen te bewegen. Als het tegen ronde vier niet is verplaatst, ligt het probleem stroomopwaarts van DAgger.

Als je nog geen checkpoint hebt

De lus heeft geen ingang zonder er één. Neem een eerste dataset op, train een eerste beleid, voer het uit - recording, training en het beleid uitvoeren dekt dat pad. De recordingclient staat op de downloadpagina, GPU-lagen en uurlijkse tarieven op de prijzenpagina, en wat een bruikbare episode eruit ziet in de SO-100 gegevensverzamelingsgids. Zorg dat de demonstraties goed zijn voordat de correcties: DAgger is een reparatiemechanisme, en het werkt veel beter op iets dat al bijna goed was.

Geen van dit is een opgelost probleem en geen van dit is één klik. Interactief imitatief leren is een actief onderzoeksgebied precies omdat zijn vragen - wanneer interveniëren, hoe weeg wat de mens deed, hoeveel oude gegevens houden - geen vastgestelde antwoorden hebben; de enquête van Celemin et al. brengt in kaart wat nog open is. Wat de lus wel heeft, is meetbare convergentie wanneer het voorzichtig wordt uitgevoerd, op hardware die een paar honderd euro kost. Bevries de opstelling, intervenieer vroeg, sorteer eerlijk, meng opzettelijk, en registreer de interventiefrequentie elke keer.