Pagpapatakbo ng DAgger Loop sa isang SO-100 Gamit ang VLA Policy

Tumatakbo ang iyong policy. Umaabot ito sa cube, isinasara ang gripper isang sentimetro nang masyadong maaga, at nagpapatuloy pa rin na parang nahawakan naman niya ito. Walang error na lumalabas, at kahit gaano mo pa tignan ang training loss ay hindi ito maipapaliwanag. Ang solusyon ay hindi karagdagang 20 000 gradient steps sa parehong mga demonstration. Ito ay ang muling paglagay ng iyong kamay sa arm sa eksaktong sandaling nagkamali ito, pag-record kung ano ang ginawa mo sa halip, at pag-train ng susunod na checkpoint gamit ang lumang data kasama ang correction na iyon. Iyan ang isang DAgger round, at ganito ito pinapatakbo sa isang SO-100 gamit ang isang vision-language-action policy.

Nasa ibang lugar ang teorya: kung bakit gumagana talaga ang dataset aggregation at kung ano ang binabago ng human gating dito. Ito ang operating manual, at ipinapalagay nito na mayroon ka nang trained checkpoint, gumaganang camera set, at arm na gumagalaw. Ang anim na hakbang sa ibaba ang loop gaya ng ipinatupad sa DAgger page ng platform na ito, ngunit pareho pa rin ang pagkakasunod-sunod kahit gamit ang sarili mong mga script.

Bakit ang pangalawang round ay hindi lang karagdagang data

Ang behaviour cloning ay nagta-train gamit ang mga state na binisita ng tao. Sa oras ng testing, binibisita ng policy ang mga state na sanhi nito mismo, at ang maliliit na error sa aksyon ay naiipon hanggang sa umabot sa mga state na hindi kailanman nasaklaw ng anumang demonstration. Pormal na binalangkas nina Ross, Gordon, at Bagnell ang kabiguang ito para sa AISTATS 2011 at sinagot ito ng isang iterative algorithm na nagta-train ng isang stationary at deterministic policy na, sa ilalim ng kanilang reduction, kailangang gumana nang maayos sa state distribution na sarili nitong ginagawa: patakbuhin ang kasalukuyang policy, hayaan ang eksperto na mag-label sa mga state na aktwal nitong naabot, idagdag ang mga iyon sa dataset, mag-retrain, at ulitin. Ginawang praktikal nina Kelly et al. ang query sa pamamagitan ng HG-DAgger, kung saan ang tao ang magpapasya kung kailan kukuha ng kontrol sa halip na mag-label ng mga state nang hindi hawak ang mga kontrol; iniulat nila ang pinahusay na performance kumpara sa parehong DAgger at behaviour cloning sa isang simulated at isang tunay na gawaing autonomous driving. Ang human gating ang dahilan kung bakit natitiis ang loop sa isang desk arm - igagalaw mo lang ang iyong mga kamay kapag may nagkakamali.

May dalawang bunga na mas mahalaga sa praktika kaysa sa teorya. Ang mga correction ay hindi ordinaryong demonstration: nagtitipon-tipon ang mga ito sa mga bottleneck region na inilalarawan nina Mandlekar et al., kung saan ang maliit na paglihis ay naghuhulog sa policy sa mga state na hindi kailanman nasaklaw ng mga demonstration. At ang isang dataset na binubuo lamang ng mahihirap na bahaging iyon ay isang masamang-hugis na dataset - iginigiit nina Belkhale, Cui, at Sadigh mula sa panig ng data na hindi laging kapaki-pakinabang ang state diversity, at na ang action divergence at transition diversity ang magkasamang nagtatakda ng kalidad ng dataset. Ang mixed dataset ay hindi isang kompromiso, ito mismo ang punto.

I-freeze ang mga ito bago ang round one

Inihahambing ng isang DAgger round ang isang policy laban sa sarili nito sa paglipas ng panahon. Anumang binago mo sa pagitan ng mga round na hindi ang dataset ay nagpapawalang-saysay sa paghahambing na iyon.

• Posisyon at mount ng mga camera, kasama na ang wrist camera. Kalasin ang isang clamp at nabago mo ang observation distribution, hindi ang policy.
• Exposure at white balance, kung pinapayagan ka ng iyong capture stack na i-pin ang mga ito. Ang paglihis ng auto-exposure sa pagitan ng mga round ay isang mabagal at hindi nakikitang domain shift.
• Calibration ng arm at zero position ng mga servo. Kung kailangan mong mag-recalibrate, ituring ang lahat ng na-record bago ito bilang hiwalay na dataset.
• Ang task text. Ang bawat VLA dito ay nagko-condition base rito; ang pagbabago ng pagkakasabi nito sa gitna ng loop ay ibang task na.
• Lighting, ibabaw ng mesa, at set ng mga bagay. Ang bagong bagay ay bagong eksperimento, hindi ang susunod na round.
• Ang recording frame rate. Ang paghahambing ng intervention rate sa dalawang magkaibang sampling raster ay gumagawa ng pagkakaiba na nagmumula sa mismong raster.

Ang round, mula simula hanggang wakas

1. 1
   Patakbuhin ang inference at i-record ito

   Simulan ang run laban sa checkpoint na gusto mong pahusayin, pagkatapos ay simulan ang pag-record papunta sa inference root. Kapag na-record nang ganito, minamana nito ang sariling task text ng run, na siyang pinagbatayan ng training ng policy, sa halip na ang default na teleoperation label. Kung walang recording, mapapanood mo ang pagkabigo ngunit hindi mo ito magagamit para sa training.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Kumuha ng kontrol kapag may nagkamali

   Pindutin ang Take over at piliin ang input mode: leader arm, keyboard, o sliders. Nagpe-pause ang runner, iwawasto mo, at ibabalik mo ang kontrol. Ang mga frame na na-record habang ikaw ang nagmamaneho ay awtomatikong nala-flag bilang mga intervention.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   I-triage ang mga episode

   Magpasya kada episode: i-file bilang correction, itago bilang evaluation, o itapon. Ang run na natapos ng policy nang walang tulong ay evaluation data.

4. 4
   I-sync ang correction dataset

   Naiipon ang mga correction sa isang local dataset kada policy at napupunta ang mga ito sa cloud storage sa pamamagitan ng automatic sync. Walang naisasama na hindi mo mismo inilagay doon.

5. 5
   Buuin ang mixed dataset

   Pagsamahin ang orihinal na dataset kasama ang mga correction, kung saan pinipili nang tahasan ang mga episode kada source. Mula sa puntong iyon, ang resulta ay isa nang ordinaryong dataset.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Ituloy ang training mula sa checkpoint

   I-train ang mix mula sa nakaraang checkpoint sa halip na mula sa base model. Itala kung aling checkpoint at aling mix; kung wala ang pares na iyon, hindi na mare-reproduce ang round.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Hakbang 2 nang detalyado: ang dalawang paraan ng pagkuha ng kontrol

Gamit ang leader arm

Sa leader-follower mode, ang takeover ay isang handover sa pagitan ng dalawang arm na hindi magkatulad ang pose. Ang pagpindot sa Take over ay nagpe-pause sa runner at itinutulak ang leader papunta sa kasalukuyang pose ng follower, para walang biglaang tumalon kapag lumipat ang torque. Kung mag-time out ang alignment drive na iyon, i-align mo mismo nang manwal ang leader at bitawan lamang kapag ang dalawa ay nasa loob na ng limang degree sa isa't isa. Mula noon, mag-te-teleoperate ka na nang normal at itinatala ng action column ang iyong mga iniutos.

Maging tapat tungkol sa path na ito: ang alignment drive at torque handover ang pinakakaunting na-test na bahagi ng loop sa tunay na hardware. Subukan muna ang handover sa isang mabagal at hindi mapanganib na pose bago mo ito asahan sa isang run na mahalaga sa iyo. Ang leader arm ang gumagawa ng pinakamaayos na mga correction sa tatlong mode, ngunit ito rin ang may pinakamaraming maaaring magkamali sa mekanikal na paraan.

Kung walang leader arm: keyboard at sliders

Karamihan sa mga bumabasa nito ay may isang arm lamang. Sapat na iyon. Piliin ang keyboard o slider input sa sandaling pindutin mo ang Take over, at agad at manwal ang takeover - walang pangalawang arm na kailangang i-align, kaya walang alignment step. Hinahawakan ng follower ang pose nito at hinihintay ang input.

Ipinapatupad ang mga clamp sa panig ng server, hindi sa interface, dahil ang isang maling na-type na delta sa isang bus-servo arm ay nangangahulugang banggaan. Ang mga correction sa keyboard ay lumalabas na paunti-unti at medyo magaspang; mas makinis ang mga correction sa slider, dahil ang server ay dahan-dahang lumalakad papunta sa target habang patuloy na nagse-stream ang interface. Sa alinmang paraan, natatanggap ng action column ang buong commanded pose vector at magkatulad ang intervention marking sa leader path, kaya napupunta ang mga correction sa keyboard sa parehong dataset nang walang pagkakaiba sa format.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Kailan pinindot ang button

Mas maaga kaysa mahuli. Ang correction na nagsisimula matapos isara ng gripper nang wala namang hawak ay nagtuturo ng recovery mula sa isang pagkabigo na hindi dapat pinasok ng policy, at ang recovery data ay mas mababa ang halaga kaysa sa avoidance data. Puturin ang proseso sa unang sandaling nakatitiyak ka na mali ang trajectory, iwasto ang mahirap na bahagi, at ibalik ang kontrol sa sandaling ang state ay isa na nang nahawakan ng policy dati. Awtomatiko itong ginagawa ng ThriftyDAgger sa pamamagitan ng pag-gate ng mga intervention base sa novelty at tinatayang risk sa ilalim ng fixed na human budget, ngunit sa isang solong arm na may taong nanonood na, mas mura at mas mahusay ang calibration ng human gate kaysa sa anumang bagay na itu-tune mo.

Hakbang 3 nang detalyado: ang triage ang nagtatakda ng kalidad

Pagkatapos ng run, mayroon kang recording na may ilang frame na naka-mark bilang mga intervention. May tatlong destinasyon, at ang maling pagpili ay tahimik na naglalason sa susunod na round.

• I-file bilang correction kapag ang intervention ay isang tunay na fix: papunta ang policy sa maling direksyon at ipinakita ng input mo ang tamang bagay mula sa isang state na ginawa mismo ng policy.
• Itago bilang evaluation para sa malinis na autonomous na mga run at para sa mga run na kinontrol mo dahil lang sa pag-iingat. Ang mga evaluation episode ang paraan mo para sukatin ang susunod na checkpoint, at hindi dapat kailanman gamitin ang mga ito sa training.
• Itapon ang mga run na nasira ng isang bagay na hindi kaugnay - isang nawalang camera frame, isang na-stall na servo, isang bagay na natumba mo. Mas masama ang magulong correction kaysa sa walang correction.

Hakbang 5 nang detalyado: ang pagbuo ng mix

Kinukuha ng composition ang orihinal na dataset kasama ang correction dataset at gumagawa ng isang bago at ordinaryong LeRobot dataset na nagta-train tulad ng kahit anong iba pang dataset. Ang mahalagang katangian dito ay tahasang ginagawa ang pagpili ng episode kada source - walang awtomatikong nasasama. Parang maliit lang ito hanggang sa unang pagkakataong kumikilos nang kakaiba ang isang policy at kailangan mong ibalik-buo kung ano ang pinagbatayan ng training nito.

Ang bukas na tanong ay ang ratio, at walang sinuman ang may numerong angkop sa lahat ng sitwasyon. Ang napagkakasunduan ng literatura ay dapat mas mabigat ang bilang ng mga correction kaysa sa proporsyon nila sa dami ng frame. Paulit-ulit na nagre-retrain sina Mandlekar et al. gamit ang data na kinokolekta ng kanilang intervention system, kaya natututo ang policy na tumawid sa mga bottleneck, at iniulat nila na ang mga agent na na-train sa ganoong paraan ay mas mahusay kaysa sa mga agent na na-train sa katumbas na bilang ng mga sample mula sa mga non-interventional na demonstrator. Higit pang ginawa ito ng Sirius sa pamamagitan ng muling pagtimbang sa mga training sample base sa tinatayang human trust, iniulat nila ang 8 porsyentong tubo sa simulation at 27 porsyento sa tunay na hardware sa policy success rate laban sa mga method na inihambing nila, sa dalawang beses na bilis ng convergence. Wala sa mga training entry point dito ang naglalantad ng sample-weighting knob, kaya ang magaspang na kapalit ay panatilihin ang bawat correction episode habang sina-subsample ang orihinal na mga demonstration - at itala kung ano ang ginawa mo.

Hakbang 6 nang detalyado: ang tunay na kahulugan ng pagpapatuloy mula sa isang checkpoint

Gumagana ang pag-train sa mix mula sa base model ngunit itinatapon nito ang nakaraang round at nangangailangan ng buong run. Ang pagpapatuloy mula sa nakaraang checkpoint ay mas mabilis at kadalasang mas mabuti. Mas limitado rin ito kaysa sa iminumungkahi ng parirala.

Naiipon ang latency sa loob ng isang DAgger loop sa paraang hindi nangyayari sa isang demo: sa mga 485 ms kada action step, kumukuha ka ng kontrol dahil nag-atubili ang arm, hindi dahil mali ito, at ang mga correction dahil sa pag-aatubili ay hindi kapaki-pakinabang na training data. Kung nagiiterate ka sa data sa halip na hinahabol ang huling success rate, mag-iterate gamit ang isang mabilis na model. Inilalarawan nina Shukor et al. ang SmolVLA bilang dinisenyo para mag-train sa iisang GPU at i-deploy sa consumer GPUs o CPUs, na may asynchronous na inference stack na naghihiwalay sa action prediction mula sa execution para payagan ang mas mataas na control rate - ang katangiang nagpapanatiling responsive sa isang takeover loop.

Hindi rin maaaring palitan-palitan ang mga dataset format. Kinukuha ng GR00T ang LeRobot v2.0 o v2.1, at inilalarawan ng Isaac-GR00T repository ang input nito bilang isang variant ng LeRobot v2 format na may karagdagang modality description file; inaasahan naman ng mas bagong mga trainer dito ang v3.0. Ang isang mix na binuo sa maling version ay nabibigo sa oras ng pag-load sa halip na gumawa ng masamang policy - mas mabuting mode ng pagkabigo, kahit na nasayang pa rin ang isang queue slot. Ang dataset documentation ay naglilista kung aling format ang kinukuha ng bawat trainer.

Apat na paraan para masayang ang isang round

1. Ang pag-train gamit lamang ang mga correction

Ang pinakakaraniwang pagkabigo at ang pinaka-nakakatuksong shortcut. Ang isang correction-only na dataset ay halos buong-buo na yung mahirap na gitna ng task, na walang approach at retreat; napapahusay ang policy sa mahirap na bahagi ngunit nakakalimutan kung paano makarating doon. Ang aggregation ay hindi isang implementation detail lamang ng method, ito mismo ang mekanismo: ang lumang data ang nagpapanatili sa lugar ng iba pang bahagi ng behavior habang ginagalaw ng mga correction ang isang bahagi nito.

2. Ang paggalaw ng camera sa pagitan ng mga round

Ang isang camera na lumipat nang dalawang sentimetro sa pagitan ng mga round ay gumagawa ng policy na mas masama pa kaysa sa pinagsimulan mo, at isang diagnosis na kakain ng isang araw. Ang bawat VLA dito ay nagko-condition base sa mga larawan; hindi sapat ang joint state lamang para malaman kung nasaan ang bagay. Kunan ng larawan ang setup bago ang unang round at suriin ang larawang iyon bago ang bawat susunod na round.

3. Ang pagpapapasok ng mga handover artefact sa training

Nasakop na sa itaas, at nasa listahan dahil hindi ito nakikita. Ang sintomas ay isang policy na huminto nang bahagya sa eksaktong lugar kung saan kumuha ng kontrol ang operator sa nakaraang round. Mukhang pag-aatubili ito; imitasyon pala.

4. Ang pagtawag sa isang warm start bilang resume

Kung naniniwala kang na-carry over ang optimizer state, ang paunang loss spike ay mababasa bilang isang bug at maghahanap ka ng sirang data. Kung alam mong nagsimula nang bago ang optimizer, inaasahan ang spike at titignan mo na lang kung ano ang susunod dito. Magkatulad na numero, magkasalungat na konklusyon.

Ang pagsukat sa round

Ang metric para sa isang human-gated loop ay ang intervention rate: mga frame na na-record habang ikaw ang may kontrol, hinati sa kabuuang bilang ng frame ng run. Nasa takeover status ito, at ito lamang ang numerong sumasagot sa tanong na itinanong ng round. Bumababa ang training loss kahit pumabuti man o hindi ang policy; ang success rate naman ay binary at maingay sa laki ng sample na nagagawa ng isang desk arm. Ang intervention rate ay tuloy-tuloy (continuous), sinusukat sa mga state na sanhi mismo ng policy, at bumababa ito habang lumiliit ang pangangailangan sa iyo ng policy.

Ihambing ito lamang sa mga run na na-record sa magkatulad na kondisyon. Ang buong argumento, at kung paano bumuo ng isang evaluation set na hindi basta mawawalan ng saysay pagkalipas ng dalawang round, ay nasa artikulo tungkol sa pagsukat ng isang DAgger loop. Realistikong pagtingnan, ang round one ay isang feasibility test: sinisiguro mo lamang na gumagana ang takeover sa iyong hardware, na napupunta ang mga correction kasama ang kanilang flag, at na na-load ng ipinagpatuloy na run ang checkpoint na pinangalanan mo. Sa round two at three dapat magsimulang gumalaw ang rate. Kung hindi pa ito gumagalaw pagsapit ng round four, nasa itaas ng DAgger ang problema (upstream).

Kung wala ka pang checkpoint

Walang entry point ang loop kung wala nito. Mag-record ng unang dataset, mag-train ng unang policy, patakbuhin ito - recording, training at pagpapatakbo ng policy ang sumasakop sa path na iyon. Nasa download page ang recording client, ang mga GPU tier at hourly rate ay nasa pricing page, at ang hitsura ng isang usable episode ay makikita sa SO-100 data collection guide. Ayusin muna nang tama ang mga demonstration bago ang mga correction: ang DAgger ay isang repair mechanism, at gumagana itong mas mahusay sa isang bagay na halos tama na.

Wala sa mga ito ang isang solusyunang problema at wala sa mga ito ang isang-click lamang. Ang interactive imitation learning ay isang aktibong larangan ng pananaliksik mismo dahil ang mga tanong nito - kailan dapat mag-intervene, paano titimbangin ang ginawa ng tao, gaano karaming lumang data ang dapat panatilihin - ay walang tiyak na sagot; inilalarawan ng survey nina Celemin et al. kung ano pa ang bukas na usapin. Ang meron ang loop ay masusukat na convergence kapag pinatakbo ito nang maingat, sa hardware na nagkakahalaga lamang ng ilang daang euro. I-freeze ang setup, mag-intervene nang maaga, mag-triage nang tapat, pagsamahin nang sinasadya, at itala ang intervention rate sa bawat pagkakataon.