DAgger स्पष्ट केले: Behavior Cloning का विचलित होते आणि Dataset Aggregation वास्तविकपणे काय सिद्ध करते

असा एक विशिष्ट अपयश आहे जो manipulation policy प्रशिक्षित करणार्‍या प्रत्येकाला लवकरच किंवा उशिरा मिळतो. policy cube ला हाताळते, दोन सेंटिमीटरच्या आतून येते, संकोचते, बाजूला विचलित होते, नंतर काहीतरी काम शी संबंधित नसलेले करते. Validation loss ठीक होते. Held-out episodes विरुद्ध open-loop replay ठीक होते. आणि तरीही arm असा pose मध्ये संपतो जो प्रशिक्षण डेटामध्ये कुठेही दिसत नाही, आणि तेथून त्याला बोलण्यासारखे काहीही नाही.

त्या अपयशाचे नाव आहे आणि त्याच्या पाठीमागे सिद्ध केलेला सिद्धांत आहे. हा DAgger वर चार लेख पैकी पहिला आहे DAgger, आणि तो तर्क स्वतः कव्हर करतो: demonstrator च्या स्वतःच्या trajectories वर policy फिट करणे अशी त्रुटी का तयार करते जी episode length च्या वर्गाने वाढू शकते, dataset aggregation काय बदलते, आणि no-regret proof काय वचन देत नाही. real hardware वर loop SO-100 वर DAgger loop चालवणे मध्ये कव्हर केले आहे, human-gated variant HG-DAgger आणि human-gated interventions मध्ये, आणि मापन प्रश्न DAgger loop मोजणे.

Behavior cloning गप्पा करते असे गृहीतक

एक demonstration dataset हा observation-action जोड्यांचा ढीग आहे. Behavior cloning सामान्य supervised learning सह त्या ढीगला कार्य फिट करते आणि तेथे थांबते. हे field मधील सर्वात जुना कल्पना आहे. Pomerleau ची ALVINN, 1988 मध्ये, तीन-स्तर back-propagation network होती जी camera आणि laser range finder कडून images घेते आणि vehicle ने प्रवास केला पाहिजे असा दिशा तयार करते; हे simulated road images वर प्रशिक्षित होते आणि काही field conditions अंतर्गत real roads अनुसरण करते. Recipe जवळजवळ बदलले नाही; networks बदलले आहेत.

जे bypass केले जाते ते हे check आहे की ते जोड्या कुठून आली आहेत. त्यांच्या प्रत्येकजण demonstrator तयार केलेल्या trajectory वर आहेत. Policy तुम्ही तैनात केली ती स्वतःची तयार करते. तो क्षण ते विचलित होतो, तो states बद्दल queried होतो जे training distribution मध्ये नव्हते, आणि त्याचे उत्तर तो अधिक बाहेर हलवते. Ross, Gordon आणि Bagnell DAgger paper सह तशाच open करतात: sequential prediction i.i.d. assumption अंतर्गत statistical learning उल्लंघन करते, कारण learner च्या स्वतःच्या predictions असे inputs निर्धारित करतात जे तो पुढे पाहतो.

त्या paper मधील सर्वात स्पष्ट illustration robot च्या सर्वात अदूर नाही. Super Mario Bros. साठी near-optimal planner clone करणे असे policy तयार केले जे repeatedly कोणत्याही अडथळ्याच्या विरुद्ध अडकले ऐवजी तो उडी मारला. कारण हा संपूर्ण तर्क एका वाक्यात आहे: expert नेहमी comfortable distance कडून उडी मारला, म्हणून dataset मध्ये Mario अडथळ्याविरुद्ध प्रेस अप असा कोणताही state नव्हता, आणि म्हणून जेव्हा तो अडथळ्याविरुद्ध प्रेस होता तेव्हा काय करायचे याचा label नव्हता.

Mario साठी SO-100 आर्म swap करा आणि structure identical आहे. तुमचे demonstrations clean approach आणि clean grasp दर्शवतात, gripper closing two centimetres short नव्हे - म्हणून policy कडे तेथून काय करायचे याचे कल्पनाही नाही, आणि जे कोणते guess करतो ते त्याला अधिक बाहेर नेते. Covariate shift डेटा संग्रह प्रक्रिया ची property आहे, network architecture ची नव्हे.

Quadratic term कुठून येत आहे

2010 AISTATS paper Ross आणि Bagnell ने, Efficient Reductions for Imitation Learning, compounding precise बनवते. T हा task horizon असो, task cost unit interval मध्ये bounded असो, आणि epsilon हा surrogate loss measured under expert च्या state distribution - validation set ने रिपोर्ट केलेली संख्या. नंतर उस policy साठी T steps साठी चालवण्याचा अतिरिक्त खर्च, expert च्या सापेक्ष, T वर्गाने गुणा epsilon ने bounded आहे. Ross, Gordon आणि Bagnell हे DAgger paper मध्ये Theorem 2.1 म्हणून पुन्हा सांगतात आणि महत्त्वाचे वाक्य जोडतात: bound tight आहे. Problems अस्तित्वात आहेत जेथे policy epsilon loss expert च्या distribution वर वास्तविकपणे T मध्ये quadratically growing अतिरिक्त खर्च incur करतो.

Tight याचा अर्थ typical नव्हे. Quadratic term worst case over problem class आहे, तुमच्या pick-and-place task बद्दल prediction नव्हे. काय establish होत आहे ते हे आहे की अधिक expert demonstration problem दूर केू शकत नाही: हे epsilon estimate sharpen करते केवळ distribution वर जेथे policy test केले जाणार नाही.

Escape route आहे same paper मध्ये, Theorem 2.2 म्हणून restated. जर policy epsilon loss achieve करतो स्वतःच्या state distribution अंतर्गत, आणि एक चुकीचे action maximum u cost-to-go मध्ये expert अंतर्गत costs करते, अतिरिक्त खर्च u वेळा T वेळा epsilon ने bounded आहे - horizon मध्ये linear. Constant u interesting quantity आहे: maximum 1 expert सह 0-1 disagreement साठी, आणि O(1) जेव्हा expert काही steps मध्ये recover करू शकतो. Worst case मध्ये हे O(T) आहे, आणि linear bound तेव्हा quadratic एक पेक्षा चांगला नव्हे.

DAgger आधी दोन प्रयत्न

Forward training हे honest पण impractical उत्तर आहे. प्रत्येक timestep साठी वेगळी policy train करा, order मध्ये, प्रत्येक state distribution induced वर पहिल्या steps साठी पहिल्या fixed policies साठी, म्हणून प्रत्येक policy तशाच distribution पाहतो जो तो face करेल. Catch वर्णनात आहे: T policies, sequentially trained, no early stopping. Manipulation episode साठी 30 frames प्रति second वर, T hundreds मध्ये आहे.

SMILe, same paper कडून, आणि SEARN, Daume, Langford आणि Marcu च्या structured prediction वर काम कडून, दुसरा route घेतात: एक stationary policy, पण stochastic. प्रत्येक iteration component train करते आणि mixture मध्ये जोडते, probability mass expert कडून दूर shifting. Result हे mixture आहे जेथे काहीसे components दुसर्‍यांपेक्षा वाईट आहेत - physical arm वर, controller असे bad component mid-motion sample करू शकतो. यहच stated motivation आहे stationary deterministic policy साठी instead चाहणार्‍या.

DAgger: एक idea, एक box

Dataset Aggregation deterministic policy राखते आणि fix data collection मध्ये हलवते. प्रत्येक round: current policy roll out करा, states तो visits record करा, expert ला प्रश्न करा काय सही action असते प्रत्येक मध्ये, ते जोड्या तुम्ही आधी आहे असे dataset मध्ये जोडा, union वर retrain करा. नाव algorithm आहे - तुम्ही aggregate करता, तुम्ही कधीही discard करत नाही.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

तीन details जास्त weight carry करतात ते दिसते. Labels असे states साठी आहेत visited mixed policy ने, पण actions expert कडून येतात - policy प्रश्न provide करते, expert उत्तर provide करते. Retraining पूर्ण aggregate वर आहे, जे प्रत्येक round Follow-The-Leader step बनवते: round n वर तुम्ही सर्वोत्तम policy pick करता hindsight मध्ये सर्व trajectory वर आता तक. That framing proof पर हँग करते. आणि algorithm end करते returning सर्वोत्तम policy sequence मध्ये chosen validation set वर, कारण theorems guarantee करतात काहीसे policy sequence मध्ये good आहे, अंतिम आहे असे नव्हे.

Beta schedule, आणि हे tuning knob का नव्हे

Mixed policy beta_i वेळा expert plus एक minus beta_i वेळा learner आहे. Point practical आहे: प्रथम काहीसे learned policies प्रशिक्षित होतात अत्यंत कमी डेटा वर, अनेक गुळप करतात, आणि अन्यथा rollout मध्ये states spend करतील जे irrelevant बन जातात एकदा policy improves.

Theory तशाच एक condition impose करते: betas चा running average zero मध्ये जायला हवा. Analysis beta_i bounded सह काम करते (1 - alpha) वर power i-1, constant alpha साठी independent T च्या.

2980 आणि 3030 मधील gap अंदाज 4300 वर चालणार्‍या scale वर छोटा आहे, पण paper च्या याचे explanation सर्वोत्तम practical note section मध्ये आहे. Parameter-free schedule सह, Mario सुरुवातीच same spot मध्ये stuck झाला आणि त्या एक location कडून near-duplicate डेटा mass generate केला; expert drive fraction वेळा दोन्ही unstuck तरी आणि states variety widened. Schedule control ratio मधील mixing पेक्षा कमी महत्त्वाचा आहे ते आहे असे तुमचे डेटा collection keeps producing नव्यान states किंवा same failure.

Guarantee: no-regret online learning मध्ये कपात

येथे move हे आहे जे paper बनवते काय तो आहे. प्रत्येक DAgger round online learning problem मध्ये एक उदाहरण treat करा, जेथे loss round i वर surrogate loss under state distribution policy round i वर used. Learner policy commit करते loss पाहण्यापूर्वी, आणि sequence non-stationary आहे कारण policies produced depends आता तक.

Algorithm no-regret असे आहे जर average loss N rounds वर सर्वोत्तम एक policy hindsight मध्ये approach करते. Follow-The-Leader strongly convex losses वर असे algorithm आहे, average regret shrinking 1/N order वर - आणि retraining पूर्ण aggregate वर तशाच Follow-The-Leader आहे. कोणतीही अन्य no-regret learner would serve: analysis reduction, एक optimizer property नव्हे.

एक lemma gap bridge करते mixed policy आणि learned policy deploy केला जाणार दरम्यान: Lemma 4.1 L1 distance bound करते state distributions 2 T beta_i ने. यही कारण betas decay आवश्यक आहे - जेव्हा expert अजूनही appreciable control authority hold करतो, states तुम्ही collect करता नाहीत states तुमचे policy produce करेल. Lemma combine करा regret bound सह आणि main result follow: साडेतीस T iterations नंतर, काहीसे policy sequence मध्ये surrogate loss under स्वतःच्या distribution मध्ये O(1/T) epsilon_N च्या. Feed linear bound आणि land Theorem 3.2.

Empirical side modest current standards ने. Super Tux Kart मध्ये supervised baseline improve नव्हे average falls per lap अधिक डेटा आला, DAgger reach करतो policy कधीही fell off track नंतर 15 iterations, आणि SMILe 20 नंतर अजूनही fell अंदाज twice per lap. Handwriting benchmark वर, character accuracy 82 percent run केली structure शिवाय, 83.6 percent supervised, 85.5 percent DAgger सह. हेतुही कोणते manipulation result नाही.

Proof काय वचन नव्हे

Theorem statements conditional आहेत, आणि conditions load-bearing आहेत.

एक further result अनेकदा quoted refutation म्हणून आणि one नव्हे. Rajaraman, Yang, Jiao आणि Ramachandran imitation learning मधील minimax limits study करतात episodic MDPs मध्ये finite state space S आणि horizon H, आणि prove suboptimality lower bound order |S| H वर्ग N वर जे hold करते active expert query करू शकते even visited states वर. That worst-case rate over MDPs class fixed episode budget वर, आणि काय rules out हे idea आहे interaction minimax rate improve करते; DAgger च्या theorem different statement आहे, deployed policy bound करते relati what policy class achieve करू शकते.

Swamy, Choudhury, Bagnell आणि Wu later classified ये algorithms by moments expert च्या behavior match करतात, आणि introduce moment recoverability notion delineates कसे well प्रत्येक family mitigates compounding error. Surveys Osa आणि Celemin से cover algorithmic landscape आणि human-feedback interfaces.

Bill: expert कधीही produce नव्हे असे states labelling

सर्व वर assume करते expert queried असू शकते anywhere. Simulation मध्ये planner सह nearly free - Mario experiments use केली near-optimal planner full access सह game state. Human robot वर ते dominant cost, आणि peculiar one: human produce करायला हवे सही action configuration वर जेथे स्वतःची competence कधीही create नव्हे केले असते.

Kelly, Sidrane, Driggs-Campbell आणि Kochenderfer state objection directly HG-DAgger paper मध्ये. Vanilla DAgger require करते expert supply करायला action labels simultaneously not being fully system मध्ये. यह reduce करते safety, आणि human experts सह degrade likely labels collected quality, attributed perceived actuator lag. Label तुम्ही back मिळता नाही label algorithm assume केली.

Laskey आणि colleagues problem other side कडून attack करतात DART सह, आणि framing direct आहे: on-policy techniques tedious human supervisors साठी, add computational burden, आणि may visit dangerous states training मध्ये. Alternative inject करते calibrated noise supervisor च्या demonstrate demonstrations मध्ये, recovery demonstrate gets without robot untrusted policy कधीही run. MuJoCo Humanoid वर report करतात DART decrease supervisor च्या cumulative reward 5 percent training मध्ये, जेव्हा DAgger execute policies 80 percent less cumulative reward supervisor पेक्षा; grasping clutter मध्ये Toyota HSR सह, average 62 percent increase over behavior cloning.

Zhang आणि Cho साठी SafeDAgger treat queries reference policy scarce resource: separate safety policy predict करते, without querying, primary policy deviation reference पेक्षा threshold ने, आणि केवळ states handed over. तीन react same fact - DAgger analysis charge नव्हे expert labels, आणि reality charge बरीच.

काय याचा अर्थ SO-100 वर तुमच्या desk वर

Horizon translate तुमच्या स्वतःच्या units मध्ये. 20-second episode 30 frames per second वर आहे 600 decision steps, आणि T सर्व bounds वर ते number आहे. T = 600 वर, difference term scaling T आणि scaling T वर्ग मध्ये difference policy recover bad approach कडून आणि one does not.

यही part का action chunking helps: जेव्हा policy emit short sequence actions per inference step, decision points number drop, आणि compound chances भी. Zhao, Kumar, Levine आणि Finn name compounding error motivation Action Chunking Transformers साठी, आणि report 80 to 90 percent success six difficult real-world tasks, low-cost bimanual hardware वर, ten minutes demonstrations कडून. Chunking remove करत नाही covariate shift - states still policy स्वतःचे - पण effective horizon shorten. See action chunking आणि SO-100 imitation learning guide.

दुसरा translation progress metric आहे. तुम्ही measure नव्हे करू शकता epsilon policy च्या distribution वर directly - that needs ground-truth expert actions सर्व visited states साठी, thing तुम्ही avoid produce trying करत आहात. काय human-gated loop give करते तुम्ही instead आहे intervention rate: fraction frames run मध्ये जेव्हा human taken over. हे proxy आहे, आणि move करते reasons unrelated policy - patient operator intervene कमी. Used consistently, हे one number आहे says whether round afternoon worth होते.

तीसरा translation data-quality warning analysis cover नव्हे आहे. Mandlekar आणि colleagues six offline learning algorithms study करतात five simulated आणि three real-world multi-stage manipulation tasks वर, आणि report sensitivity algorithmic design choices, dependence demonstration quality वर, आणि variability caused stopping criterion. Belkhale, Cui आणि Sadigh argue dataset quality formalized आवश्यक action divergence आणि transition diversity via, आणि note state diversity always beneficial नव्हे आहे. DAgger round add states कोणीही deliberately chose नाहीत: काहीसे recovery डेटा आहेत तुम्ही चाहिज, काहीसे robot flailing जेव्हा fumble takeover control साठी.

Mechanically round छः steps आहे: inference run recording सह, take over जेव्हा policy misbehave, review run आणि file episode, sync corrections, compose mixed dataset originals आणि corrections episode selection बनवा साथ explicitly per source, आणि continue training former checkpoint instead base model च्या. Ay-robots वर ये steps exist buttons म्हणून, remove करते plumbing पण नव्हे judgment. दोन caveats: continuing checkpoint initialize weights आणि आहे नव्हे optimizer resume, आणि leader-arm alignment move still lightly tested hardware वर. See training आणि datasets.

Family tree, one table मध्ये

Frequently asked प्रश्न

जेथे जा येथे

जर तुम्ही अजूनही train policy नव्हे, यह theory premature: record dataset first, starting training आपल्या first policy आणि desktop client. जर तुम्ही weighing अन्य hundred clean demonstrations against starting corrections: clean demonstrations fix नव्हे distribution problem. Mechanics साठी, continue human-gated variant आणि नंतर SO-100 walkthrough.