DAgger توضیح داده شد: چرا Behavior Cloning منحرف می‌شود و Dataset Aggregation واقعاً چه چیز را ثابت می‌کند

شکستی خاص وجود دارد که هر کسی که یک manipulation policy را آموزش می‌دهد، دیر یا زود با آن روبرو می‌شود. policy به سمت مکعب دراز می‌شود، تا دو سانتی‌متر نزدیک می‌شود، تردید می‌کند، به‌ طرف کناری منحرف می‌شود، و سپس کاری بی‌ربط با کار انجام می‌دهد. validation loss خوب بود. بازپخش حلقه‌باز بر علیه episodes نگهداشتۀ شده خوب بود. و با این‌حال bazu در موضعی قرار می‌گیرد که هیچ‌جا در داده‌های آموزشی ظاهر نمی‌شود، و از آن‌جا چیزی منطقی برای گفتن ندارد.

این شکست یک نام و یک نظریۀ ثابت شدۀ پشت آن دارد. این اولین مقالۀ چهار مقالۀ DAgger است، و argument خود را پوشش می‌دهد: چرا تناسب یک policy بر روی مسیرهای معرّف خود خطای تولید می‌کند که می‌تواند با مربع طول episode رشد کند، Dataset Aggregation چه چیز را تغییر می‌دهد، و اثبات بدون‌پشیمانی چه تعهد نمی‌کند. حلقه بر روی سخت‌افزار واقعی در اجرای یک حلقۀ DAgger بر روی SO-100 پوشش داده می‌شود، variant گیت‌شدۀ انسانی در HG-DAgger و مداخلات گیت‌شدۀ انسانی، و سؤال اندازه‌گیری در اندازه‌گیری یک حلقۀ DAgger.

فرض‌ای که Behavior Cloning بی‌سر و صدا می‌کند

یک مجموعۀ داده‌ای نمایش جفت‌های observation-action است. Behavior Cloning یک تابع را به آن مجموعه با supervised learning معمولی تناسب می‌دهد و متوقف می‌شود. این قدیمی‌ترین ایده در زمینه است. ALVINN Pomerleau، در سال 1988، یک شبکۀ back-propagation سه‌لایه‌ای بود که تصاویر را از دوربین و یک laser range finder می‌گرفت و جهتی را که وسیله نقلیه باید سفر کند تولید می‌کرد؛ بر روی تصاویر راه شبیه‌سازی‌شدۀ آموزش یافته و تحت برخی شرایط صحرایی راه‌های واقعی را دنبال کرد. دستور‌العمل بسیار تغییر نکرده‌است؛ شبکه‌ها تغییر کرده‌اند.

آنچه نادیده گرفته می‌شود یک بررسی در مورد جایی است که این جفت‌ها از کجا آمده‌اند. هر یک از آن‌ها بر روی یک مسیری که معرّف تولید کرد قرار دارند. policy‌ای که استقرار می‌یابند policy خود را تولید می‌کند. همان لحظه که منحرف می‌شود، درخواست برای state‌هایی است که در توزیع آموزشی نبودند، و پاسخ آن آن را بیشتر بیرون می‌برد. Ross، Gordon و Bagnell مقالۀ DAgger را دقیقاً با این شروع می‌کنند: پیش‌بینی ترتیبی assumption i.i.d. را تحت supervised learning زیر سؤال می‌برد، زیرا پیش‌بینی‌های یادگیری شدۀ خود inputs‌ای را که بعد می‌بیند تعیین می‌کند.

واضح‌ترین تصویر در آن مقاله اصلاً یک ربات نیست. تقلید یک planner تقریباً بهینه برای Super Mario Bros تولید یک policy کرد که مکرراً بر علیه یک مانع گیر کرد به جای اینکه از آن بپرد. دلیل کل argument در یک جملۀ است: متخصص همیشه از یک فاصلۀ راحت پرید، بنابراین مجموعۀ داده شامل هیچ state‌ای نبود که Mario به یک مانع فشرده‌شده بود، و بنابراین هیچ برچسب برای آنچه باید انجام شود وقتی او بود وجود نداشت.

Mario را با یک SO-100 arm عوض کنید و ساختار یکسان است. نمایش‌های شما یک approach و grasp تمیز را نشان می‌دهد، نه gripper بسته‌شدۀ دو سانتی‌متر کوتاه - بنابراین policy هیچ ایده‌ای ندارد که از آن‌جا چه کند، و هر چیزی که حدس می‌زند آن را بیشتر بیرون می‌برد. Covariate Shift یک ویژگی از data collection procedure است، نه از network architecture.

جایی که جملۀ درجه دوم منشأ می‌گیرد

مقالۀ AISTATS 2010 توسط Ross و Bagnell، Efficient Reductions for Imitation Learning، تشدید را دقیق می‌کند. بگذارید T تعریف‌کننده task horizon باشد، بگذارید task cost در unit interval محدود شود، و epsilon را loss surrogate اندازه‌گیری‌شده تحت توزیع state expert's - عددی که validation set شما گزارش می‌کند. سپس هزینۀ اضافی اجرای آن policy برای مراحل T، نسبت به متخصص، توسط T مربع برابر epsilon محدود می‌شود. Ross، Gordon و Bagnell این را به‌عنوان Theorem 2.1 در مقالۀ DAgger دوباره بیان می‌کند و جملۀ مهم را اضافه می‌کند: حد محکم است. مسائل وجود دارند که policy با epsilon loss بر روی توزیع expert واقعاً هزینۀ اضافی رشد به‌طور درجه دوم در T را متحمل می‌شود.

محکم به معنای معمولی نیست. جملۀ درجه دوم یک worst case بر روی یک کلاس مسائل است، نه پیش‌بینی درخصوص pick-and-place task شما. آنچه برقرار می‌کند این است که بیشتر expert demonstration نمی‌تواند مسئله را حذف کند: این فقط estimate epsilon را بر روی توزیعی که policy آزمایش نخواهد شد بهتر می‌کند.

راه فرار در همان مقاله است، به‌عنوان Theorem 2.2 دوباره بیان‌شده. اگر یک policy به loss epsilon دست می‌یابد تحت its own توزیع state، و یک اقدام غلط به حداکثر u cost-to-go تحت متخصص هزینه می‌کند، هزینۀ اضافی توسط u برابر T برابر epsilon محدود می‌شود - خطی در horizon. ثابت u کمیت جالبی است: حداکثر 1 برای disagreement 0-1 با متخصص، و O(1) وقتی‌که متخصص می‌تواند در چند مرحله بازیابی کند. در worst case O(T) است، و حد خطی آن‌گاه بهتر از حد درجه دوم نیست.

دو تلاش قبل از DAgger

Forward Training جواب صادقانه اما غیرعملی است. یک policy جداگانه برای هر timestep آموزش دهید، به‌ترتیب، هر یک بر روی توزیع state ناشی از policy‌هایی که قبلاً برای مراحل قبل تعریف‌شده‌اند، بنابراین هر policy دقیقاً توزیعی را می‌بیند که با آن روبرو خواهد شد. گیر در توصیف است: T policy، آموزش ترتیبی، بدون early stopping. برای یک manipulation episode در 30 frame در ثانیه، T در صدها است.

SMILe، از همان مقاله، و SEARN، از کار Daume، Langford و Marcu بر روی structured prediction، مسیر دیگر را می‌رود: یک policy stationary، اما stochastic. هر iteration یک component آموزش می‌دهد و آن را به یک mixture اضافه می‌کند، احتمال را از متخصص دور می‌کند. نتیجه یک mixture‌ای است که بعضی component بدتر هستند - بر روی یک arm فیزیکی، کنترل‌کننده‌ای که می‌تواند یک component بد را mid-motion نمونه‌برداری کند. این انگیزۀ بیان‌شده برای خواستن یک policy stationary deterministic به‌جای آن است.

DAgger: یک ایده، یک جعبه

Dataset Aggregation policy deterministic را نگاه می‌دارد و fix را به data collection حرکت می‌دهد. هر دور: rollout policy فعلی، record state‌هایی که بازدید می‌کند، از متخصص بپرسید که اقدام صحیح در هر یک چه بود، آن جفت‌ها را به مجموعۀ داده‌ای اضافه کنید که قبلاً داشتید، دوباره‌آموزش روی اتحاد. نام algorithm است - شما تجمیع می‌کنید، هرگز دور نمی‌اندازید.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

سه جزئیات وزن بیشتری نسبت به آنچه که به نظر می‌رسند حمل می‌کند. برچسب‌ها برای state‌های بازدید‌شدۀ mixed policy هستند، اما اقدام‌ها از متخصص می‌آیند - policy سؤال‌ها، متخصص جواب‌ها را فراهم می‌کند. دوباره‌آموزش بر روی کل aggregate است، که هر دور را یک Follow-The-Leader step می‌کند: در دور n بهترین policy را در hindsight بر روی هر مسیری که تاکنون وجود داشته انتخاب می‌کنید. این framing آن‌چیزی است که اثبات بر آن آویزان است. و algorithm به‌وسیلۀ بازگرداندن بهترین policy در sequence انجام می‌شود که بر روی validation set انتخاب‌شده، زیرا قضایا تضمین می‌کنند که برخی policy در sequence خوب است، نه اینکه آخری یکی است.

Beta Schedule، و چرا یک tuning knob نیست

Mixed policy beta_i برابر متخصص به‌علاوه یک منهای beta_i برابر یادگیری است. نقطه عملی است: اولین policy‌های یاد‌گرفتۀ چند داده آموزش می‌یابند، بسیاری اشتباه می‌کنند، و در غیر این‌صورت rollout را در state‌هایی می‌گذرانند که یک‌بار policy بهتر می‌شود بی‌ارتباط می‌شوند.

تئوری دقیقاً یک شرط تحمیل می‌کند: میانگین درحال‌اجرای betas به صفر باید برود. تحلیل با beta_i محدود به (1 - alpha) توان i-1 کار می‌کند، برای یک ثابت alpha مستقل از T.

فاصله بین 2980 و 3030 بر روی scale اجرا به تقریباً 4300 کوچک است، اما توضیح مقاله این است که مفیدترین یادداشت عملی در قسمت است. با parameter-free schedule، Mario در همان نقطۀ شروع در یک نقطۀ شروع گیر کرد و mass نزدیک‌به‌duplicate data از آن یک location تولید کرد؛ اجازت دادن متخصص درایت یک fraction از زمان هم او را آزاد کرد و انواع state را گسترش داد. Schedule کمتر درخصوص mixing ratio است تا اینکه آیا data collection شما همچنان state‌های جدید تولید می‌کند یا همان شکست.

تضمین: یک تقلیل به آنلاین learning بدون‌پشیمانی

اینجا حرکتی است که مقاله را آن‌چه می‌کند. هر دور DAgger را به‌عنوان یک نمونۀ وارد یک online learning problem در آن loss در دور i surrogate loss تحت توزیع state policy استفاده‌شدۀ در دور i است درمان کنید. یادگیری قبل از دیدن آن loss به یک policy تعهد می‌کند، و sequence غیر stationary است زیرا بر روی policy تولید‌شدۀ تاکنون بستگی دارد.

یک algorithm no-regret است اگر average loss آن بر روی N round به بهترین single policy در hindsight نزدیک شود. Follow-The-Leader بر روی strongly convex loss چنین algorithm‌ای است، با average regret shrinking در ترتیب 1/N - و دوباره‌آموزش بر روی aggregate کامل دقیقاً Follow-The-Leader است. هر other no-regret learner می‌تواند خدمت کند: تحلیل یک تقلیل است، نه ویژگی یک optimizer.

یک lemma فاصله بین mixed policy که داده را جمع‌آوری کرد و learned policy که استقرار می‌یابد را پل می‌کند: Lemma 4.1 فاصلۀ L1 بین توزیع state آن‌ها را توسط 2 T beta_i محدود می‌کند. این دلیل این است که betas باید decay کنند - در حالی‌که متخصص هنوز control authority قابل‌توجه دارد، state‌های جمع‌آوری‌شدۀ شما state‌های policy نیستند تولید خواهند کرد. Lemma را با regret bound ترکیب کنید و نتیجۀ اصلی دنبال می‌شود: بعد از تقریباً T iteration، برخی policy در sequence دارای surrogate loss تحت توزیع خود در O(1/T) از epsilon_N است. آن را به حد خطی وارد کنید و شما در Theorem 3.2 فرود می‌آیند.

سمت تجربی توسط استاندارهای فعلی متواضع است. در Super Tux Kart supervised baseline average falls per lap را بهتر نکرد همان‌طور که بیشتر داده آمد، DAgger به یک policy دست یافت که هرگز از track پس از پانزده iteration نیفتاد، و SMILe بعد از بیست هنوز تقریباً دو بار per lap افتاد. بر روی handwriting benchmark، character accuracy 82 درصد بدون ساختار، 83.6 درصد supervised، 85.5 درصد با DAgger بود. هیچ یک از این‌ها یک manipulation result نیست.

آنچه که اثبات تعهد نمی‌کند

جملات قضیه شرطی هستند، و شرایط load-bearing هستند.

نتیجۀ دیگری اغلب به‌عنوان تکذیب نقل می‌شود و نیست. Rajaraman، Yang، Jiao و Ramachandran مطالعه minimax limits imitation learning در episodic MDPs با finite state space S و horizon H، و یک suboptimality lower bound در ترتیب |S| H مربع بیش از N ثابت می‌کنند که حتی وقتی‌که یادگیری ممکن است فعالانه متخصص را در visited state پرسش کند. این یک worst-case rate بر روی یک کلاس MDP در یک fixed episode budget، و آنچه که rule out می‌کند ایده‌ای است که interaction minimax rate را بهتر می‌کند؛ theorem DAgger یک جملۀ متفاوت است، deployed policy را نسبت به آنچه که policy class خود می‌تواند دستیاب شود محدود می‌کند.

Swamy، Choudhury، Bagnell و Wu بعداً این algorithm‌ها را بر روی کدام moments behavior متخصص آن‌ها تطابق دادند، و یک notion moment recoverability معرفی‌کردند که چگونه خوب هر خانواده compounding error را کاهش می‌دهد delineate می‌کند. survey‌های Osa و Celemin algorithmic landscape و human-feedback interface را پوشش می‌دهند.

صورتحساب: برچسب‌زنی state‌های متخصص هرگز تولید نکرد

هر چیز بالا فرض متخصصی که می‌تواند هر‌جا پرسیده شود دارد. در simulation با یک planner که تقریباً رایگان است - آزمایش‌های Mario یک planner تقریباً بهینه با دسترسی کامل به game state استفاده می‌کردند. با یک انسان بر روی یک ربات این dominant cost است، و یک عجیب: انسان باید یک اقدام صحیح در یک پیکربندی که خود competence آن هرگز ایجاد نکرده‌است تولید کند.

Kelly، Sidrane، Driggs-Campbell و Kochenderfer اعتراض را مستقیماً در مقالۀ HG-DAgger بیان می‌کنند. Vanilla DAgger متخصص را نیاز دارد action label فراهم کند در حالی‌که کاملاً کنترل سیستم را نداشت. این safety را کاهش می‌دهد، و با expert انسانی آن احتمالاً quality برچسب‌های جمع‌آوری‌شده را degradation می‌دهد، که آن‌ها را به perceived actuator lag نسبت می‌دهند. برچسب که شما بازمی‌گیرید برچسب algorithm assume نکرده است.

Laskey و همکاران مسئله را از طرف دیگر DART مهاجمه می‌کنند، و framing آن‌ها frank است: on-policy technique‌ها برای human supervisor خسته‌کننده، computational burden اضافی، و ممکن است dangerous state در آموزش بازدید کند. جایگزینی آن‌ها calibrated noise را به demonstration‌های supervisor خود تزریق می‌کند، بنابراین recovery بدون robot درحال‌حاضر اجرای untrusted policy‌ای نمایش داده می‌شود. بر روی MuJoCo Humanoid آن‌ها گزارش می‌کنند DART supervisor cumulative reward را 5 درصد کاهش می‌دهد در آموزش، در حالی‌که DAgger policy‌ها با 80 درصد کمتر cumulative reward supervisor اجرا می‌کند؛ بر روی grasping در clutter با Toyota HSR، میانگین 62 درصد افزایش بر روی behavior cloning.

SafeDAgger Zhang و Cho query‌های reference policy را به‌عنوان scarce resource درمان می‌کند: یک جداگانه safety policy پیش‌بینی می‌کند، بدون query، آیا primary policy درخواست detour از reference beyond threshold، و فقط آن state‌ها تحویل داده می‌شوند. هر سه به همان واقعیت واکنش نشان می‌دهند - تحلیل DAgger هیچ‌چیزی برای expert label تحمیل نمی‌کند، و واقعیت بسیار تحمیل می‌کند.

آنچه این برای SO-100 بر روی میز شما به معنا است

Horizon را به واحد خود ترجمه کنید. یک بیست‌ثانیۀ episode در 30 frame بر ثانیه 600 decision step، و T در هر حد بالا آن عدد است. در T = 600، فاصله بین یک term scaling با T و یک scaling با T مربع فاصلۀ بین policy که از یک bad approach بازیابی می‌کند و یک است که نمی‌کند.

این بخشی از چرا action chunking کمک می‌کند: وقتی‌که یک policy short sequence اقدام‌ها per inference step تولید می‌کند، تعداد decision point کاهش می‌یابد، و بنابراین فرصت compound. Zhao، Kumar، Levine و Finn compounding error را به‌عنوان motivation برای Action Chunking با Transformers نام می‌برند، و 80 به 90 درصد موفقیت بر روی شش difficult real-world task، بر روی low-cost bimanual hardware، از ده minute worth demonstration گزارش می‌کنند. Chunking covariate shift را حذف نمی‌کند - state‌ها همچنان policy خود هستند - اما effective horizon را کوتاه می‌کند. ببینید action chunking و SO-100 imitation learning guide.

ترجمۀ دوم progress metric است. شما نمی‌توانید epsilon تحت توزیع policy خود اندازه‌گیری کنید مستقیماً - این نیاز expert action ground-truth برای هر visited state دارد، چیزی که سعی می‌کنید تولید کردن آن را تجنب می‌کنید. آنچه یک human-gated loop شما می‌دهد بجای intervention rate است: کسری از frame در یک run که در آن انسان over شد. یک proxy است، و برای دلایل unrelated به policy حرکت می‌کند - یک patient operator کمتر intervene می‌کند. وقتی مسلسل استفاده شود، یک عدد است که می‌گوید آیا یک دور سزای afternoon بود.

ترجمۀ سوم یک data-quality هشدار analysis پوشش نمی‌کند. Mandlekar و همکاران شش offline learning algorithm بر روی پنج simulated و سه real-world multi-stage manipulation task مطالعه کردند، و algorithmic design choice sensitivity، quality demonstration dependence، و stopping criterion variability گزارش می‌کنند. Belkhale، Cui و Sadigh argue کنند action divergence و transition diversity طریق dataset quality formalized شود، و state diversity همیشه beneficial نیست. یک دور DAgger state اضافی می‌کند هیچ‌کس deliberately انتخاب نکرد: برخی recovery data شما نیاز دارید، برخی ربات flailing در حالی‌که fumble برای takeover control.

Mechanically یک دور شش step: inference چالش‌ی با recording، over وقتی‌که policy misbehave، review run و file هر episode، sync correction، compose یک mixed dataset از original به‌علاوه correction با episode selection made explicitly per source، و continue training از قبلی checkpoint تا base model. بر روی ay-robots آن step وجود دارند به‌عنوان button، که plumbing حذف کند نه judgment. دو caveat: continue از checkpoint initialise weight و نیست یک optimizer resume، و leader-arm alignment move هنوز lightly tested بر روی hardware. ببینید training و datasets.

خانوادۀ tree، در یک جدول

سؤالات متناوب پرسیده

جایی برای رفتن از اینجا

اگر شما نداشتید آموزش یک policy ابھی، این تئوری premature: record یک مجموعۀ داده اول، از training بر روی اولین policy و desktop client. اگر شما وزن کردید دیگر صد clean demonstration در برابر شروع correction: clean demonstration توزیع مسئله fix نمی‌کند. برای mechanic، continue با variant human-gated و سپس SO-100 walkthrough.