DAgger کی تشریح: Behavior Cloning کیوں انحراف کرتی ہے اور ڈیٹاسیٹ Aggregation واقعی کیا ثابت کرتی ہے

ایک خاص ناکامی ہے جس کا سامنا ہر وہ شخص کرتا ہے جو manipulation policy کو تربیت دیتا ہے، دیر یا جلد۔ Policy مکعب کی طرف پہنچتی ہے، دو سنٹی میٹر کے اندر آتی ہے، تردد کرتی ہے، پہلو کی طرف دھیرے سے سرکتی ہے، پھر کام سے غیر متعلقہ کچھ کرتی ہے۔ Validation loss اچھا تھا۔ Held-out episodes کے خلاف open-loop replay اچھا تھا۔ اور پھر بھی بازو ایک ایسی pose میں آتا ہے جو training data میں کہیں نہیں ہے، اور وہاں سے اس کے پاس کہنے کے لیے کچھ بھی منطقی نہیں ہے۔

اس ناکامی کا نام ہے اور اس کے پیچھے ایک طے شدہ نظریہ ہے۔ یہ ہمارے DAgger پر چار مضامین میں سے پہلا ہے، اور یہ دلیل کو خود کا احاطہ کرتا ہے: demonstrator کی اپنی trajectories پر ایک policy کو fit کرنے سے کیوں ایک خرابی پیدا ہوتی ہے جو episode کی لمبائی کے مربع کے ساتھ بڑھ سکتی ہے، dataset aggregation کیا تبدیل کرتا ہے، اور no-regret proof کیا وعدہ نہیں کرتا۔ Real hardware پر loop کا احاطہ کیا جاتا ہے SO-100 پر DAgger loop چلانا، human-gated variant میں HG-DAgger اور human-gated interventions، اور measurement سوال میں DAgger loop کو ماپنا۔

فرض جو behavior cloning خاموشی سے کرتی ہے

ایک demonstration dataset observation-action pairs کا ڈھیر ہے۔ Behavior cloning اس ڈھیر میں ایک function کو عام supervised learning کے ساتھ فٹ کرتا ہے اور وہیں رکتا ہے۔ یہ فیلڈ میں سب سے پرانا خیال ہے۔ Pomerleau کی ALVINN، 1988 میں، ایک تین سطح کا back-propagation network تھا جو کیمرے سے تصاویر اور لیزر range finder لیتا تھا اور گاڑی کو جس سمت میں جانی چاہیے وہ دیتا تھا؛ یہ simulated road images پر تربیت دیا گیا تھا اور کچھ field conditions میں real roads پر چلایا گیا تھا۔ ترکیب بہت نہیں بدلی ہے؛ networks بدل گئے ہیں۔

جو چیز چھوڑی جاتی ہے وہ یہ جانچ ہے کہ یہ جوڑے کہاں سے آئے۔ ان میں سے ہر ایک demonstrator کی پیدا کردہ trajectory پر ہے۔ جو policy آپ تعینات کرتے ہیں وہ اپنی بناتی ہے۔ جو لمحے یہ انحراف کرتا ہے، اسے ان حالتوں کے بارے میں پوچھا جا رہا ہے جو training distribution میں نہیں تھے، اور اس کا جواب اسے مزید باہر لے جاتا ہے۔ Ross، Gordon اور Bagnell DAgger paper کو بالکل اسی طرح شروع کرتے ہیں: sequential prediction statistical learning کے تحت i.i.d. assumption کی خلاف ورزی کرتی ہے، کیونکہ learner کی اپنی predictions وہ inputs کو طے کرتی ہیں جو یہ اگلے دیکھتے ہیں۔

اس paper میں سب سے واضح مثال بالکل روبوٹ نہیں ہے۔ Super Mario Bros کے لیے near-optimal planner کو clone کرنے سے ایک policy بنی جو بار بار رکاوٹ کے خلاف پھنس گئی بجائے اس کے کہ اس سے آگے بڑھے۔ وجہ یہ ہے کہ پورا دلیل ایک جملے میں ہے: ماہر ہمیشہ آرام دہ فاصلے سے کودتا تھا، تو dataset میں کوئی بھی حالت نہیں تھی جس میں Mario رکاوٹ کے خلاف دبا ہوا تھا، اور اس لیے کوئی label نہیں تھا کہ ایک بار وہ ہو تو کیا کریں۔

Mario کو کسی SO-100 arm سے تبدیل کریں اور ڈھانچہ ایک جیسا ہے۔ آپ کے demonstrations صاف رویہ اور صاف grip دکھاتے ہیں، دو سنٹی میٹر کم gripper بند کرنے سے نہیں - تو policy کو وہاں سے کیا کرنا ہے کا کوئی اندازہ نہیں ہے، اور جو کچھ وہ اندازہ لگاتے ہیں اسے مزید باہر لے جاتا ہے۔ Covariate shift data collection procedure کی خصوصیت ہے، network architecture کی نہیں۔

جہاں quadratic term آتا ہے

2010 کی AISTATS paper by Ross اور Bagnell، Efficient Reductions for Imitation Learning، compounding کو درست بناتا ہے۔ T کو task horizon ہونے دیں، task cost کو unit interval میں bounded ہونے دیں، اور epsilon کو surrogate loss ہونے دیں جو expert state distribution میں ماپا جاتا ہے - وہ نمبر جو آپ کا validation set رپورٹ کرتا ہے۔ پھر اس policy کو T steps کے لیے چلانے کا اضافی لاگت، expert کے نسبت، T squared times epsilon سے محدود ہے۔ Ross، Gordon اور Bagnell اسے DAgger paper میں Theorem 2.1 کے طور پر دوبارہ بیان کرتے ہیں اور اہم جملہ شامل کرتے ہیں: bound سخت ہے۔ مسائل موجود ہیں جہاں expert کی distribution پر epsilon loss والی ایک policy واقعی اضافی لاگت incur کرتی ہے جو T میں quadratically بڑھتی ہے۔

Tight کا مطلب عام نہیں ہے۔ Quadratic term مسائل کے class پر worst case ہے، آپ کے pick-and-place task کے بارے میں پیشن گوئی نہیں۔ یہ جو establish کرتا ہے وہ یہ ہے کہ زیادہ expert demonstration مسئلہ کو ہٹا نہیں سکتا: یہ صرف ایک distribution پر epsilon کے اندازے کو بہتر بناتا ہے جس پر policy کو test نہیں کیا جائے گا۔

فرار کی راہ اسی paper میں ہے، Theorem 2.2 کے طور پر دوبارہ بیان کیا گیا۔ اگر ایک policy کم loss epsilon حاصل کرتی ہے اپنی اپنی state distribution میں، اور ایک غلط action سب سے زیادہ u کی لاگت لیتا ہے expert کے تحت cost-to-go میں، تو اضافی لاگت u times T times epsilon سے محدود ہے - horizon میں linear۔ Constant u دلچسپ مقدار ہے: expert سے 0-1 disagreement کے لیے سب سے زیادہ 1، اور O(1) جب بھی expert کچھ steps میں recover کر سکتا ہے۔ Worst case میں یہ O(T) ہے، اور linear bound اس کے بعد quadratic سے بہتر نہیں ہے۔

DAgger سے پہلے آنے والی دو کوششیں

Forward training ایک سچ لیکن impractical جواب ہے۔ ہر timestep کے لیے الگ policy کو تربیت دیں، ترتیب میں، ہر ایک پہلے سے fixed policies کے ذریعے induced state distribution پر، تاکہ ہر policy بالکل وہی distribution دیکھے جو یہ face کرے گی۔ Catch وضاحت میں ہے: T policies، sequentially تربیت دی گئی، کوئی early stopping نہیں۔ Manipulation episode میں 30 frames per second پر، T سینکڑوں میں ہے۔

SMILe، اسی paper سے، اور SEARN، Daume، Langford اور Marcu کے structured prediction پر کام سے، دوسری راہ لیتے ہیں: ایک stationary policy، لیکن stochastic۔ ہر iteration ایک component کو تربیت دیتا ہے اور اسے mixture میں شامل کرتا ہے، probability mass کو expert سے دور منتقل کرتا ہے۔ نتیجہ ایک mixture ہے جس میں کچھ components دوسروں سے بدتر ہیں - ایک physical arm پر، ایک controller جو mid-motion میں bad component کو sample کر سکتا ہے۔ یہ stationary چاہنے کی بیان کردہ وجہ ہے deterministic policy اس کی بجائے۔

DAgger: ایک خیال، ایک box

Dataset Aggregation deterministic policy کو برقرار رکھتا ہے اور fix کو data collection میں منتقل کرتا ہے۔ ہر round: موجودہ policy کو roll کریں، جو states یہ ملاقات کرتا ہے وہ record کریں، expert سے پوچھیں کہ ہر ایک میں صحیح action کیا ہوتا، ان pairs کو اپنی موجودہ dataset میں شامل کریں، union پر retrain کریں۔ نام algorithm ہے - آپ aggregate کرتے ہیں، کبھی discard نہیں کرتے۔

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

تین تفصیلات وہ وزن رکھتی ہیں جو وہ لگتی ہیں سے زیادہ۔ Labels mixed policy کے ذریعے ملاقات کے لیے ہیں، لیکن actions expert سے آتے ہیں - policy سوالات دیتی ہے، expert جوابات دیتا ہے۔ Retraining پورے aggregate پر ہے، جو ہر round کو Follow-The-Leader step بناتا ہے: round n میں آپ اب تک کی ہر trajectory پر hindsight میں بہترین policy کو منتخب کرتے ہیں۔ یہ framing وہ ہے جس پر proof hangs ہے۔ اور algorithm validation set پر منتخب کردہ sequence میں بہترین policy کو واپس دے کر ختم ہوتا ہے، کیونکہ theorems یہ guarantee دیتے ہیں کہ کچھ sequence میں policy اچھی ہے، آخری نہیں۔

Beta schedule، اور یہ کہ یہ tuning knob کیوں نہیں ہے

Mixed policy beta_i times expert plus one minus beta_i times learner ہے۔ نقطہ عملی ہے: پہلی کچھ سیکھی ہوئی policies بہت کم data پر تربیت دی جاتی ہیں، بہت سی غلطیاں کرتی ہیں، اور ورنہ rollout کو ان states میں خرچ کریں گی جو policy بہتر ہونے کے بعد بے مقصد ہو جاتی ہیں۔

نظریہ بالکل ایک شرط impose کرتا ہے: betas کا running average صفر پر جانا چاہیے۔ Analysis beta_i کے ساتھ (1 - alpha) سے power i-1 تک محدود کام کرتا ہے، ایک constant alpha کے لیے جو T سے independent ہے۔

2980 اور 3030 کے درمیان فاصلہ تقریباً 4300 چلنے والے پیمانے پر چھوٹا ہے، لیکن paper کی اس کی تشریح section میں سب سے مفید عملی نوٹ ہے۔ Parameter-free schedule کے ساتھ، Mario جلد ہی اسی جگہ پر پھنس گیا اور اس ایک جگہ سے قریب نقالی data کا ڈھیر بنایا؛ expert کو وقت کے ایک حصہ کو ڈرائیو کرنے سے اسے دونوں unstuck کیا اور states کی variety کو بڑھایا۔ Schedule mixing ratio سے کم ہے اور اس بارے میں ہے کہ آپ کا data collection نئی states یا ایک ہی ناکامی پیدا کرتے رہتا ہے۔

گارنٹی: no-regret online learning میں ایک کمی

یہاں وہ حرکت ہے جو paper کو وہ بناتی ہے۔ ہر DAgger round کو ایک online learning problem میں ایک مثال کے طور پر سلوک کریں، جہاں round i پر loss round i پر استعمال کردہ policy کی state distribution کے تحت surrogate loss ہے۔ Learner وہ loss دیکھنے سے پہلے ایک policy پر commit کرتا ہے، اور sequence non-stationary ہے کیونکہ یہ اب تک بنائی گئی policies پر منحصر ہے۔

ایک algorithm no-regret ہے اگر N rounds پر اس کا average loss hindsight میں بہترین single policy کے قریب ہو۔ Strongly convex losses پر Follow-The-Leader ایسی algorithm ہے، average regret 1/N کی order میں سکڑتا ہے - اور پورے aggregate پر retraining بالکل Follow-The-Leader ہے۔ کوئی اور no-regret learner بھی کام کرے گا: analysis ایک reduction ہے، ایک optimiser کی خصوصیت نہیں۔

ایک lemma mixed policy جو data جمع کیا اور learned policy جو deployed ہوگی کے درمیان فاصلہ پاٹتا ہے: Lemma 4.1 ان کی state distributions کے درمیان L1 distance کو 2 T beta_i سے محدود کرتا ہے۔ یہی وجہ ہے کہ betas کو decay کرنا چاہیے - جب تک expert appreciable control authority رکھتا ہے، جو states آپ جمع کرتے ہیں وہ وہ states نہیں ہیں جو آپ کی policy بنائے گی۔ Lemma کو regret bound کے ساتھ ملائیں اور main result آتا ہے: تقریباً T iterations کے بعد، sequence میں کچھ policy اپنی distribution کے تحت surrogate loss epsilon_N کے O(1/T) کے اندر رکھتی ہے۔ اسے linear bound میں ڈالیں اور آپ Theorem 3.2 پر پہنچتے ہیں۔

تجرباتی طرف موجودہ معیاروں کے لحاظ سے modest ہے۔ Super Tux Kart میں supervised baseline اپنے average falls per lap کو بہتر نہیں کر سکا جیسا کہ مزید data آیا، DAgger پندرہ iterations کے بعد ایک policy تک پہنچا جو track سے کبھی نہیں گرا، اور SMILe بیس کے بعد تقریباً دو بار فی lap گرا۔ Handwriting benchmark پر، character accuracy 82 فیصد بغیر structure، 83.6 فیصد supervised، 85.5 فیصد DAgger کے ساتھ چلا۔ ان میں سے کوئی بھی manipulation result نہیں ہے۔

Proof کیا وعدہ نہیں کرتا

Theorem statements conditional ہیں، اور conditions load-bearing ہیں۔

ایک اور نتیجہ اکثر تردید کے طور پر حوالہ دیا جاتا ہے اور نہیں ہے۔ Rajaraman، Yang، Jiao اور Ramachandran episodic MDPs میں imitation learning کی minimax limits کا مطالعہ کرتے ہیں finite state space S اور horizon H کے ساتھ، اور |S| H squared over N کی order میں suboptimality lower bound ثابت کرتے ہیں جو حتیٰ کہ جب learner visited states میں expert کو actively query کر سکتا ہے۔ یہ fixed episode budget پر MDPs کے class پر ایک worst-case rate ہے، اور جو یہ rule out کرتا ہے وہ یہ خیال ہے کہ interaction minimax rate کو بہتر بناتا ہے؛ DAgger کا theorem ایک مختلف statement ہے، deployed policy کو bound کرتے ہوئے جو اس کا اپنا policy class حاصل کر سکتا ہے۔

Swamy، Choudhury، Bagnell اور Wu نے بعد میں ان algorithms کو classify کیا کہ expert کے رویے کے کون سے moments وہ match کرتے ہیں، اور moment recoverability کا ایک تصور متعارف کرایا جو outline کرتا ہے کہ ہر family compounding error کو کتنی اچھی طرح کم کرتا ہے۔ Osa اور Celemin کے سروے algorithmic landscape اور human-feedback interfaces کو cover کرتے ہیں۔

بل: expert کے ذریعے کبھی نہ بنائی گئی states کو label دینا

اوپر سب کچھ ایک expert فرض کرتا ہے جو کہیں query کیا جا سکتا ہے۔ Simulation میں ایک planner کے ساتھ جو تقریباً مفت ہے - Mario experiments near-optimal planner استعمال کرتے تھے game state تک مکمل رسائی کے ساتھ۔ ایک robot پر انسانی کے ساتھ یہ dominant cost ہے، اور ایک عجیب ہے: انسان کو ایک configuration میں correct action بنانا ہے جو ان کی اپنی competence کبھی نہیں بناتی۔

Kelly، Sidrane، Driggs-Campbell اور Kochenderfer اعتراض کو براہ راست HG-DAgger paper میں state کرتے ہیں۔ Vanilla DAgger expert سے action labels دینے کی ضرورت کرتا ہے جب کہ system پر مکمل طور پر control میں نہ ہو۔ یہ safety کو کم کرتا ہے، اور انسانی experts کے ساتھ یہ collected labels کے quality کو degrade کرنے کا امکان ہے، جو وہ perceived actuator lag کو blame دیتے ہیں۔ جو label آپ کو واپس ملتا ہے وہ algorithm نے فرض کردہ label نہیں ہے۔

Laskey اور colleagues DART کے ساتھ مسئلہ کو دوسری طرف سے attack کرتے ہیں، اور ان کا framing صاف ہے: on-policy techniques انسانی supervisors کے لیے tedious ہیں، computational burden شامل کرتے ہیں، اور training کے دوران dangerous states visit کر سکتے ہیں۔ ان کی متبادل supervisor کے اپنے demonstrations میں calibrated noise inject کرتی ہے، تو recovery demonstrate ہوتی ہے بغیر robot کے untrusted policy کبھی چلائے۔ MuJoCo Humanoid پر وہ DART کو supervisor کے cumulative reward کو training کے دوران 5 فیصد سے کم کرتے ہیں report کرتے ہیں، جبکہ DAgger supervisor سے 80 فیصد کم cumulative reward کے ساتھ policies execute کرتا ہے؛ Toyota HSR کے ساتھ clutter میں grasping کے لیے، behavior cloning سے اوسط 62 فیصد اضافہ۔

Zhang اور Cho کے SafeDAgger reference policy سے queries کو scarce resource کے طور پر سلوک کرتے ہیں: ایک الگ safety policy predicts کرتی ہے، querying کے بغیر، کہ کیا primary policy reference سے threshold سے آگے deviate کرنے والی ہے، اور صرف وہ states handed over ہیں۔ تینوں ایک ہی حقیقت پر react کرتے ہیں - DAgger analysis expert labels کے لیے کچھ charge نہیں کرتا، اور reality بہت سے charge کرتی ہے۔

یہ آپ کے desk پر ایک SO-100 کے لیے کیا مطلب رکھتا ہے

Horizon کو اپنی اپنی units میں ترجمہ کریں۔ 30 frames per second پر twenty-second episode 600 decision steps ہے، اور T اوپر ہر bound میں وہ نمبر ہے۔ T = 600 پر، T کے ساتھ scaling کرنے والی term اور T squared کے ساتھ scaling کرنے والی کے درمیان فاصلہ ایک ایسی policy کے درمیان فاصلہ ہے جو bad approach سے recover کرتی ہے اور ایک جو نہیں کرتی۔

یہ ایک حصہ ہے کہ action chunking کیوں مدد کرتی ہے: جب policy inference step میں actions کا ایک short sequence emit کرتی ہے، decision points کی تعداد drop ہوتی ہے، اور compound کرنے کے موقوں کی تعداد بھی۔ Zhao، Kumar، Levine اور Finn compounding error کو Action Chunking with Transformers کی motivation کے طور پر نام دیتے ہیں، اور چھ مشکل real-world tasks پر 80 سے 90 فیصد کامیابی report کرتے ہیں، low-cost bimanual hardware پر، دس منٹ کے demonstrations سے۔ Chunking covariate shift کو ہٹاتا نہیں - states ابھی بھی policy کے اپنے ہیں - لیکن یہ effective horizon کو مختصر کرتا ہے۔ دیکھیں action chunking اور SO-100 imitation learning guide۔

دوسرا translation progress metric ہے۔ آپ epsilon کو policy کے اپنی distribution میں براہ راست measure نہیں کر سکتے - اس میں ہر visited state کے لیے ground-truth expert actions درکار ہیں، وہ چیز جو آپ پیدا کرنے سے بچنے کی کوشش کر رہے ہیں۔ جو human-gated loop آپ کو دیتا ہے بجائے اس کے intervention rate ہے: ایک run میں frames کا وہ حصہ جس دوران انسان نے over لیا ہے۔ یہ ایک proxy ہے، اور یہ policy سے غیر متعلقہ وجوہات سے حرکت کرتا ہے - ایک patient operator کم intervene کرتا ہے۔ مسلسل استعمال سے، یہ وہ ایک نمبر ہے جو کہتا ہے کہ آیا ایک round دوپہر کے قابل تھا۔

ایک تیسرا translation data-quality warning ہے جو analysis cover نہیں کرتا۔ Mandlekar اور colleagues نے پانچ simulated اور تین real-world multi-stage manipulation tasks پر چھ offline learning algorithms کا مطالعہ کیا، اور algorithmic design choices کے لیے sensitivity، demonstrations کی quality پر dependence، اور stopping criterion سے variability report کرتے ہیں۔ Belkhale، Cui اور Sadigh argue کرتے ہیں کہ dataset quality کو action divergence اور transition diversity کے ذریعے formalised کیا جانا چاہیے، اور نوٹ کرتے ہیں کہ state diversity ہمیشہ فائدہ مند نہیں ہے۔ ایک DAgger round states شامل کرتا ہے جو کسی نے deliberately منتخب نہیں کیے: کچھ recovery data ہیں جس کی آپ کو ضرورت ہے، کچھ ہیں robot flailing جب کہ آپ takeover control کے لیے grope کر رہے ہو۔

میکانکی طور پر ایک round چھ steps ہے: recording کے ساتھ inference چلائیں، policy غلط رویہ دکھائے تو over لیں، run کو review کریں اور ہر episode کو file کریں، corrections sync کریں، originals plus corrections سے mixed dataset compose کریں جس میں episode selection explicitly ہے per source، اور پچھلے سے training جاری رکھیں checkpoint بجائے base model کے۔ Ay-robots پر وہ steps buttons کے طور پر موجود ہیں، جو plumbing کو ہٹاتے ہیں لیکن judgement کو نہیں۔ دو تنبیہات: checkpoint سے continue کرنا weights کو initialise کرتا ہے اور optimizer resume نہیں ہے، اور leader-arm alignment move ابھی بھی hardware پر lightly tested ہے۔ دیکھیں training اور datasets۔

خاندان کا شجرہ، ایک table میں

اکثر پوچھے جانے والے سوالات

یہاں سے کہاں جائیں

اگر آپ نے ابھی policy train نہیں کی ہے، یہ نظریہ premature ہے: پہلے dataset record کریں، یہاں سے شروع کریں اپنی پہلی policy کو train کرنا اور desktop client۔ اگر آپ سو اور clean demonstrations کو corrections شروع کرنے کے خلاف تولتے ہیں: clean demonstrations distribution problem کو fix نہیں کرتے۔ Mechanics کے لیے، جاری رکھیں human-gated variant اور پھر SO-100 walkthrough۔