[অনুবাদ প্রয়োজন: Tabletop robot workspace of th...]
[অনুবাদ প্রয়োজন: DAgger...][অনুবাদ প্রয়োজন: Evaluation...][অনুবাদ প্রয়োজন: Imitation Learning...][অনুবাদ প্রয়োজন: Robot Data...][অনুবাদ প্রয়োজন: SO-100...]

একটি DAgger লুপ পরিমাপ করা: হস্তক্ষেপ হার, মূল্যায়ন প্রোটোকল এবং মাঝের ফাঁদগুলি

AY-Robots ResearchAugust 27, 2026১৫ মিনিট পাঠ

হস্তক্ষেপ হার - রানের ফ্রেম দ্বারা বিভক্ত হস্তক্ষেপ ফ্রেম - একটি মানব-গেটেড DAgger লুপের সবচেয়ে সস্তা সৎ অগ্রগতি সংকেত। এই নিবন্ধ এটিকে সংজ্ঞায়িত করে যাতে দুই ব্যক্তি একই মান গণনা করে, এটি কীভাবে লগ করতে হয় তা দেখায় এবং চারটি উপায়ের মধ্য দিয়ে কাজ করে যা এটি আপনাকে বিভ্রান্ত করে: অপারেটর অভ্যাস, একটি সামঞ্জস্যপূর্ণ মূল্যায়ন সেটআপ, শুধুমাত্র সংশোধনগুলিতে প্রশিক্ষণ এবং একজন মানুষ যিনি সোমবারের চেয়ে মঙ্গলবারে ভিন্নভাবে সংশোধন করেন।

[অনুবাদ প্রয়োজন: A DAgger round feels productiv...]

[অনুবাদ প্রয়োজন: The loop needs one number per ...][অনুবাদ প্রয়োজন: the DAgger explainer...][অনুবাদ প্রয়োজন: and ...][অনুবাদ প্রয়োজন: the human-gated variant...][অনুবাদ প্রয়োজন: ; the hands-on counterpart is ...][অনুবাদ প্রয়োজন: running a DAgger loop on an SO...][অনুবাদ প্রয়োজন: ....]

[অনুবাদ প্রয়োজন: The short version...]

  • [অনুবাদ প্রয়োজন: Intervention rate = interventi...]
  • [অনুবাদ প্রয়োজন: A flat curve over three rounds...]
  • [অনুবাদ প্রয়োজন: A falling intervention rate is...]
  • [অনুবাদ প্রয়োজন: Without a frozen evaluation pr...]
  • [অনুবাদ প্রয়োজন: Training only on corrections s...]

[অনুবাদ প্রয়োজন: Why a round needs a number at ...]

[অনুবাদ প্রয়োজন: DAgger exists because of a dis...][অনুবাদ প্রয়োজন: imitation learning...][অনুবাদ প্রয়োজন: on a fixed demonstration set ...]

[অনুবাদ প্রয়োজন: That framing has a consequence...][অনুবাদ প্রয়োজন: your...][অনুবাদ প্রয়োজন: round three helped. The only ...]

[অনুবাদ প্রয়োজন: Defining the rate so two peopl...]

[অনুবাদ প্রয়োজন: The definition is one line: in...]

[অনুবাদ প্রয়োজন: Frames, not episodes...]

[অনুবাদ প্রয়োজন: Counting episodes with at leas...][অনুবাদ প্রয়োজন: LeRobot dataset format...][অনুবাদ প্রয়োজন: every timestep is a row, so t...]

[অনুবাদ প্রয়োজন: The denominator includes the c...]

[অনুবাদ প্রয়োজন: Two denominators are defensibl...]

[অনুবাদ প্রয়োজন: Decide once what happens to ha...]

[অনুবাদ প্রয়োজন: There is always a seam. When c...][অনুবাদ প্রয়োজন: episode...][অনুবাদ প্রয়োজন: - they are neither policy beh...]

[অনুবাদ প্রয়োজন: The three decisions that break...]

[অনুবাদ প্রয়োজন: Frames or episodes; total run ...]

[অনুবাদ প্রয়োজন: Logging it so the number survi...]

[অনুবাদ প্রয়োজন: A metric in the status panel o...][অনুবাদ প্রয়োজন: checkpoint...][অনুবাদ প্রয়োজন: you drove, since that changes...]

json
{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}
[অনুবাদ প্রয়োজন: One line per run. Recording th...]

[অনুবাদ প্রয়োজন: Two fields carry the weight. ...][অনুবাদ প্রয়োজন: train_mix...][অনুবাদ প্রয়োজন: is what you fed the next trai...][অনুবাদ প্রয়োজন: eval_protocol...][অনুবাদ প্রয়োজন: names the fixed test you ran ...][অনুবাদ প্রয়োজন: dataset documentation...][অনুবাদ প্রয়োজন: covers where the per-frame co...]

[অনুবাদ প্রয়োজন: Training configuration matrix ...]
[অনুবাদ প্রয়োজন: Every round changes checkpoint...]

[অনুবাদ প্রয়োজন: Reading the curve: three round...]

[অনুবাদ প্রয়োজন: Three rounds is the minimum fo...]

[অনুবাদ প্রয়োজন: Round...][অনুবাদ প্রয়োজন: Checkpoint driven...][অনুবাদ প্রয়োজন: Frames...][অনুবাদ প্রয়োজন: Intervention frames...][অনুবাদ প্রয়োজন: Rate...][অনুবাদ প্রয়োজন: Successes (of 20)...]
[অনুবাদ প্রয়োজন: 0 (baseline)...][অনুবাদ প্রয়োজন: base policy...][অনুবাদ প্রয়োজন: 5 900...][অনুবাদ প্রয়োজন: 1 380...][অনুবাদ প্রয়োজন: 23.4 %...][অনুবাদ প্রয়োজন: 7...]
[অনুবাদ প্রয়োজন: 1...][অনুবাদ প্রয়োজন: from round 0 mix...][অনুবাদ প্রয়োজন: 5 610...][অনুবাদ প্রয়োজন: 980...][অনুবাদ প্রয়োজন: 17.5 %...][অনুবাদ প্রয়োজন: 10...]
[অনুবাদ প্রয়োজন: 2...][অনুবাদ প্রয়োজন: from round 1 mix...][অনুবাদ প্রয়োজন: 5 412...][অনুবাদ প্রয়োজন: 611...][অনুবাদ প্রয়োজন: 11.3 %...][অনুবাদ প্রয়োজন: 11...]
[অনুবাদ প্রয়োজন: 3...][অনুবাদ প্রয়োজন: from round 2 mix...][অনুবাদ প্রয়োজন: 5 380...][অনুবাদ প্রয়োজন: 598...][অনুবাদ প্রয়োজন: 11.1 %...][অনুবাদ প্রয়োজন: 12...]

[অনুবাদ প্রয়োজন: Rounds one and two are doing w...]

  • [অনুবাদ প্রয়োজন: The remaining failures are not...]
  • [অনুবাদ প্রয়োজন: The corrections are too few ag...]
  • [অনুবাদ প্রয়োজন: The corrections contradict eac...]
  • [অনুবাদ প্রয়োজন: The failure is upstream: a cam...]
  • [অনুবাদ প্রয়োজন: The task is at the ceiling of ...]

[অনুবাদ প্রয়োজন: The last two are not failures ...]

[অনুবাদ প্রয়োজন: Trap 1: a falling rate is not ...]

[অনুবাদ প্রয়োজন: The intervention rate measures...][অনুবাদ প্রয়োজন: policy...][অনুবাদ প্রয়োজন: may not have. The rate falls ...]

[অনুবাদ প্রয়োজন: Human trust is at least a mode...]

[অনুবাদ প্রয়োজন: You cannot remove the drift, s...]

[অনুবাদ প্রয়োজন: Intervention rate...][অনুবাদ প্রয়োজন: Success rate on fixed protocol...][অনুবাদ প্রয়োজন: Most likely reading...]
[অনুবাদ প্রয়োজন: falls...][অনুবাদ প্রয়োজন: rises...][অনুবাদ প্রয়োজন: The round worked. Continue....]
[অনুবাদ প্রয়োজন: falls...][অনুবাদ প্রয়োজন: flat...][অনুবাদ প্রয়োজন: Your threshold drifted, or the...]
[অনুবাদ প্রয়োজন: falls...][অনুবাদ প্রয়োজন: falls...][অনুবাদ প্রয়োজন: Corrections are degrading the ...]
[অনুবাদ প্রয়োজন: flat...][অনুবাদ প্রয়োজন: flat...][অনুবাদ প্রয়োজন: The round bought nothing. Chan...]
[অনুবাদ প্রয়োজন: rises...][অনুবাদ প্রয়োজন: falls...][অনুবাদ প্রয়োজন: Regression. Suspect training m...]

[অনুবাদ প্রয়োজন: Trap 2: without a fixed protoc...]

[অনুবাদ প্রয়োজন: Real-robot evaluation is expen...]

[অনুবাদ প্রয়োজন: You will not run 600 paired ep...][অনুবাদ প্রয়োজন: SO-100...][অনুবাদ প্রয়োজন: in a workshop. What you can d...]

[অনুবাদ প্রয়োজন: Dimension...][অনুবাদ প্রয়োজন: Freeze this...][অনুবাদ প্রয়োজন: What drifts if you do not...]
[অনুবাদ প্রয়োজন: Start pose...][অনুবাদ প্রয়োজন: A written home position, drive...][অনুবাদ প্রয়োজন: The trajectory starts out of d...]
[অনুবাদ প্রয়োজন: Objects...][অনুবাদ প্রয়োজন: Taped marks, and the same phys...][অনুবাদ প্রয়োজন: A 'better' policy is really a ...]
[অনুবাদ প্রয়োজন: Cameras and light...][অনুবাদ প্রয়োজন: Same mounts, indices, exposure...][অনুবাদ প্রয়োজন: Swapped camera indices alone c...]
[অনুবাদ প্রয়োজন: Trials and stop rule...][অনুবাদ প্রয়োজন: Fixed n, fixed timeout, criter...][অনুবাদ প্রয়োজন: Post-hoc criteria turn near-mi...]
[অনুবাদ প্রয়োজন: Operator behaviour...][অনুবাদ প্রয়োজন: No interventions during evalua...][অনুবাদ প্রয়োজন: Evaluation becomes another cor...]

[অনুবাদ প্রয়োজন: Then the arithmetic, unforgivi...]

[অনুবাদ প্রয়োজন: This asymmetry is the argument...]

[অনুবাদ প্রয়োজন: Keep evaluation episodes out o...]

[অনুবাদ প্রয়োজন: Evaluation episodes must never...]

[অনুবাদ প্রয়োজন: Trap 3: training only on corre...]

[অনুবাদ প্রয়োজন: The corrections are the intere...]

[অনুবাদ প্রয়োজন: Mandlekar and colleagues built...]

[অনুবাদ প্রয়োজন: Corrections-only fine-tuning v...]
[অনুবাদ প্রয়োজন: What corrections-only gets you...]
  • [অনুবাদ প্রয়োজন: Fast: a short run over a few d...]
  • [অনুবাদ প্রয়োজন: Targeted: the gradient is domi...]
  • [অনুবাদ প্রয়োজন: Cheap for testing whether a co...]
[অনুবাদ প্রয়োজন: What it costs...]
  • [অনুবাদ প্রয়োজন: The fine-tune distribution no ...]
  • [অনুবাদ প্রয়োজন: Nominal behaviour can degrade ...]
  • [অনুবাদ প্রয়োজন: The rate can fall while succes...]

[অনুবাদ প্রয়োজন: The mixing ratio is a hyperpar...][অনুবাদ প্রয়োজন: training documentation...][অনুবাদ প্রয়োজন: . What no tool does for you is...]

[অনুবাদ প্রয়োজন: Trap 4: the human is not a con...]

[অনুবাদ প্রয়োজন: DAgger's theory assumes an exp...]

[অনুবাদ প্রয়োজন: The robomimic study makes the ...]

[অনুবাদ প্রয়োজন: There is a hardware version of...][অনুবাদ প্রয়োজন: leader-follower...][অনুবাদ প্রয়োজন: setup produces continuous, hu...][অনুবাদ প্রয়োজন: teleoperation documentation...][অনুবাদ প্রয়োজন: covers what each mode sends....]

[অনুবাদ প্রয়োজন: Weighting the interventions: I...]

[অনুবাদ প্রয়োজন: If corrections are the valuabl...]

[অনুবাদ প্রয়োজন: Equal proportion is a starting...]

[অনুবাদ প্রয়োজন: Method...][অনুবাদ প্রয়োজন: Who decides when the human act...][অনুবাদ প্রয়োজন: How intervention data is used...][অনুবাদ প্রয়োজন: Reported result...]
[অনুবাদ প্রয়োজন: DAgger (2011)...][অনুবাদ প্রয়োজন: Fixed schedule; expert labels ...][অনুবাদ প্রয়োজন: One growing dataset, unweighte...][অনুবাদ প্রয়োজন: Framed as a reduction to no-re...]
[অনুবাদ প্রয়োজন: HG-DAgger (2019)...][অনুবাদ প্রয়োজন: The human, gating control on a...][অনুবাদ প্রয়োজন: Aggregated; plus a learned saf...][অনুবাদ প্রয়োজন: Better than DAgger and BC on d...]
[অনুবাদ প্রয়োজন: IWR (2020)...][অনুবাদ প্রয়োজন: The human, via remote teleoper...][অনুবাদ প্রয়োজন: Intervention and non-intervent...][অনুবাদ প্রয়োজন: Beats non-interventional demos...]
[অনুবাদ প্রয়োজন: Sirius (2022)...][অনুবাদ প্রয়োজন: The human, during deployment...][অনুবাদ প্রয়োজন: Weighted BC, weights from appr...][অনুবাদ প্রয়োজন: 8 % gain in simulation, 27 % o...]
[অনুবাদ প্রয়োজন: ThriftyDAgger (2021)...][অনুবাদ প্রয়োজন: The system, gating on novelty ...][অনুবাদ প্রয়োজন: Interactive collection under a...][অনুবাদ প্রয়োজন: User study (N=10): 58 % higher...]
[অনুবাদ প্রয়োজন: Fleet-DAgger (2022)...][অনুবাদ প্রয়োজন: The system, allocating attenti...][অনুবাদ প্রয়োজন: Fleet learning scored by Retur...][অনুবাদ প্রয়োজন: Up to 8.8x higher ROHE than ba...]
[অনুবাদ প্রয়োজন: Sirius-Fleet (2024)...][অনুবাদ প্রয়োজন: Anomaly predictors with self-a...][অনুবাদ প্রয়োজন: Multi-task learning with a vis...][অনুবাদ প্রয়োজন: Fewer intervention requests as...]
[অনুবাদ প্রয়োজন: Leaderboard view comparing rob...]
[অনুবাদ প্রয়োজন: Ranking policies against each ...]

[অনুবাদ প্রয়োজন: Four metrics worth logging nex...]

  • [অনুবাদ প্রয়োজন: Takeovers per run. Twenty shor...]
  • [অনুবাদ প্রয়োজন: Mean intervention length. Risi...]
  • [অনুবাদ প্রয়োজন: Time to first intervention. A ...]
  • [অনুবাদ প্রয়োজন: Where interventions cluster. B...]

[অনুবাদ প্রয়োজন: A round protocol you can actua...]

[অনুবাদ প্রয়োজন: A measured round has six steps...]

  1. 1
    [অনুবাদ প্রয়োজন: Freeze the evaluation protocol...]

    [অনুবাদ প্রয়োজন: Write down start pose, object ...]

  2. 2
    [অনুবাদ প্রয়োজন: Measure the baseline...]

    [অনুবাদ প্রয়োজন: Run the protocol with no inter...]

  3. 3
    [অনুবাদ প্রয়োজন: Collect corrections in one con...]

    [অনুবাদ প্রয়োজন: One input mode per round, one ...]

  4. 4
    [অনুবাদ প্রয়োজন: Triage every episode the same ...]

    [অনুবাদ প্রয়োজন: Correction, evaluation or disc...]

  5. 5
    [অনুবাদ প্রয়োজন: Compose the mixture explicitly...]

    [অনুবাদ প্রয়োজন: Original demonstrations plus c...]

  6. 6
    [অনুবাদ প্রয়োজন: Continue from the checkpoint, ...]

    [অনুবাদ প্রয়োজন: Train the composed dataset fro...]

[অনুবাদ প্রয়োজন: Two limits change how you read...]

[অনুবাদ প্রয়োজন: The measured loop, already wir...]

[অনুবাদ প্রয়োজন: ay-robots implements these six...]

[অনুবাদ প্রয়োজন: See how the DAgger loop works...]

[অনুবাদ প্রয়োজন: What the numbers cannot tell y...]

[অনুবাদ প্রয়োজন: None of this is solved, and a ...]

[অনুবাদ প্রয়োজন: What it does is turn a vague i...][অনুবাদ প্রয়োজন: the SO-100 imitation learning ...][অনুবাদ প্রয়োজন: for the base dataset you mix ...][অনুবাদ প্রয়োজন: running a policy...][অনুবাদ প্রয়োজন: for the inference side, and ...][অনুবাদ প্রয়োজন: the DAgger loop page...][অনুবাদ প্রয়োজন: for the implemented pipeline....]

হল হস্তক্ষেপ হার শুধুমাত্র একটি মাইনাস সাফল্যের হার?

কোনো। হার পরিমাপ কত রান আপনি নিয়েছেন দখল; সাফল্যের হার পরিমাপ কিনা কাজ সম্পন্ন হয়েছে আপনি ছাড়া। একটি চালান পারেন সফল হয় একটি 30 শতাংশ হস্তক্ষেপ হার সঙ্গে, এবং একটি চালান সঙ্গে কোনো হস্তক্ষেপ পারেন সম্পূর্ণ ব্যর্থ হয়। তারা খুব ভিন্ন noise: হার চলে smoothly হাজার correlated ফ্রেম, সাফল্যের হার পরিচলন হাতে binary ফলাফল। উভয় লগ।

কত মূল্যায়ন trial আমি প্রয়োজন সাফল্যের হার মানে অন্তত?

আরও যে অনুভব যুক্তিসঙ্গত। সাধারণ approximation অধীন, 20 trial একটি সত্য 60 শতাংশ সাফল্যের হার বহন একটি মান ত্রুটি কাছাকাছি 11 শতাংশ পয়েন্ট, তাই একটি 10-পয়েন্ট আন্দোলন মধ্যে রাউন্ড indistinguishable থেকে noise; 50 trial আনা যে চিত্র প্রায় 7। যদি আপনি করতে পারেন না afford 50, রাখুন trial গণনা অভিন্ন সমস্ত রাউন্ড জুড়ে এবং ট্রিট ছোট আন্দোলন inconclusive।

যা মিশ্রণ অনুপাত প্রদর্শন করা সংশোধন আমি শুরু করা উচিত?

নথিভুক্ত শুরু বিন্দু হল IWR এর: পার্টিশন ডেটা হস্তক্ষেপ এবং অ-হস্তক্ষেপ নমুনা এবং আঁকা তাদের সমান অনুপাত, তাই সংশোধন অবদান রাখে অর্ধেক gradient যে কত ছোট ভগ্নাংশ ফ্রেম তারা। যদি আপনার সেটআপ পারেন না ওজন নমুনা, approximate এটি episode গণনা জুড়ে যখন সঙ্গ ডেটাসেট এবং রেকর্ড অনুপাত। প্রশিক্ষণ সংশোধন একা হয় বিকল্প নিয়ম আউট।

আমার হস্তক্ষেপ হার চলে আপ রাউন্ড পরে। হল রাউন্ড ব্যয়িত?

প্রয়োজনীয়তা না, কিন্তু চেক বিরক্তিকর ব্যাখ্যা প্রথম: না করেনি checkpoint আপনি চালিত ম্যাচ একটি আপনি প্রশিক্ষিত, না করেনি camera সূচকাঙ্ক বা মাউন্ট পরিবর্তন, না করেনি বস্তু প্লেসমেন্ট drift, ছিল সংশোধন শৈলী সামঞ্জস্যপূর্ণ। যদি সব চারটি পরিষ্কার এবং paired সাফল্যের হার সঙ্গে হ্রাস, সন্দেহ মিশ্রণ - খুব কম base প্রদর্শন বিরুদ্ধে সংশোধন, বা সংশোধন যা নিজে মধ্যে contradict। একটি খাঁটি regression অন্তর্গত লগ, না বিন।

পারেন আমি স্কিপ fixed মূল্যায়ন প্রোটোকল এবং শুধু দেখুন হস্তক্ষেপ হার?

শুধুমাত্র যদি আপনি গ্রহণ করেন আপনি পারেন না বলুন উন্নতি থেকে habituation। হার নির্ভর করে আপনার নিজের রিয়েল-টাইম থ্রেশহোল্ড stepping জন্য, এবং যে থ্রেশহোল্ড হ্রাস হিসাবে আপনি পায় ব্যবহার করতে policy এর ভিত্তি। হিমায়িত প্রোটোকল পরিমাপ আপনার থ্রেশহোল্ড পৌঁছাতে পারে না - taped চিহ্ন, একটি লেখা বাড়ি pose, fixed trial গণনা, criterion সিদ্ধান্ত করা রাউন্ড আগে। এটা অবশ্যই থাকা অপরিবর্তিত সমস্ত সিরিজ জুড়ে।

রাখুন লগ repository, না একটি নোটবুক: রাউন্ড দিন আলাদা, hardware পায় পুনর্নির্মাণ, এবং ব্যক্তি পড়া বক্ররেখা অক্টোবর হয় আপনি কোনো স্মৃতি সহ আগস্ট। ডকুমেন্টেশন FAQ কভার operational বিবরণ বাদ এখানে।

Ready for high-quality robotics data?

AY-Robots connects your robots to skilled operators worldwide.

Get Started