සරල DAgger මඟින් මිනිසුන්ගෙන් ඉල්ලා සිටී රොබෝ තවමත් ධාවනය වන අතරතුර තත්ත්වයන් ලේබල් කිරීමට. සැබෑ දෙවිරුතු මෙය අනিරාපදයි සහ දුර්වල ලේබල් නිපදවයි. ගේටකරන ඒකෝපිතයන් මෙම අන්ධ ලේබල්කරණය ප්රතිස්ථාපනය කරන්න ගේටෙකින් ශිල්පින්ට අල්ලාගත යුතු: HG-DAgger එකෙන් මිනිසුන්, SafeDAgger එකෙන් ආරක්ෂිතතා වර්ගීකරණයක්, EnsembleDAgger එකෙන් සමිතිවල අසમතිය, ThriftyDAgger එකෙන් අයවැයෙන් සීමිත නවත්ව තත්ත්ව තක්සේරුවක්. මෙම ලිපිය ඒවා සංසන්දනය කරයි ගේටෙ අයිතිකරගන්නේ කවුද ඒ, සිතුම් ඇතුළු කරන සංකේතය කුමක් සහ එක එකක වැයය කුමක් යි - සහ සත්ය බාහුවක් සමඟ සම්බන්ධයේ සිටින මිනිසුන්-ගේටකරන ස්වරූපය කිට්ටු.
ප්රතිනිර්මිත ප්රතිපත්තිය පරාජිතයි එහි පුහුණු දත්ත අවසන් වූ තැනින්. නිවැරදි කිරීම නම් දත්ත එකතු කිරීම ඉතිරි කිරීම ප්රතිපත්තියේ සිරස් තත්ත්ව ව්යාප්තිය යටින්, නිර්දේශකයාගේ වෙනුවට, එය DAgger සිදු කරන දෙයි සහ දත්ත සંකලනයට හඳුන්වා දිම පිටු සිටින්න පිටු සිටින්න. එය සරල ස්ফටික ස්ඵටිකයින්ගේ අවුස්කරවන කොටස විවෘත පත්ර ගිණුම් කරයි: ඩිඝ ධාවනය අතරතුර, විශේෂඥ දැනුම්වත් කළ යුතු තත්ත්වයන් සඳහා කුමක් කිරීමට ඉඩ දිම තිබිය යුතු, පිහිතුරුවීම් පිටුවෙන් නොවේ.
සිමුලේටරයෙන් ස්ක්රිප්ට විශේෂඥයෙක් නිදහස් වේ. සැබෑ බාහුවක් සිටින මේස මත එය නිදහස් එusado හෝ ආරක්ෂිතයි. HG-DAgger කර්තෘවරුන් එම විරෝධතා නිවැදිතවම ප්රකාශ කරයි: එවැනි නිරීක්ෂණ ක්රම "විශේෂඥයාගෙන් ක්රියාවලීමින් තිබිය යුතුයි සম්පූර්ණ පිහිතුරුවීම නොවී", එය "ආරක්ෂිතතාවයි සහ, මිනිසුන් විශේෂඥ ලෙස භාවිතා කරන විට, එකතු කරන ලද ලේබල්වල ගුණ අඩු කිරීමට බොහෝ සম්භාවිතයි ස්ফටිකයින්ගේ ක්රියාකාරකරණ ප්රමාද හේතුව" (Kelly et al., 2019). දෙවරක් මෙම වාක්යයින් සඟවී ඇති අතුරතුර: ප්රතිපත්තිය තත්ත්වයට ධාවනය විසිරී ගිය තැනට සඩවිල්ල අවසර දුන්න ස්ඳ දුරුක පිහිතුරු කිරීම, සහ එම අවදිතාවය සඟවුණු ලේබල්වලට විශේෂඥයෙක් නිර්මාණ කරන ලද දරුවා වඩා දුර්වල ඉතිරිකරයි. එක එක ප්රතිවාරදතාව පහත සඟවුණු ප්රතිවාර එකම ප්රශ්නය: පිහිතුරුවීම් පිටුවෙන් ගේටෙ තබන්න සහ කිසිවෙකු එය විවෘත කිරීම තීරණය කරතින් ඉඩ දෙන්න. ඔවුන් එම කිසිවෙකු අයිතිකරගන්නේ කවුද තෙරුවා.
කෙටි ස්ඵටිකය
- •ගේටකරන ඒකෝපිතයන් අන්ධ ලේබල්කරණය ප්රතිස්ථාපනය කරන්න ප්රතිපත්තිය පිහිතුරුවීම සහ විශේෂඥ පිහිතුරුවීම සඔවුසඩවිල්ල. ඒවා වෙනස්ව වෙන් කිරීම සිදු වන්නේ එම සඩවිල්ල අයිතිකරගන්නේ කවුද යි.
- •HG-DAgger මිනිසුන්ට සඩවිල්ල ලබා දෙයි සහ එකතු කරන්න දත්ත එකමුතු ගිණුම් කරයි පිහිතුරුවීම අතරතුර ඉවාසනයි.
- •SafeDAgger එයට ඇවුරුවීම ස්වයංක්රිય වර්ගීකරණයකට; EnsembleDAgger අවශ්ය අඩු සමිතිවල ඒකාධිකාරකම සහ විශේෂඥ ක්රියාවලිය අඩු අතුරු.
- •LazyDAgger ඉරක් එකතු කරයි එතරම් පිහිතුරුවීම පිටුවෙන් බඩිසඩවිල්ල නොවේ; ThriftyDAgger ගේටෙ උඩින් නවත්වතා හෝ ස්ඵටිකයින්ගේ අවස්ථාකරණ අවදිතාවයි නිරීක්ෂණ බිම්බතුවාගෙන.
- •Robot-gated සිතුම අවශ්ය fine-tuned VLA එක爱好-ශ්රේණි බාහුවක සාමාන්යයෙන් නැතිවේ: ක්රමිතක ප්රතිපත්තිය, ලාබාර්ගු සමිතිය, හෝ සුසම epistemic අනිශ්චිතතාව.
- •ගේටෙ ක්රමවේදයේ අඩකි. ඉන්ටරවェনશනු පෙන්ඩුරු එක පසුවට කුමක් සිදු විය යුතුද - මිශ්ර, බර, එකතු - තීරණය සිදු වන්නේ එම එක වටයට සිටින අවස්ථාවක් යි.
Human-gated සහ robot-gated: වෙන්කිරීම එම කරුණු
Interactive simulation learning එකට එක්ය සමීක්ෂණය තිබිය; Celemin සහ සඡවරුන් ඒවා ඉතුරු කරගෙන ගිය ඊට අතිරේක ප්රතිලාභ ප්රකාර, ඉතිරිකරවීම, ඉතිරි ආකෘතිය, භාවිත අවස්ථාව, ඉතිරිකරවීම සහ බිම්බතුවාගෙන. ඔබට ඉතිරිකරවීම නිශ්චයකරන්නට අවශ්ය වෙන්කිරීම සරල වෙයි ඕනෑම තැනින්, සහ මෑත කරුණුවලින් එය ඉතුරු නිශ්චයකරයි: එක ක්රමවේදයි human-gated එතරම් පිරිසර ඩිඝ එක තීරණය විසින් පිහිතුරුවීම, සහ robot-gated එතරම් agent එක තීරණය නිසා උපකාරයි ඉල්ලීම (Cai et al., 2025). සෙන්ටිමීටර එකතු එම දෙකට පරිවේෂණයි. බිම නැතිකරණ නිහිතයි පටලබුණ අතිරේක, human gate එක අවිරත ගුරුවිම් වැයකරයි, සහ robot gate එක පිටුවෙන් එම ගුරුවිම් ලබා දෙයි නම් - නමුත් එකමුතු එම සිතුම වල ඇතිවිය හැකිතාවයි, සහ එම සිතුම ගිණුම් සිදු කිරීම තමාගේ පරිසර ගිණුම් ප්රශ්නයි.
SafeDAgger: වර්ගීකරණයක් තමා පටයෙන් වෙනස්කරණය ඔබ
Zhang සහ Cho SafeDAgger (2016) යනු මෙම ගේටෙයිනි අතිශයින් පරණ වෙයි. නිරීක්ෂණ ক්රම බර යි, ඉතිරි දෙවෙනි, කුඩා ජාල - ආරක්ෂිතතා ප්රතිපත්තිය - නිරීක්ෂණ වැර්ත වේ සිටින්න කිසිසේ නුවණින්. එයට "ඉතිරිකරයි binary ලේබල් ඉතිරිකරන්න දක්ෂ ප්රතිපත්තිය සිටින පිටුවෙන් විවිධ ක්රම නිරීක්ෂණ නිසා". label එක නිරීක්ෂණ කරයි squared L2 විවිධතාව එක දෙස ප්රතිපත්තිවල ක්රියා පිටුවෙන් tau ඉතුරු, සහ වර්ගීකරණය ගැනී binary cross-entropy යටින්. ධාවනය එකට එම නිතිපතා තිරණයි තත්ත්වයෙන් ඉතිරි ධාවනය තීරණ හෝ නිරීක්ෂණ පිටුවෙන් භාවිතා තිබිය. abstract එක වාර්තා කරයි අඩු නිරීක්ෂණ විමසුම්වලින් මෝටර් සිම්පතේ එතෙක් convergence වේගවරණයි කර්තෘ විසින් ස්විකාර කිරීම ස්වයංක්රිය පාඨමාලා බලපෑම, බිම ඉතිරිකරවීමේ නිරීක්ෂණ දෝෂයි.
මරණ නිරීක්ෂණයෙන් පිටුවෙන්, අඩු වේ ප්රතිඵල එකතුවලින්. Training වර්ගීකරණයි අවශ්ය නිරීක්ෂණ ක්රමයි ඔබ තිබිය fitted, එය අනුමතი සිටින්න නිරීක්ෂණ වෙනත් විධාන එකතු. ඔබ නිරීක්ෂණ බිම කිසිසේ නුවණින් නිකේතනයෙන්, එම label set එක නිදහස් නොවේ සහ ක්රමවේදයේ ඉතිරි ගුණ තිබිය ගිණුම් සිදු කිරීම.
EnsembleDAgger: සැකයි සහ විෂමතාවයි, අවි
Menda, Driggs-Campbell සහ Kochenderfer (2019) ගේටෙ probabilistic ප්රශ්නයි. EnsembleDAgger "Gaussian Process එක අනුකූල කරයි neural networks එකේ ensemble එකෙන්" සහ කියවයි ensemble විෂමතාවයි confidence proxy බිම: විෂම විෂමතාවයි දෙස ප්රදේශයි fitted දත්ත වෙනස්කරණය, එතෙක් - ඉතිරි දක්ෂ පිටුවෙන් failures - සම්බන්ධතා අඩු තිබිය failures. බිම එක conjunction එක. learner එක තිබිය අවසර එකමුතු L2 විවිධතාවයි එක දෙස බිම එකේ mean ක්රියා සහ දක්ෂ ක්රියා පිටුවෙන් බිම තිබිය (discrepancy) සහ විෂමතාවයි එක දෙස බිම එකේ predicted ක්රියා පිටුවෙන් බිම තිබිය දෙවෙනි (doubt). එක එකතු, දක්ෂ පිහිතුරුවීම. බිම maximize එක learner එකේ share ක්රියා පිටුවෙන් පිහිතුරුවීම failures එක; පත්රිකාව වාර්තා කරයි ඉතිරි ආරක්ෂිතතාවයි සහ learning එක බිම DAgger ඒකෝපිතයන් පිටුවෙන් inverted pendulum එක සහ MuJoCo HalfCheetah එකින්.
එය silently disqualifies එක සම්පූර්ණ බිම hands-off පිරිසර. විවිධතාවයි බිම learner එකේ ක්රියා සහ දක්ෂ අවශ්ය දක්ෂ ක්රියා එම තත්ත්වයට, එම ක්ෂණයට. scripted දක්ෂ සඟවුණු, fine. human සඟවුණු, human එක තිබිය ක්රියා අවිරතව - නිවැදිතව බිම gated ඒකෝපිතයන් අපසරිතව ඇතිකිරීමට. doubt පදයි hands-off; conjunction එක නොවේ.
LazyDAgger: බඩිසඩවිල්ල නොකිරීමට ගැටගැසීම
Hoque සහ සඡවරුන් (2021) attacked එක වැයය එම සඩවිල්ල තමාගේ. එක එක intervention "අවිරතව ගිණුම් නිකේතනයට සිටින අනුටුවා, incurs බිම එක්ය එක්ය context switch බිම නිකේතනයට autonomous පිහිතුරුවීම, සහ අවශ්ය වේ ඉතිරි එක්ය එක්ය". ගේටෙ එක විවෘතයි සහ වසා දෙස දස විනාඩිය බිම තත්පරට එක්ය එක්ය autonomous share එක. LazyDAgger එක්ය SafeDAgger පිටුවෙන් asymmetric thresholds එක - harder ඉතුරි පිහිතුරුවීම එකට එක්ය එක් - එතරම් පද්ධතිය නිටෙසනොවේ oscillate බිම boundary එකතුවලින්. simulation එකින් එය "can reduce බිම context switches එක අතරතුර 60% SafeDAgger පිටුවෙන් 3 දුරස්ථ පිහිතුරුවීම කර්තව්ය බිම state-of-the-art ප්රතිපත්තිය performance එක"; fabric එකින් manipulation එක ABB සඟවුණු YuMi එය "reduces බිම context switches එක 60% එතරම් achieving එක 60% උපරිම success එක SafeDAgger පිටුවෙන් execution එක ඉතිරි".
ThriftyDAgger: නවත්වතා හෝ අවදිතාවයි, බිම බිම
ThriftyDAgger (Hoque et al., CoRL 2021) උනාගතු නිකේතනයේ බිම බිම ඉතිරි ප්රතිපත්තිය. එයි "uses එක learned switching ප්රතිපත්තිය solicits එක interventions එකට පිටුවෙන් states එක ඉතිරි (1) නවත්වතා, එහිදී robot ප්රතිපත්තිය තිබිය නිකේතනයට imitate බිම , හෝ (2) risky, එහිදී robot එක අඩු trust එක තුළ කර්තව්ය සම්පූර්ණතාවයි", නිකේතනයට නතුන metric එක estimating එම අවදිතාවයි. බිම බිම input එක, නොවේ outcome එක: ඔබ state කරයි කිරීමට බිම human එක ඉතිරි ඉතිරි බිම. applied එක execution එක ඉතිරි ක්රමවේදයේ "achieves එක 100% success එක එක simulation එක සහ real කර්තව්ය", සහ user එක අධ්යයනය දස සඳහා එක පිටුවෙන් පිහිතුරුවීම තුන්-robot එක පසුවා එක concentration කර්තව්ය වාර්තා එම "increases බිම මිනිසුන් සහ robot ප්රතිපත්තිය performance එක 58% සහ 80% පිටුවෙන් respectively බිම next best කර්තව්ය එතරම් reducing නිකේතනයට burden එක". බිම fleet එක දැඩිසර එක නිකේතනයට කර්තව්ය; Fleet-DAgger පසුවා formalised එක interactive fleet එක learning එක බහුවිධ robots සහ supervisors, proposing Return human Effort බිම quantity දුරස්තරයි.
HG-DAgger: human එකට ගේටෙ අල්ලාගතයි
Kelly et al. (2019) විපරීතයි. නිකේතනයට switching ප්රතිපත්තිය. learner එක rolled බිම "දුරස්ත දක්ෂ observes එම novice එක entered unsafe state space එක", එකවරම දක්ෂ පිහිතුරුවීම සහ guides පද්ධතිය ආපසු. එක එක aggregation බිම strict කොටස: "Expert ක්රියා labels එක එකවරම collected සහ added dataset එකට පිටුවෙන් මෙම recovery trajectories එක, පිටුවෙන් human දක්ෂ uninterrupted පිහිතුරුවීම පද්ධතිය." කිසිසේ labeled එතරම් human spectator එක.
එය නොවේ එතරම් දුරට. HG-DAgger පසුවා "learns safety threshold එක model-uncertainty-based අවදිතාවයි metric එක තිබිය පුළුවනු predict performance සම්පූර්ණ trained novice අවසරයි regions state space එක": එය logs අනිශ්චිතතාව learner එකට moments දක්ෂ intervened එක averaging එකට එක්ය fourth එම records එක, එහිදී learner එක වඩා resembles එකට final स्वরূपයි. එය නොවේ ගේටෙ robot operates නමුත් diagnostic කිරීමට finished ප්රතිපත්තිය expected හිමිකරගැනීම. අධ්යයනය covers simulated සහ real-world ධාවනය කර්තව්ය වාර්තා ඉතිරි performance බිම DAgger සහ behavior cloning එක.
එක පිටුවට line වෙනස්ව කුමක්ද counts label එක. Spencer සහ සඡවරුන් Expert Intervention Learning අනුගම්න "ඕනෑම amount දක්ෂ feedback, එතරම් intervention හෝ non-intervention, සඳහා තොරතුරු සිටින්න තිබිය state, optimality ක්රියා, හෝ අවි", formalised බිම constraint learner value ක්රියා සහ solved නිකේතනයට no-regret online learning එක. යටින් එම කියවනු, stretches එතරම් human watched සහ නොකරන weak positive බිම වඩා empty. EIL learns collision avoidance විනාඩිය දක්ෂ පිහිතුරුවීම.
ඒකෝපිතයන් side දෙස
| ක්රමවේදයේ | කවුද විවෘතයි ගේටෙ | සිතුම | අවශ්ය තිබිය | වාර්තා |
|---|---|---|---|---|
| DAgger (Ross et al., 2011) | කිසිසේ නුවණින් - learner සෑම දා ධාවනය | නිකේතනයට; දක්ෂ labels එක එක visited state | දක්ෂ නිකේතනයට label off-policy states නිසා නොවන පිහිතුරුවීම | නිකේතනයට-regret reduction බිම guarantees යටින් learner state distribution |
| HG-DAgger (Kelly et al., 2019) | human බලකරු | බලකරු judgement state unsafe | කිසිසේ watching, සහ clean handover පිහිතුරුවීම | Beats DAgger සහ behavior cloning පිටුවෙන් simulated සහ real ධාවනය කර්තව්ය; පසුවා learns risk threshold |
| SafeDAgger (Zhang & Cho, 2016) | robot එක | Binary වර්ගීකරණයක් L2 deviation බිම reference බිම tau | දක්ෂ queryable reference ප්රතිපත්තිය නිකේතනයට වර්ගීකරණයේ labels | Fewer නිරීක්ෂණ queries racing සිම්පතේ, faster convergence (නිකේතනයට තොරතුරු) |
| EnsembleDAgger (Menda et al., 2019) | robot එක | Ensemble විෂමතාවයි සහ දුර දක්ෂ ක්රියා, දුටුම් බිම බිම | දක්ෂ ensemble networks එතෙක් දක්ෂ ක්රියා එක එක තිබිය | ඉතිරි ආරක්ෂිතතාවයි සහ learning පිටුවෙන් pendulum සහ HalfCheetah |
| LazyDAgger (Hoque et al., 2021) | robot එක, hysteresis සඟවුණු | SafeDAgger සිතුම එකතු එකතු ඉතිරි බිම thresholds | කුමක්ද SafeDAgger අවශ්ය, එතෙක් දෙවෙනි බිම එකට tune | ~60% අඩු බිම context switches පිටුවෙන් 3 කර්තව්ය; 60% උපරිම නිකේතනයට YuMi fabric |
| ThriftyDAgger (Hoque et al., 2021) | robot එක, බිම බිම | Novelty, හෝ estimated අවදිතාවයි නිකේතනයට කර්තව්ය සම්පූර්ණතාවයි | ඉතිරි learned අවදිතාවයි estimator සහ stated intervention බිම | 100% නිකේතනයට කර්තව්ය execution ඉතිරි; user අධ්යයනය (N=10): 58% සහ 80% gains බිම next-best |
| EIL (Spencer et al., 2020) | human එක - non-intervention counts එකටත් | Intervention සහ එකේ absence බිම constraints value ක්රියා | බිම බිම online no-regret learning එක value constraint | Collision avoidance විනාඩිය දක්ෂ පිහිතුරුවීම |
කුමක්ද එක බිම ගේටෙ buys, සහ කුමක්ද charges එක
පිටු "needs" column සහ pattern බිම falls බිම: එක බිම robot-gated සිතුම නිකේතනයට proxy ඇතිකරගැනීම තිබිය, සහ එක බිම proxy අයිතිකරගත යුතු ගිණුම්.
- Discrepancy සිතුම තිබිය (SafeDAgger, LazyDAgger, අඩක් EnsembleDAgger) අවශ්ය reference ප්රතිපත්තිය. එක්ය scripted දක්ෂ තිබිය, එකින් interesting ගිණුම් solved, හෝ human ඉතිරිකරයි ක්රියා පසුවෙන් එතරම් දුර තිබිය පුළුවනු computed.
- Doubt සිතුම තිබිය calibrated epistemic අනිශ්චිතතාවයි. ensemble කුඩා පිහිතුරුවීම networks approximates එය; ensemble තුන්-billion-parameter දේශන-බිම-ක්රියා ආකෘතිය memory සහ බිම ගිණුම්.
- Novelty සහ අවදිතාවයි සිතුම තිබිය learned කර්තව්ය සම්පූර්ණතා estimator, ගැනීමට සාපත්තර successful සහ failed rollouts. කර්තව්ය තිබිය ඉතිරි getting කර්තව්ය, එම දත්ත නොවේ තිබිය එක තුන්.
- human ගේටෙ තිබිය ගුරුවිම් සහ කිසිසේ නුවණින් - එක බිම එකවරම තිබිය day එක, කිසිසේ නුවණින් architecture, නිකේතනයට ඉතිරි ආකෘතිය තිබිය train.
- නිකේතනයට robot ගේටෙ removes human පිටුවෙන් කාමරය. ඒවා reduce බිම බිම human තිබිය act, නිකේතනයට එතෙක් ඒවා තිබිය present.
තිබිය quieter නිකේතනයට කුමක්ද ගේටෙ නිපදවයි. robot ගේටෙ firing mid-trajectory තිබිය බිම කිසිසේ නුවණින් moving arbitrary pose එක. human ගේටෙ lets operator pick නැණෙතින් - පසුවා reach, පෙර grasp, නිකේතනයට හරහා swing. recovery segments විනාඩි දුටුම් නිකේතනයට නොවේ සමාන clean, සහ එම segments තිබිය බිම සම්පූර්ණ product වටයට.
ඇයි human-gated ස්වරූපයි wins සැබෑ hardware එකින්
එය engineering තර්කය, නිකේතනයට බිම බිම ප්රතිඵල - නිකේතනයට පත්රිකාව තිබිය runs බිම five gates එක එක manipulator සඟවුණු ප්රතිපත්තිය class එක. එය rests පිටුවෙන් points.
පිටුවෙන්, බලකරු තිබිය තිබුණු anyway. කිසිසේ නුවණින් leaves SO-100 බාහුවක ධාවනය unattended අඩුවෙන් objects එය තිබිය knock. එකවරම කිසිසේ watching, බිම marginal පිහිතුරුවීම giving දුරස්ත බිම බිම near zero; ඇතිකරගැනීම calibrated අවදිතාවයි estimator තිබිය project.
දෙවෙනි, අනිශ්චිතතාවයි තිබිය තිබිය තිබිය පිටුවෙන් modern ආකෘතිය නුවණු බිම ඒ ක්ය. diffusion හෝ බිම-matching head නිපදවයි බලයි sampled බිම ක්රියා chunks, සහ බලයි reflects බිම multimodality එම head trained represent, නිකේතනයට epistemic ඉතිරි කිසිසේ නුවණින්. EnsembleDAgger doubt පදයි uses ensemble නිවැදිතවම capture බිම latter. දුටුම් පෙනේ එම එක අංකය සහ නිකේතනයට; එම ක්රියා chunking සහ බිම matching entries ආවරණ කිරීමට ඉතිරි heads emit ක්රියා පිටුවෙන්.
තුන්, failures ඔබ කිරීමට manipulation නුවණු නුවණු semantic වඩා statistically බිම. ආකෘතිය closing gripper දෙක centimetres early, හෝ reaching confidently දෙස ඔබ එකින් දෙක සමාන එක, නිකේතනයට තිබිය බිම high-variance state එක - එය confident සහ ඉතිරි. නිකේතනයට බිම variance බිම බිම catches එට; කිසිසේ watching එකට catches එට immediately.
සිටින්න, label සුවිශේෂතාවයි - බිම බිම HG-DAgger බිම, සහ එම එකවරම බිම often අඩු කරන. labels collected එතරම් human uninterrupted පිහිතුරුවීම beats labels narrated බිම moving පද්ධතිය. එක බිම ඉතිරි corrective දත්ත worth aggregating, බිම burden බිම බිම lies automated ගේටෙ.
බිම තිබිය flips එකවරම බලකරු ඉතිරි බිම බිම robots - බිම regime ThriftyDAgger user අධ්යයනය සහ Fleet-DAgger formalisation target. බිම ගලනය, human ගුරුවිම් තිබිය බිම scarce සහ imperfect allocation beats නිකේතනයට. බිම එකවරම බාහුවක එක desk තිබිය නිකේතනයට එම බිම.
human-gated එක බිම, දැඩි බිම wired බිම
Takeover බිම running inference, per-frame intervention flags පිටුවෙන් corrected segments, curating එක එක run දුරස්ට corrections හෝ evaluation, composing mixed dataset පිටුවෙන් sources ඒවා pick, සහ continuing training බිම existing checkpoint බිම එක built වඩා scripted hand. Takeover ක්රියා බිම leader බාහුවක, හෝ නිකේතනයට keyboard සහ sliders එතෙක් තිබිය නිකේතනයට එකවරත්.
බිම කිරීමට DAgger බිම බිම runsබිම ගේටෙ අඩකි ක්රමවේදයේ; දත්ත හැසිරවීම බිම බිම අඩකි.
ගේටෙ තීරණයි බිම frames human drove, නිකේතනයට කුමක්ද බිම දුරස්තරයි, සහ එම දෙවෙනි තීරණයි එහිදී rounds නුවණු බිම wasted. දුටුම් බිම බිම එක තිබිය D එකින් DAgger stands සඳහා: aggregate, නිකේතනයට replace. Fine-tuning එකට checkpoint purely එකට කිසිසේ නුවණින් hundreds correction frames gives ඉතිරි ආකෘතිය ඔබ seen බිම කිසිසේ නුවණින් නමුත් recoveries සහ forgotten බිම nominal තරඌජෙකතරයි.
දෙවෙනි බිම එක තිබිය එම intervention frames නිකේතනයට ordinary frames. Mandlekar et al. built remote-teleoperation පද්ධතිය සඳහා 6-DoF manipulation letting operators monitor policies සහ take බිම නිකේතනයට, නමුත් trained iteratively එක කර්තව්ය ඔබ "encourages බිම ආකෘතිය තිබිය බිම කිරීමට traverse bottlenecks හරහා intersections එක"; බිම trained එම දත්ත outperformed agents trained එක බිම සमान බිම ordinary demonstration samples. Sirius බිම pushes idea deployment, "re-weighing තිබුණු samples බිම approximated human trust සහ optimizing policies බිම weighted behavioral cloning". දුටුම් අවශ්ය per-frame බිම marker කුමක්ද ඉතිරි human-driven, එය ඇයි එම intervention flag matters බිම වඩා තිබිය.
තුන්, automatic mixing තිබිය trap. composed dataset කිසිසේ නුවණින් sources ඒවා තිබිය enumerate නිකේතනයට එකවරත් ඉතිරි එකට debug එකවරම බිම next round gets වඩා. බිම platform compose පිටුවෙන් explicit සඳහා එම හේතුව - original dataset තුනින් corrections, episode selection per source, සහ බිම ප්රතිඵල තිබිය ordinary LeRobot dataset ඔබ syncs සහ trains බිම otherwise; බිම dataset documentation covers බිම ගිණුම්.
| පිටුවෙන් එක වටයට | කුමක්ද එය නිපදවයි | බිම common එක දිසටින් එය goes එකට ඉතිරි |
|---|---|---|
| Run inference බිම recording පිටුවෙන් | බිම run යටින් ආකෘතිය එක නිවසි බිම distribution | Recorded බිම plain teleoperation, losing එම ආකෘතිය ඉතිරි ධාවනය |
| Take බිම නිකේතනයට | Correction segments බිම per-frame intervention flag | Correcting cosmetic wobble, teaching style වඩා recovery |
| Curate එක එක episode | Corrections, evaluation, හෝ discards | Keeping සෙන්ටිමීටරවල; botched takeover costs බිම episode ඉතිරි worth |
| Sync බිම corrections | දක්ෂ versioned dataset අඩුවෙන් original | Corrections එම නිකේතනයට leave local ඩිවයිස් |
| Compose බිම mixed dataset | Original තුනින් corrections, explicit selection | Silent auto-mixing, එතරම් බිම පසුවා regression තිබිය traced බිම source |
| Continue බිම checkpoint | බිම checkpoint initialized බිම previous එකවරත් | Expecting optimizer resume; බිම weights initialize ආකෘතිය, ඒවා නිකේතනයට restore optimizer state |
Setting ගේටෙ බිම කිසිසේ නුවණින් තිබිය hold
"human තීරණයි" තිබිය නිකේතනයට specification. දෙක operators බිම බිම thresholds නිපදවයි incomparable rounds, සහ drifting බිම තිබිය නිපදවයි trend ඉතිරි බිම read. බිම triggers පිටුවෙන් බිම පළමු run.
- Name බිම conditions ඔබ විවෘතයි බිම ගේටෙ - ප්රවේශ බිම fixed margin, gripper closing පිටුවෙන් කිසිසේ නුවණින්, joint drifting එක බිම limit එක, stall බිම තත්පරය හෝ දෙකින් - සහ keep බිම list unchanged සඳහා බිම වටයට.
- Name කුමක්ද නිකේතනයට විවෘතයි එම. Overshoot බිම ආකෘතිය recovers බිම එක itself training බිම සිතුම්; taking බිම තිබිය deletes recovery එයි දැනටත් knows.
- Take බිම early බිම clean handover, හස්ත බිම state recoverable.
- Log ඇයි ඒබිම තිබිය බිම, per එක episode. තුන් rounds පසුවා එම බිම බිම ඉතිරි record එතෙක් whether එම failure එකට returns.
- Keep cameras, කර්තව්ය එකතු සහ operator constant එක එකතුවෙන් rounds. Change එකවරත් සහ බිම numbers stop බිම being comparable.
Mechanically බිම handover තිබිය දෙකේ variants. බිම leader බාහුවක, බිම leader තිබිය reach බිම follower current pose පෙර torque transfers, හෝ බිම බාහුවක jumps; එම alignment move බිම least-tested කොටස එකවරත් hardware එකින්. පිටුවෙන් leader බාහුවක බිම takeover manual බිම පළමු keypress: බිම follower held සහ බිම operator nudges එකවරත් joint එකට joint බිම keyboard හෝ drags බිම sliders, බිම server-side එකතු clamps keeping එකවරත් input කුඩා - දෙක degrees per keypress, එක handful per slider update, ඉතිරි තිබිය large පිටුවෙන් held pose තිබිය කිරීමට ඉතිරි strip බිම servo එක. බිම step-by-step version බිම key bindings තිබිය එම බිම walkthrough එක DAgger වටයට SO-100; background එකතු දුටුම් teleoperation modes තිබිය එම teleoperation docs සහ බිම leader-follower entry.
Reading එතෙක් ගේටෙ තිබිය නිකේතනයට එකිනෙකට
බිම metric බිම human-gated වටයට තිබිය බිම intervention rate එක: intervention frames divided බිම run. එයි තිබිය එක බිම job එක - එතෙක් එබිම නිකේතනයට fall එකතු rounds, බිම වටයට bought නිකේතනයට කිසිසේ නුවණින්, සහ බිම next එකට එකවරත් තිබිය change එකට එකිනෙකට වඩා ඉතිරි දත්ත amount.
එම තිබිය biased metric සහ ඉතිරි තිබිය කිරීමට ඉතිරි. එම measures operator බිම බිම බිම තුමා competence එක, එය ඇයි බිම trigger list stays fixed; operator relieves බිම session නිර්මාණ නිපදවයි falling curve බිම කිසිසේ නුවණින් පසුවා එම. එම තිබිය ignores severity එක - දස frames බිම stop collision සහ දස බිම nudge grasp පෙනේ identical. Pair එම බිම fixed evaluation set නිකේතනයට correction දත්ත ඉතිරි drawn. බිම පිටුවේ මත measuring DAgger බිම බිම එම works බිම evaluation design, ඉතිරි කිරීමට keep evaluation episodes බිටුවෙන් බිම training mix.
- Works එකතු day එකවරත්, පිටුවෙන් ඕනෑම බිම ආකෘතිය architecture, නිකේතනයට ඉතිරි ආකෘතිය බිම calibrate
- Catches confident-and-wrong failures එකතු නිකේතනයට බිම variance බිම detects
- Produces corrections එකතු recorded එතරම් operator full පිහිතුරුවීම, එකතු බිම නැණෙතින් ඒවා picked
- Yields per-frame බිම marker එම intervention-weighted methods බිම IWR සහ Sirius බිම consume
- Costs අවිරත බිම; එම නිකේතනයට scale බිම එකවරත් බිම බිම robots
- Depends එකතු operator consistency එක - drifting බිම බිම corrupts බිම intervention rate
- Produces නිකේතනයට අවදිතාවයි ආකෘතිය එකවරත්; HG-DAgger learned බිම සහ ThriftyDAgger estimator තිබිය ඉතිරි යන්ත්රවලි
- Counts එකතු frames, නිකේතනයට බිම consequences
- Cannot rescue ආකෘතිය කිසිසේ failure එකතු upstream පිහිතුරුවීම, බිම කිසිසේ නුවණින් swapped එකතු camera හෝ mislabelled කර්තව්ය string
Open එකතු questions worth තිබිය බිම view
බිම benchmarks තිබිය දුර්වල. Spencer සහ සඡවරුන් examined එකට එම used බිම test එකතු imitation එකතු learning එකතු approaches සහ found එකට ඒවා "realizable සහ simple සහ තුමා insufficient සඳහා capturing එකතු බිම දුර බිම regimes බිම error බිම compounding තිබිය බිම real-world තීරණයි making ගිණුම් හැකි" - සහ, බිම surrounding එකතු literature, found plain behavior cloning තිබිය well එකතු ඒවා කර්තව්ය. එම තිබිය ඉතිරි බිම skeptical පිටුවෙන් ඕනෑම ranking DAgger එකතු ඒකෝපිතයන් resting එකතු එම නිකේතනයට, ඉතිරි කිසිසේ numbers බිම table එකතු බිම.
Robot බිම gates එකතු බිම large එකතු policies නිකේතනයට solved එකටත්. බිම AIM බිම work replaces බිම අනිශ්චිතතාවයි බිම එකතු Q-function එකතු mimicking බිම human intervention බිම සහ reports 40% ඉතිරි බිම take-over cost සහ learning efficiency එකතු බිම ThriftyDAgger එක - එකතු continuous සහ discrete පිහිතුරුවීම, නිකේතනයට පිටුවෙන් දේශන-බිම-ක්රියා ආකෘතිය driving manipulator. එතෙක් ඕනෑම එම බිම gates බිම transfers බිම fine-tuned VLA නිකේතනයට open. බිම survey එකතු සිටින්න: බිම field terminology සහ structure නිකේතනයට unified එකතු එක literature, එම methods hard බිම compare. බිම ඒබිම බාහුවක, ඒබිම logs තිබිය බිම බිම හුඩුම තිබිය.
Is බිම HG-DAgger තිබිය really DAgger එතෙක් human එකවරම labels පිටුවෙන් intersections එක?▾
එම keeps බිම කොටස එම matters එක - දත්ත collected යටින් බිම state distribution එම learner induces, aggregated බිම කුමක්ද come සඳහා පෙර - සහ drops බිම කොටස එම නිකේතනයට survive බිම contact hardware. Kelly et al. present එකතු එම variant; බිම 2011 බිම no-regret බිම guarantee නිකේතනයට carry unchanged.
Can බිම use බිම robot gate පිටුවෙන් fine-tuned VLA ආකෘතිය පිටුවෙන් SO-100?▾
Not straightforwardly. SafeDAgger වර්ගීකරණයි needs බිම queryable reference ආකෘතිය ඒබිම හිමිකරගන්නේ. EnsembleDAgger needs බිම ensemble, එම නිකේතනයට බිම multi-billion-parameter ආකෘතිය නිකේතනයට කිසිසේ තිබිය තුන් copies එකතු එකතු memory එකතු එතෙක් ඒවා inference cost. ThriftyDAgger needs බිම අවදිතාවයි estimator එකතු fitted එකතු successes බිම සහ failures එකතු එම නිකේතනයට පෙර ඒබිම first rounds.
How long තිබිය එකවරත් takeover එක?▾
Long එකතු reach තත්ත්වයි බිම ආකෘතිය තිබිය continue බිම, සහ නිකේතනයට බිම longer: extended තිබුණු takeovers බිම run බිම demonstration session සහ flood බිම correction set බිම බිම nominal බිම. LazyDAgger finding cuts බිම බිම දිසටින්ත් - බිම බිම short switches තිබිය ඒවා cost.
Should බිම train එකටවල පිටුවෙන් බිම corrected segments එක?▾
No එක - එම තිබිය බිම බිම බිම common දිසටින් බිම waste වටයට. Model fine-tuned පිටුවෙන් recoveries තිබිය seen බිම කිසිසේ නුවණින් නමුත් recoveries. Mix corrections බිම original දත්ත බිම එකතු sources ඉතිරි explicitly; බිම go වඩා, look බිම intervention-weighted approaches බිම IWR හෝ Sirius, එම up-weight බිම human-driven frames එකතු වඩා isolating ඒවා.
What එතෙක් බිම intervention rate නිකේතනයට fall පසුවා වටයට?▾
Take එකතු එම එකතු face වටයට: බිම වටයට නිකේතනයට help. පෙර එකතු එකතු corrections, check බිම cheaper explanations එක - තිබිය බිම operator බිම drift, තිබිය බිම corrections cosmetic, තිබිය බිම composed දත්ත actually contain ඒවා, තිබිය බිම training initialized බිම intended checkpoint. බිම වටයට එකතු silently started බිම base ආකෘතිය පෙනේ නිවැදිතවම වටයට එකතු failed learn.
Does non-intervention carry තොරතුරු?▾
Under Expert Intervention Learning, yes: stretches එතරම් බලකරු watched සහ නිකේතනයට act බිම read weak බිම බිම ඔබ එම තත්ත්වයි සහ ක්රියා තිබිය acceptable, formalised බිම constraint බිම value ක්රියා. බිම බිම practical pipelines, ඉතිරි එකතු එක, mark නිකේතනයට කුමක්ද බිම human drove.
සඳහා එකවරත් බාහුවක එක desk බිම තීරණයි made: hold ගේටෙ තිබිය, write පිටුවෙන් කුමක්ද විවෘතයි එම, සහ ඉතිරි බිම දැඩිවිම බිම දත්ත හැසිරවීම පසුවා එකට වඩා පිටුවෙන් automating බිම සඩවිල්ල. බිම platform side described එකතු එකතු බිම DAgger බිම page, ඉතිරි options එකතු බිම පිටුවෙන් බිම family යටින් training සහ pricing. සඳහා background, start එකතු බිම imitation learning සහ imitation learning එකතු පිටුවෙන් SO-100; සඳහා බිම first run, run එකතු ඒබිම first ආකෘතිය තිබිය බිම කෙටි බිම.
Sources
- Ross, Gordon, Bagnell (AISTATS 2011): A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning
- Kelly, Sidrane, Driggs-Campbell, Kochenderfer (ICRA 2019): HG-DAgger — Interactive Imitation Learning with Human Experts
- Zhang, Cho (2016): Query-Efficient Imitation Learning for End-to-End Autonomous Driving (SafeDAgger)
- Menda, Driggs-Campbell, Kochenderfer (IROS 2019): EnsembleDAgger — A Bayesian Approach to Safe Imitation Learning
- Hoque et al. (2021): LazyDAgger — Reducing Context Switching in Interactive Imitation Learning
- Hoque, Balakrishna, Novoseller, Wilcox, Brown, Goldberg (CoRL 2021, PMLR 164:598-608): ThriftyDAgger — Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning
- Hoque et al. (2022): Fleet-DAgger — Interactive Robot Fleet Learning with Scalable Human Supervision
- Spencer et al. (2020): Learning from Interventions — Human-robot interaction as both explicit and implicit feedback (RSS 2020)
- Spencer et al. (2021): Feedback in Imitation Learning — The Three Regimes of Covariate Shift
- Mandlekar et al. (2020): Human-in-the-Loop Imitation Learning using Remote Teleoperation
- Liu, Nasiriany, Zhang, Bao, Zhu (2022): Robot Learning on the Job — Human-in-the-Loop Autonomy and Learning During Deployment (Sirius)
- Celemin et al. (2022): Interactive Imitation Learning in Robotics — A Survey
- Cai, Peng, Zhou (2025): Robot-Gated Interactive Imitation Learning with Adaptive Intervention Mechanism
- LeRobot — making AI for robotics more accessible with end-to-end learning (Hugging Face)
Ready for high-quality robotics data?
AY-Robots connects your robots to skilled operators worldwide.
Get Started