
Kiwango cha kuingilia - fremu za kuingilia zikigawanywa na fremu za zoezi (run) - ndiyo ishara ya maendeleo iliyo rahisi zaidi na ya kweli inayopatikana katika mzunguko wa DAgger unaodhibitiwa na binadamu. Makala hii inaufafanua ili watu wawili wapate thamani ile ile, inaonyesha jinsi ya kuurekodi, na inapitia njia nne zinazoweza kukupotosha: uzoefu wa mwendeshaji unaomfanya azoee (operator habituation), mpangilio wa tathmini unaotelezea, kufunza mfumo kwa kutumia marekebisho tu, na binadamu anayefanya marekebisho tofauti Jumanne kuliko Jumatatu.
Raundi ya DAgger inahisi yenye tija ukiwa ndani yake. Unaendesha sera, unachukua udhibiti inapokosea kushika kitu, unahifadhi marekebisho, unafunza tena, na zoezi linalofuata linaonekana - ungeapa - kuwa laini kidogo zaidi. Raundi mbili baadaye huwezi kusema kama chochote kimebadilika, kwa sababu "laini kidogo zaidi" si kipimo.
Mzunguko unahitaji nambari moja kwa kila raundi, na katika mzunguko unaodhibitiwa na binadamu nambari hiyo ni karibu bure: sehemu ya zoezi ambapo wewe ndiye uliokuwa na udhibiti badala ya sera. Makala hii inaifafanua ili watu wawili wapate thamani ile ile, inairekodi, inasoma mkondo unaotokana nayo, na inataja njia nne zinazokupotosha inapokuwa peke yake. Kwa nadharia inayodhaniwa na sehemu hii, angalia ufafanuzi wa DAgger na aina inayodhibitiwa na binadamu; mfano wa vitendo unaolingana nao ni kuendesha mzunguko wa DAgger kwenye SO-100.
Toleo fupi
- •Kiwango cha kuingilia = fremu za kuingilia / fremu za zoezi. Fremu, si vipindi, na kigawanyo kinajumuisha fremu ulizotumia kufanya marekebisho.
- •Mkondo tambarare katika raundi tatu unamaanisha raundi hizo hazileti faida yoyote - badilisha mchanganyiko, kituo cha ukaguzi, au kazi badala ya kukusanya raundi ya nne.
- •Kiwango cha kuingilia kinachoshuka si sawa na kiwango cha mafanikio kinachopanda. Kizingiti chako cha kuingilia kinateleza chini kadiri imani inavyoongezeka.
- •Bila itifaki ya tathmini iliyogandishwa - mikao ile ile ya kuanzia, vitu, kamera, idadi ya majaribio - unachopima ni chumba.
- •Kufunza kwa kutumia marekebisho pekee kunapotosha mgawanyo wa hali. Jibu la IWR: chukua sampuli za kuingilia na zisizo za kuingilia kwa uwiano sawa.
Kwa Nini Raundi Inahitaji Nambari Kabisa
DAgger ipo kwa sababu ya tatizo la mgawanyo, na matatizo ya mgawanyo hayaonekani kwa jicho. Ross na Bagnell walionyesha kuwa kujifunza kwa kuiga kwenye seti thabiti ya maonyesho kunasababisha makosa kujilimbikiza na kikomo cha majuto (regret bound) kinachoongezeka kwa mkondo wa mraba katika upeo wa muda: mara tu mjifunzaji anapoacha hali zilizotembelewa na mwonyeshaji, hakuna kitu katika data kinachomwambia jinsi ya kurudi. DAgger inatatua hili kwa kurudia-rudia - endesha sera, weka lebo kwenye hali inazozitembelea, kusanya pamoja, funza tena - jambo ambalo Ross, Gordon na Bagnell wanalielezea kama upunguzaji kuwa kujifunza mtandaoni bila majuto.
Uwekaji huo wa mfumo una tokeo ambalo watu huwa wanalipuuza. Uhakikisho huo unahusu mfuatano wa sera katika marudio, si zoezi moja mahususi. Hausemi lolote kuhusu kama yako raundi ya tatu ilisaidia. Njia pekee ya kujua ni kupima kila marudio. Kelly na wenzake walianzisha HG-DAgger kwa sababu DAgger ya kawaida inamwomba mtaalamu lebo za vitendo wakati mwanafunzi bado ana udhibiti, jambo ambalo makala hiyo inahoji kuwa linaweza kupunguza usalama na, kwa wataalamu wa kibinadamu, kuna uwezekano wa kupunguza ubora wa lebo kutokana na uchelewaji wa kiendeshaji unaohisiwa. HG-DAgger pia inajifunza kizingiti cha usalama kwa kipimo cha hatari kinachotegemea kutokuwa na uhakika wa mfano, na inaripoti utendaji bora zaidi kuliko DAgger na uigaji wa tabia katika kazi ya udereva. Haichapishi idadi za kuingilia; hizo unazizalisha wewe mwenyewe.
Kufafanua Kiwango Ili Watu Wawili Wapate Nambari Ile Ile
Fafanuzi ni mstari mmoja: fremu za kuingilia zikigawanywa na fremu za zoezi. Kila kitu kigumu kinajificha katika kile kinachohesabiwa kuwa fremu na kile kinachohesabiwa kuwa zoezi.
Fremu, Si Vipindi
Kuhesabu vipindi vyenye angalau kuingilia kimoja hakuna maana: vipindi kumi vyenye msukumo mmoja mmoja na vipindi kumi ambavyo uliendesha asilimia themanini vyote vinatoa "10/10". Idadi ya fremu inavitofautisha, na huo ndio undani ambao urekodi tayari unao - katika muundo wa seti ya data ya LeRobot kila hatua ya wakati ni safu mlalo, hivyo alama ya kuingilia ni safu wima moja ya boolean karibu na hali na kitendo. Hapa inaandikwa kwa kila fremu mara tu udhibiti unapochukuliwa na kufutwa udhibiti unaporejea.
Kigawanyo Kinajumuisha Marekebisho
Vigawanyo viwili vinaweza kutetewa - jumla ya fremu za zoezi, au fremu ambazo sera iliendesha kwa kujitegemea - na vinatofautiana vibaya sana kwenye viwango vya juu vya kuingilia. Chukua udhibiti kwa fremu 400 kati ya 1000 na cha kwanza kinatoa asilimia 40, cha pili asilimia 67. Kulinganisha raundi moja iliyopimwa kwa njia ya kwanza dhidi ya inayofuata iliyopimwa kwa njia ya pili ndiyo jinsi maboresho ya kweli yanavyopotea. Tumia jumla ya fremu na usirudie kubadilisha uamuzi huo katikati ya mfululizo.
Amua Mara Moja Nini Kinatokea kwa Fremu za Ukabidhi
Daima kuna mshono. Udhibiti unapokabidhiwa, fremu fulani hazimilikiwi na upande wowote: mkono unashikiliwa, kiongozi kinapangiliwa, urekodi umegandishwa. Katika mfumo huu fremu hizo za ukabidhi zinabaki kwenye mkondo ghafi na hazingii kamwe kwenye kipindi kilichochambuliwa - si tabia ya sera wala marekebisho yanayostahili kufunzia. Hesabu mshono kwa njia ile ile kila raundi: kwa 30 Hz, uchukuaji wa udhibiti mara sita wenye mshono wa sekunde mbili kila mmoja ni fremu 360, za kutosha kuhamisha nukta moja ya asilimia.
Fremu au vipindi; jumla ya zoezi au zile za kujitegemea pekee; fremu za ukabidhi ndani au nje. Lolote kati ya matatu hayo likibadilishwa kimya kimya kati ya raundi linafanya mkondo kuwa hauna maana. Andika yote matatu.
Kuirekodi Ili Nambari Iendelee Kuwepo Baada ya Kikao
Kipimo kilichopo kwenye paneli ya hali ya mchakato unaoendelea ni usomaji tu: kinatoweka wakati wa kuanzisha upya na hakiwezi kuchorwa. Mstari mmoja wa kuongeza tu kwa kila zoezi unashughulikia mfululizo mzima - ikiwa ni pamoja na kituo cha ukaguzi gani ulichoendesha, kwani hicho kinabadilika kila raundi na kuvichanganya kunabatilisha kile kinachofuata.
{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
"frames": 5412, "intervention_frames": 611, "rate": 0.113,
"takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
"handover_frames": "excluded", "episodes_kept_as_correction": 5,
"train_mix": {"base_demos": 120, "corrections": 41},
"eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}Sehemu mbili zinabeba uzito. train_mix ndicho ulicholisha kazi ya mafunzo inayofuata; bila hicho hakuna kinachoweza kuhusishwa. eval_protocol inataja jaribio thabiti ulilofanya baadaye, na ndiyo sehemu inayoachwa wazi mara nyingi zaidi. Katika kokpiti ya ay-robots hali ya uchukuaji udhibiti inaripoti idadi ya fremu za kuingilia za kikao kinachoendelea, hivyo urekodi ni unakili tu badala ya uwekaji vyombo; hati za seti ya data zinaeleza mahali safu wima za kila fremu zinapoishia.

Kusoma Mkondo: Raundi Tatu, Hukumu Moja
Raundi tatu ndizo kiwango cha chini kabisa cha kupata usomaji, kwa sababu nukta mbili daima ni mstari. Jedwali lililo hapa chini ni kiolezo cha uhasibu chenye nambari za mfano, si vipimo kutoka zoezi lolote halisi. Unachotafuta ni upungufu unaoendelea unaolingana na ongezeko la mafanikio katika jaribio thabiti.
| Raundi | Kituo cha ukaguzi kilichoendeshwa | Fremu | Fremu za kuingilia | Kiwango | Mafanikio (kati ya 20) |
|---|---|---|---|---|---|
| 0 (msingi) | sera ya msingi | 5 900 | 1 380 | 23.4 % | 7 |
| 1 | kutoka mchanganyiko wa raundi 0 | 5 610 | 980 | 17.5 % | 10 |
| 2 | kutoka mchanganyiko wa raundi 1 | 5 412 | 611 | 11.3 % | 11 |
| 3 | kutoka mchanganyiko wa raundi 2 | 5 380 | 598 | 11.1 % | 12 |
Raundi ya kwanza na ya pili zinafanya kazi. Raundi ya tatu haifanyi: asilimia 11.3 dhidi ya 11.1 iko ndani ya mwelekeo wa mabadiliko kati ya zoezi na zoezi wa kitu chochote kinachopimwa kwenye mkono halisi, na raundi ya nne yenye marekebisho yale yale inatumia mchana mzima bure. Sehemu tambarare inasema badilisha kitu cha kimuundo.
- Kushindwa kulikobaki hakuwezi kurekebishwa kwa uendeshaji wa mbali - kitu kiko nje ya ufikiwaji, jiometri ya kishikio, kiungo kilichofikia kikomo chake. Hakuna data ya marekebisho inayoweza kurekebisha ukuta wa kinematiki.
- Marekebisho ni machache mno dhidi ya seti ya data ya msingi kuweza kuhamisha upinde, na hakuna kinachoyapa uzito.
- Marekebisho yanapingana yenyewe kwa yenyewe, hivyo sera inapatanisha mikakati miwili na kutua kati yao.
- Chanzo cha kushindwa kiko juu ya mkondo: kamera imesogea, mwangaza umebadilika, mwonekano wa kifundo cha mkono hauendani tena na mafunzo.
- Kazi hii imefikia kikomo cha juu cha aina hii ya sera kwenye vifaa hivi, na hatua inayofuata ni data zaidi za msingi.
Mbili za mwisho si kushindwa kwa mzunguko wenyewe. Katika Sirius-Fleet, kupungua kwa uhitaji wa binadamu ni matokeo yaliyokusudiwa: kadiri kujitegemea kwa roboti kunavyoboreka, vitabiri vyake vya hitilafu vinabadilisha vigezo vyake vya utabiri, hivyo kusababisha maombi machache ya kuingilia kwa binadamu na kupunguza taratibu mzigo wa kazi wa binadamu kwa muda. Hapo kigezo kinabadilika kwa kusudi. Katika mzunguko wa mikono, chako pia kinabadilika, kimya kimya - hivyo kiwango kinachotulia kwa sababu kazi imefikia kikomo chake kinaonekana sawa kabisa na kile kilichotulia kwa sababu mwendeshaji aliacha kutambua. Hilo ndilo tatizo linalofuata.
Mtego 1: Kiwango Kinachoshuka Si Kiwango cha Mafanikio Kinachopanda
Kiwango cha kuingilia kinapima kitu kimoja tu: ni kiasi gani cha zoezi ulichoamua kukimiliki. Uamuzi huo ni wako, unaofanywa wakati halisi, na unabadilika. Katika raundi sifuri unachukua udhibiti kwenye pembe mbaya ya kwanza ya kukaribia; kufikia raundi ya tatu umeshaona sera ikijirekebisha kutoka kwa nyingi kama hizo na unaiacha ijaribu. Kizingiti chako kimebadilika; sera huenda haikubadilika. Kiwango kinashuka kwa hali zote mbili.
Imani ya kibinadamu angalau ni kiasi kinachoigwa kwa mfano katika machapisho ya kitaaluma badala ya kuwa dhabiti isiyobadilika. Sirius inapa uzito upya sampuli za mafunzo kwa kutumia makadirio ya imani ya kibinadamu na inaboresha sera kwa uigaji wa tabia wenye uzito, ikiripoti ongezeko la asilimia 8 katika uigaji na asilimia 27 kwenye vifaa halisi zaidi ya kiwango cha juu kabisa kilichopo katika kiwango cha mafanikio cha sera, kwa kasi ya mara mbili ya muunganiko. Hilo linaishughulikia imani kama uzito kwenye data. Halirekebishi kizingiti kilicho kichwani mwako kati ya raundi sifuri na raundi ya tatu.
Huwezi kuondoa mtelezo huo, hivyo unganisha kiwango hicho na kitu ambacho kizingiti chako hakiwezi kukigusa: seti thabiti ya majaribio ambayo huingilii kabisa, yaliyopimwa dhidi ya kigezo kilichoandikwa kabla ya raundi. Kiwango kinachoshuka wakati kiwango cha mafanikio kilichounganishwa nacho kinabaki palepale ni alama ya kuzoea - inayostahili kunaswa, kwa sababu ukiwa ndani ya mzunguko inahisi kama maendeleo.
| Kiwango cha kuingilia | Kiwango cha mafanikio kwenye itifaki thabiti | Usomaji unaowezekana zaidi |
|---|---|---|
| kinashuka | kinapanda | Raundi imefanya kazi. Endelea. |
| kinashuka | tambarare | Kizingiti chako kimeteleza, au marekebisho yameondoa juhudi bila kuondoa kushindwa. |
| kinashuka | kinashuka | Marekebisho yanaidhoofisha sera. Kagua mchanganyiko na uthabiti wao wa ndani. |
| tambarare | tambarare | Raundi haikuleta faida yoyote. Badilisha mchanganyiko, kituo cha ukaguzi, au kazi kabla ya kukusanya zaidi. |
| kinapanda | kinashuka | Kurudi nyuma. Shuku mchanganyiko wa mafunzo, kamera iliyobadilika, au mchanganyiko usio sahihi wa kituo cha ukaguzi kabla ya kushuku mbinu yenyewe. |
Mtego 2: Bila Itifaki Thabiti, Unachopima ni Chumba
Tathmini ya roboti halisi ni ghali na ngumu kuirudia. Waandishi wa SIMPLER wanahalalisha tathmini ya kuigwa kwa uchunguzi kwamba tathmini ya ulimwengu halisi ya sera kama hizo haiongezeki kwa urahisi na inakabiliwa na changamoto za kuzalishwa upya zinazoweza kuzidi kuwa mbaya kadiri sera zinavyopanua wigo wa kazi zake. RoboArena inashambulia tatizo hilo kutoka upande mwingine, kwa zaidi ya vipindi 600 vya tathmini ya jozi ya roboti halisi katika sera saba za jumla, zilizoendeshwa na wapima kutoka taasisi saba za kitaaluma kwenye jukwaa la DROID. Wapima wake huchagua kazi na mazingira yao wenyewe lakini lazima wahukumu jozi za sera kwa upofu maradufu; makala hiyo inaripoti kuwa uorodheshaji huu uliopatikana kwa umati unafuatilia utendaji wa sera za jumla kwa usahihi zaidi kuliko tathmini ya kawaida, iliyokolezwa kati.
Hutaendesha vipindi 600 vya jozi kwenye SO-100 moja katika karakana. Unachoweza kufanya ni kuondoa tofauti unayoidhibiti - orodha yenye kuchosha ya kutosha hata mara nyingi inarukwa.
| Kipengele | Gandisha Hiki | Kinachoteleza Usipofanya Hivyo |
|---|---|---|
| Mkao wa Kuanzia | Nafasi ya nyumbani iliyoandikwa, inayoendeshwa kabla ya kila jaribio | Njia inaanza nje ya mgawanyo |
| Vitu | Alama za mkanda, na vitu halisi vile vile vilivyotengwa kwa tathmini | Sera 'bora zaidi' kwa kweli ni kitu kilicho karibu zaidi |
| Kamera na Mwangaza | Vishikizo vile vile, fahirisi, mwangaza; mapazia yamefungwa; piga picha mpangilio | Kubadilishana fahirisi za kamera pekee kunaweza kutawala matokeo |
| Majaribio na Kanuni ya Kusimama | n thabiti, muda wa kikomo thabiti, kigezo kilichoandikwa kabla ya raundi | Vigezo vilivyowekwa baada ya tukio vinageuza makosa ya karibu kuwa chochote unachohitaji |
| Tabia ya Mwendeshaji | Hakuna kuingilia wakati wa majaribio ya tathmini | Tathmini inageuka kuwa kikao kingine cha marekebisho |
Kisha hesabu, isiyosamehe kwenye idadi za majaribio ambazo karakana inaweza kumudu. Chini ya ukadiriaji wa kawaida, mafanikio ya asilimia 60 katika majaribio 20 yanabeba hitilafu ya kawaida ya karibu nukta 11 za asilimia - mzizi wa mraba wa 0.6 mara 0.4 ukigawanywa na 20 - na tofauti kati ya raundi mbili kama hizo inabeba karibu 15. Kuruka kutoka asilimia 60 hadi 70 kwa hiyo kunalingana na hali ya kutokuwa na chochote kilichotokea. Majaribio hamsini yanapunguza kiwango cha kila raundi hadi karibu nukta 7, na yanagharimu mchana mzima.
Kutolingana huku ndiko hoja ya kiwango cha kuingilia: kinachohesabiwa kwa maelfu ya fremu badala ya matokeo ishirini ya jozi, kinabadilika mapema zaidi na kwa ulaini zaidi. Tahadhari ni kwamba fremu ndani ya kipindi kimoja zinahusiana sana - kushika kimoja vibaya kunatoa fremu mia moja za kuingilia zinazofuatana - hivyo ukubwa halisi wa sampuli uko karibu zaidi na idadi ya uchukuaji wa udhibiti. Chukulia kiwango hicho kama kiashiria cha mapema na kiwango cha mafanikio kama ukweli wa msingi wa polepole.
Vipindi vya tathmini havipaswi kamwe kuingia kwenye seti ya data ya mafunzo iliyotungwa - vinginevyo raundi ya n+1 inapimwa kwa data ambayo ilifunzwa nayo, na mkondo unapima ukariri badala ya uwezo halisi.
Mtego 3: Kufunza kwa Marekebisho Pekee Kunaipinda Sera
Marekebisho ndiyo data ya kuvutia zaidi, hivyo silika ni kufunza kwa kutumia hayo. Usifanye hivyo. Kwa asili yake yanatoka kwenye kipande kidogo cha nafasi ya hali ambapo sera tayari ilikuwa inashindwa, na hayasemi karibu chochote kuhusu sehemu kubwa ya zoezi iliyofanikiwa. Fanya urekebishaji mzuri kwenye kipande hicho pekee na utapata sera nzuri katika kujirekebisha kutoka kwenye ukaribiaji uliokwenda vibaya, lakini iliyosahau jinsi ya kufanya ukaribiaji safi.
Mandlekar na wenzake walijenga mfumo wao wa kuingilia kwa mbali kuzunguka wazo hili. Uwekaji wao wa mfumo: kazi za udhibiti wa vitu zina maeneo ya kizuizi yanayohitaji mfuatano wa vitendo sahihi - kuweka kifurushi kwenye mashine ya kahawa ni mfano wao - ambapo mikengeuko midogo inaingiza katika hali ambazo maonyesho hayakuwahi kuzishughulikia. Algoriti yao inafunza mara kwa mara kwa data mpya ili sera ijifunze kupita maeneo hayo ya kizuizi, na wanaripoti kuwa mawakala waliofunzwa kwa data ya kuingilia wanashinda mawakala waliofunzwa kwa idadi sawa ya sampuli kutoka kwa waonyeshaji wasio wa kuingilia.
- Haraka: zoezi fupi juu ya vipindi vichache vya dazani ni rahisi vya kutosha kurudia
- Lengwa: upinde unatawaliwa na hali unazozijali
- Rahisi kwa kujaribu kama mtindo wa marekebisho unaweza kujifunzika kabisa
- Mgawanyo wa urekebishaji mzuri hauifanani tena na mgawanyo wa kazi
- Tabia ya kawaida inaweza kudhoofika kwa uonekano ndani ya raundi moja
- Kiwango kinaweza kushuka wakati mafanikio yanashuka pamoja nacho - sehemu safi zinabadilishwa na urejeshaji
Uwiano wa mchanganyiko ni hiperparameta na unastahili kuandikwa. Kutunga seti ya data inayofuata ndipo unapoamuliwa: maonyesho asilia pamoja na seti ya marekebisho, uchaguzi wa vipindi ukiwa wazi kwa kila chanzo badala ya kanuni inayovuta kimya kimya chochote kilichopo. Hapa hilo ni hatua moja ya kutunga kwenye kokpiti, na matokeo ni seti ya data ya kawaida - angalia hati za mafunzo. Kitu ambacho hakuna chombo kinachokufanyia ni kurekodi ni uwiano gani ulizalisha mkondo gani.
Mtego 4: Binadamu Si Mtaalamu Thabiti
Nadharia ya DAgger inadhania mtaalamu. Wewe si mmoja kwa maana ya kitaalamu: marekebisho yako si sampuli kutoka mgawanyo thabiti wa masharti juu ya vitendo. Waandishi wa ACT wanataja hili wanapoorodhesha vikwazo vya udhibiti mzuri wa vitu - makosa yanajilimbikiza kwa muda, na maonyesho ya kibinadamu yanaweza kuwa yasiyo dhabiti kwa wakati. Mfumo wao bado unafikia asilimia 80 hadi 90 ya mafanikio katika kazi sita halisi kutokana na dakika kumi za maonyesho, hivyo tatizo linashughulikika, si kwamba halipo.
Utafiti wa robomimic unatoa hoja kutoka upande wa data. Katika algoriti sita za nje ya mtandao juu ya kazi tano za kuigwa na tatu za ulimwengu halisi zenye hatua nyingi, mafunzo yake ni pamoja na unyeti kwa uchaguzi wa muundo, utegemezi kwa ubora wa maonyesho, na - ile inayoumiza zaidi hapa - mabadiliko yanayotokana na vigezo vya kusimamisha, kwa sababu malengo ya mafunzo na tathmini yanatofautiana. Kituo cha ukaguzi chenye upotevu mdogo zaidi si hakika ndicho chenye kiwango cha juu zaidi cha mafanikio.
Kuna aina ya vifaa ya tatizo hili: hali ya uingizaji inaunda marekebisho. kiongozi-mfuasi mpangilio unazalisha njia endelevu, zenye kasi ya kibinadamu. Misukumo ya kibodi inabanwa kwa nguvu na seva - digrii mbili kwa kila wito kwenye viungo vya mkono, nne kwenye kishikio - hivyo nia ile ile inafika kama ngazi ya hatua ndogo ndogo. Vitelezi vinatuma malengo kamili na seva inasogea kwa digrii sita zaidi kuelekea kwazo kwa kila wito. Hali tatu, mgawanyo tatu wa vitendo; kuchanganya zote tatu kwenye seti moja ya marekebisho kisha kujiuliza kwa nini ukaribiaji ukawa wa mitikisiko ni kujisababishia mwenyewe. hati za uendeshaji wa mbali zinaeleza kila hali inatuma nini.
Kupa Uzito Kuingilia: IWR na Kilichokuja Baadaye
Ikiwa marekebisho ni wachache wenye thamani, suluhisho la kanuni ni kupa uzito badala ya kutenganisha kabisa. Intervention Weighted Regression (IWR) ndiyo utekelezaji wa marejeleo: data inagawanywa katika sampuli za kuingilia na zisizo za kuingilia, na sehemu hizo mbili zinachukuliwa sampuli kwa uwiano sawa wakati wa mafunzo. Seti ya marekebisho ambayo ni asilimia tano ya fremu basi inachangia nusu ya upinde, bila tabia ya kawaida kutoweka kwenye mgawanyo.
Uwiano sawa ni sehemu ya kuanzia, si sheria. Sirius inaupanua kwa kubadilisha mgawanyo wa jozi na uzito endelevu kutoka makadirio ya imani ya kibinadamu; Sirius-Fleet inahamisha uamuzi juu ya mkondo, ikitumia mfano wa dunia wa kuona na vitabiri vya hitilafu kuamua ni lini binadamu anaulizwa kabisa. Uzi unaofanana: alama ya kuingilia ni ishara ya mafunzo, si safu wima ya uhasibu tu.
| Mbinu | Nani Anaamua Wakati Binadamu Anatenda | Jinsi Data ya Kuingilia Inavyotumika | Matokeo Yaliyoripotiwa |
|---|---|---|---|
| DAgger (2011) | Ratiba thabiti; mtaalamu anaweka lebo hali zilizotembelewa | Seti moja ya data inayokua, isiyo na uzito | Imewekwa kama upunguzaji kuwa kujifunza mtandaoni bila majuto |
| HG-DAgger (2019) | Binadamu, akidhibiti lango la udhibiti kwenye mfumo halisi | Vimekusanywa pamoja; pamoja na kizingiti cha usalama kilichojifunzwa juu ya kutokuwa na uhakika wa mfano | Bora kuliko DAgger na BC katika udereva; hakuna idadi za kuingilia zilizotolewa |
| IWR (2020) | Binadamu, kupitia uendeshaji wa mbali | Sampuli za kuingilia na zisizo za kuingilia zinachukuliwa kwa uwiano sawa | Inashinda maonyesho yasiyo ya kuingilia kwa idadi sawa ya sampuli |
| Sirius (2022) | Binadamu, wakati wa matumizi | BC yenye uzito, uzito kutoka makadirio ya imani ya kibinadamu | Ongezeko la 8% katika uigaji, 27% kwenye vifaa halisi; muunganiko wa mara 2 kwa haraka zaidi |
| ThriftyDAgger (2021) | Mfumo, ukidhibiti lango kwa upya na hatari | Ukusanyaji wa mwingiliano chini ya bajeti ya usimamizi | Utafiti wa watumiaji (N=10): utendaji wa binadamu wa juu zaidi kwa 58% na wa roboti wa juu zaidi kwa 80% kuliko mbinu bora inayofuata |
| Fleet-DAgger (2022) | Mfumo, ukigawa uangalifu katika kikundi cha roboti | Ujifunzaji wa kikundi cha roboti unaopimwa kwa Return on Human Effort | Hadi mara 8.8 ya ROHE ya juu zaidi kuliko misingi ya kulinganisha |
| Sirius-Fleet (2024) | Vitabiri vya hitilafu vyenye vigezo vinavyojibadilisha vyenyewe | Ujifunzaji wa kazi nyingi ukitumia mfano wa dunia wa kuona | Maombi machache ya kuingilia kadiri kujitegemea kunavyoboreka |

Vipimo Vinne Vinavyostahili Kurekodiwa Karibu na Kiwango
- Uchukuaji wa udhibiti kwa kila zoezi. Marekebisho ishirini mafupi na moja refu vinatoa viwango vinavyofanana lakini vinaelezea sera tofauti - moja yenye mitikisiko, nyingine yenye eneo moja kipofu.
- Urefu wa wastani wa kuingilia. Urefu unaoongezeka pamoja na idadi inayoshuka unamaanisha kushindwa kulikobaki ni kule kugumu, ambayo ndiyo namna maendeleo ya marehemu yanavyoonekana.
- Muda hadi kuingilia kwa mara ya kwanza. Sera inayofika mbali zaidi kabla ya kuhitaji msaada inaboreka hata wakati kiwango cha jumla ni tambarare.
- Mahali kuingilia kunakojikusanya. Panga alama hiyo kwa maendeleo ya kipindi yaliyosawazishwa; kilele thabiti katika raundi zote kinaonyesha kizuizi kimoja.
Itifaki ya Raundi Unayoweza Kuiendesha Kwa Kweli
Raundi iliyopimwa ina hatua sita na inazalisha safu mlalo moja kwenye kumbukumbu. Nne za kwanza ni mzunguko wenyewe; mbili za mwisho ndizo zinazoifanya kuwa kipimo.
- 1Gandisha Itifaki ya Tathmini Kabla ya Raundi Sifuri
Andika mkao wa kuanzia, uwekaji wa vitu, kamera, idadi ya majaribio, muda wa kikomo, na kigezo cha mafanikio. Piga picha ya meza. Iwapo hati hiyo lazima ibadilike, mfululizo unaanza upya.
- 2Pima Msingi
Endesha itifaki bila kuingilia na urekodi mafanikio; kisha endesha kikao kimoja chenye vyombo na uchukuaji wa udhibiti ukiwa umewezeshwa, na urekodi kiwango. Nambari hizo mbili ndizo raundi sifuri.
- 3Kusanya Marekebisho kwa Mtindo Mmoja Thabiti
Hali moja ya uingizaji kwa kila raundi, mwendeshaji mmoja kama unaweza kuufikia hilo. Chukua udhibiti kwa kigezo unachoweza kukisema kwa sauti - 'kishikio kimeteleza zaidi ya sentimita mbili wakati wa kukaribia' - na uzingatie kwa raundi nzima.
- 4Panga Kila Kipindi Siku Ile Ile
Marekebisho, tathmini, au kutupa. Vipindi visivyo wazi vinatupwa, si kuhifadhiwa kwa nadharia kwamba data zaidi husaidia - marekebisho ambayo wewe mwenyewe ulikosea ni mabaya zaidi kuliko kutokuwa na kipindi kabisa.
- 5Tunga Mchanganyiko kwa Uwazi
Maonyesho asilia pamoja na marekebisho, uchaguzi wa vipindi kwa kila chanzo. Rekodi idadi ya msingi, idadi ya marekebisho na uzito wowote uliotumika - hii ndiyo sehemu utakayoihitaji baada ya wiki tatu.
- 6Endelea Kutoka Kituo cha Ukaguzi, Kisha Pima Upya
Funza seti ya data iliyotungwa kuanzia kituo cha ukaguzi kilichopita badala ya mfano wa msingi, endesha itifaki iliyogandishwa pamoja na kikao kimoja chenye vyombo, ongeza safu mlalo, na linganisha na raundi mbili zilizopita.
Vikomo viwili vinabadilisha jinsi unavyosoma raundi dhaifu. Kuendelea kutoka kituo cha ukaguzi kunaweka awali uzito kutoka humo - si kuendelea kwa kiboreshaji, hivyo ratiba inaanza upya kabisa na zoezi fupi kutoka kituo cha ukaguzi kilichounganika linaweza kusonga kidogo sana. Na mwendo wa kupangilia kiongozi mwanzoni mwa uchukuaji wa udhibiti ndio wenye maili chache zaidi kwenye vifaa halisi kuliko chochote kwenye mnyororo huo; kama marekebisho yote yanaanza na mtikisiko wa muda mfupi usio wa kawaida, angalia hapo kabla ya kulaumu mchanganyiko.
Mzunguko Uliopimwa, Tayari Umeunganishwa
ay-robots inatekeleza hatua hizi sita kama vipengele vya bidhaa: chukua udhibiti katikati ya zoezi kutoka kwenye mkono kiongozi, kibodi au vitelezi, huku fremu za kuingilia zikiwekwa alama kiotomatiki; panga kila kipindi kama marekebisho, tathmini, au kutupwa; tunga seti ya data inayofuata kutoka kwa maonyesho asilia pamoja na marekebisho, uchaguzi wa vipindi ukiwa wazi kwa kila chanzo; na anzisha zoezi la mafunzo linalofuata kutoka kituo cha ukaguzi kilichopita badala ya mfano wa msingi.
Angalia Jinsi Mzunguko wa DAgger Unavyofanya KaziKile Ambacho Nambari Haziwezi Kukuambia
Hakuna hata mmoja wa haya uliotatuliwa, na mkondo mzuri hauistahili kukushawishi vinginevyo. Kiwango cha kuingilia kinapima mfumo wa pamoja - sera, vifaa, mwendeshaji, chumba - na hakihusishi chochote peke yake. Hakiwezi kuhukumu kama marekebisho yalikuwa mazuri, na kitashuka kwa furaha kwenye kazi iliyokuwa rahisi zaidi kwa sababu kitu kimesogea sentimita mbili karibu zaidi kwa muda wa wiki tatu.
Kinachofanya ni kugeuza hisia isiyo wazi kuwa safu wima unayoweza kubishana nayo. Mbadala si kipimo bora zaidi; ni wiki tatu za kukusanya marekebisho ambazo mkondo huo ungekuwa umekuambia, baada ya raundi ya tatu, kuacha kukusanya. Machapisho ya uchunguzi wa jumla yanafafanua kujifunza kwa kuiga kwa mwingiliano kama maoni ya kibinadamu yanayotolewa mara kwa mara wakati wa utekelezaji wa roboti, yakiruhusu uboreshaji wa tabia mtandaoni; familia hiyo ni pana, na hakuna mpangilio wake unaofanya kazi bila nambari kwa kila raundi. Angalia pia mwongozo wa kujifunza kwa kuiga wa SO-100 kwa seti ya data ya msingi unayochanganya nayo, kuendesha sera kwa upande wa uamuzi, na ukurasa wa mzunguko wa DAgger kwa mfumo uliotekelezwa.
Je, Kiwango cha Kuingilia ni Moja Tu Kuondoa Kiwango cha Mafanikio?▾
Hapana. Kiwango kinapima ni kiasi gani cha zoezi ulichokichukua; kiwango cha mafanikio kinapima kama kazi ilikamilika bila wewe. Zoezi linaweza kufanikiwa likiwa na kiwango cha kuingilia cha asilimia 30, na zoezi lisilo na kuingilia lolote linaweza kushindwa kabisa. Pia vinatofautiana katika kelele: kiwango kinabadilika kwa ulaini juu ya maelfu ya fremu zinazohusiana, kiwango cha mafanikio kinaruka kati ya matokeo machache ya jozi. Rekodi vyote viwili.
Ninahitaji Majaribio Mangapi ya Tathmini Ili Kiwango cha Mafanikio Kiwe na Maana?▾
Zaidi ya inavyohisi kuwa na maana. Chini ya ukadiriaji wa kawaida, majaribio 20 kwenye kiwango cha kweli cha mafanikio cha asilimia 60 yanabeba hitilafu ya kawaida ya karibu nukta 11 za asilimia, hivyo mabadiliko ya nukta 10 kati ya raundi hayatofautiani na kelele; majaribio 50 yanapunguza kiwango hicho hadi karibu 7. Kama huwezi kumudu 50, weka idadi ya majaribio ile ile katika raundi zote na chukulia mabadiliko madogo kuwa hayana uhakika.
Nianze na Uwiano Gani wa Mchanganyiko wa Maonyesho kwa Marekebisho?▾
Kianzio kilichorekodiwa ni cha IWR: gawanya data katika sampuli za kuingilia na zisizo za kuingilia na uzichukue kwa uwiano sawa, ili marekebisho yachangie nusu ya upinde bila kujali ni sehemu ndogo kiasi gani ya fremu. Kama mpangilio wako hauwezi kupa uzito uchukuaji wa sampuli, kadiria hilo kupitia idadi za vipindi unapotunga seti ya data na rekodi uwiano huo. Kufunza kwa marekebisho pekee ndicho chaguo cha kuondoa kabisa.
Kiwango Changu cha Kuingilia Kimeongezeka Baada ya Raundi. Je, Raundi Imepotea Bure?▾
Si lazima, lakini kagua kwanza maelezo ya kuchosha: je, kituo cha ukaguzi ulichoendesha kililingana na kile ulichofunza, je, fahirisi ya kamera au kishikizo kilibadilika, je, uwekaji wa vitu ulitelezea, je, mtindo wa marekebisho ulikuwa thabiti. Kama yote manne ni safi na kiwango cha mafanikio kilichounganishwa nacho pia kilishuka, shuku mchanganyiko - maonyesho ya msingi machache mno dhidi ya marekebisho, au marekebisho yanayopingana. Kurudi nyuma kwa kweli kunastahili kuwa kwenye kumbukumbu, si kwenye pipa la taka.
Je, Ninaweza Kuruka Itifaki Thabiti ya Tathmini na Kuangalia Tu Kiwango cha Kuingilia?▾
Ni ikiwa tu unakubali kwamba huwezi kutofautisha maendeleo na kuzoea. Kiwango hicho kinategemea kizingiti chako mwenyewe cha wakati halisi cha kuingilia, na kizingiti hicho kinashuka kadiri unavyozoea tabia za ajabu za sera. Itifaki iliyogandishwa ndiyo sehemu ya kipimo ambayo kizingiti chako hakiwezi kuifikia - alama za mkanda, mkao wa nyumbani ulioandikwa, idadi thabiti ya majaribio, kigezo kilichoamuliwa kabla ya raundi. Ni lazima ibaki bila kubadilika katika mfululizo mzima.
Weka kumbukumbu kwenye hazina, si kwenye daftari: raundi zinatenganishwa na siku, vifaa vinajengwa upya, na mtu atakayesoma mkondo huo mwezi Oktoba ni wewe bila kumbukumbu ya Agosti. Maswali Yanayoulizwa Mara kwa Mara (FAQ) ya hati zinashughulikia maelezo ya kiutendaji yaliyoachwa hapa.
Sources
- Ross, Gordon & Bagnell (2011): A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning (DAgger)
- Ross & Bagnell (2010): Efficient Reductions for Imitation Learning (AISTATS, PMLR v9)
- Kelly, Sidrane, Driggs-Campbell & Kochenderfer: HG-DAgger - Interactive Imitation Learning with Human Experts (arXiv 2018, ICRA 2019)
- Mandlekar et al. (2020): Human-in-the-Loop Imitation Learning using Remote Teleoperation
- IWR project page (Stanford): Intervention Weighted Regression
- Mandlekar et al. (2021): What Matters in Learning from Offline Human Demonstrations for Robot Manipulation (robomimic)
- Liu, Nasiriany, Zhang, Bao & Zhu (2022): Robot Learning on the Job - Human-in-the-Loop Autonomy and Learning During Deployment (Sirius)
- Liu et al. (2024): Multi-Task Interactive Robot Fleet Learning with Visual World Models (Sirius-Fleet)
- Hoque et al. (2022): Fleet-DAgger - Interactive Robot Fleet Learning with Scalable Human Supervision
- Hoque et al. (2021): ThriftyDAgger - Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning
- Celemin et al. (2022): Interactive Imitation Learning in Robotics - A Survey
- Atreya et al. (2025): RoboArena - Distributed Real-World Evaluation of Generalist Robot Policies
- Li et al. (2024): Evaluating Real-World Robot Manipulation Policies in Simulation (SIMPLER)
- Zhao, Kumar, Levine & Finn (2023): Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT)
Ready for high-quality robotics data?
AY-Robots connects your robots to skilled operators worldwide.
Get Started