
Оруулалтын хурд - оруулалтын кадрыг давамгалын кадрад хуваасан - нь хүний хянасан DAgger давамгалын хамгийн хямд шударга ахицын сигнал юм. Энэ нийтлэл үүнийг хоёр хүн ижил утгыг тооцохоор тодорхойлж, үүнийг хэрхэн бүртгэхийг харуулж, үүнийг төөрөгдүүлэх дөрвөн аргаар явдаг: операторын дадлага, ялгарч буй үнэлгээний тохируулга, зөвхөн залруулгаар сургалт хийх, болон даваа гаригт сөмнөрүүлэхээс өөрөөр залруулдаг хүн.
DAgger раунд нь дотроо байхдаа бүтээмтэй санагддаг. Та боломжитыг явуулж, түүнийг барилгаас сергээхийн үед авч явахыг авч, залруулгуудыг хадгалж, дахин сургалт хийж, дараагийн давамгал нь болж - та эндэмхүүлэхий шийтгэ - арай сайн харагддаг. Хоёр раунд дараа та ямар нэгэн зүйл өөрчлөгдсөн эсэхийг хэлж чадахгүй, учир нь "арай сайн" бол тоо хэмжээ биш.
Давамгалд раунд бүрт нэг дугаар хэрэгтэй, хүний хянасан давамгалд энэ дугаар нь үнэгүй: та хяналттай байсан давамгалын хэсэг, боломжитын оронд. Энэ нийтлэл үүнийг хоёр хүн ижил утгыг тооцохоор тодорхойлж, үүнийг бүртгэнэ, үүссэн муруйг уншинэ, үүнийг төөрөгдүүлэх дөрвөн аргыг нэрлэнэ. Энэ хэсэгний онолын хувьд дараахыг үзэнэ DAgger тайлбарлагч болон хүний хянасан хувилбар; практик нь SO-100 дээр DAgger давамгал явуулах.
Богино хэлбэрээр
- •Оруулалтын хурд = оруулалтын кадр / давамгалын кадр. Кадр, үе биш, мөн хуваагч нь та залруулж байсан кадрыг багтаасан.
- •Гурван раундын үед хавтгай муруй нь раундууд ничего худалдаж авахгүй гэсэн үг - холимогийг, контролцэгийг эсвэл ажлыг өөрчлөх оронд дөрөв дэх раунд сугалж авахгүй.
- •Унаж буй оруулалтын хурд нь амжилтын өсөх хурд биш. Та дамжилтын босго доошоо хүрдэг илүү найдвартай байдалтай холбоотойгоор.
- •Хөлдсөн үнэлгээний протоколгүйгээр - ижил эхлүүлэх поз, объект, камер, туршилтын тоо - та өрөөг хэмжиж байна.
- •Зөвхөн залруулгаар сургалт нь төлөвийн тархалтыг гэмтээдэг. IWR-ийн хариулт: оруулалт болон оруулалтгүй түүврүүдийг тэнцүү харьцаатай зурна.
Яагаад раунд нь дугаар хэрэгтэй вэ
DAgger нь тархалтын асуудлаас үүдэлтэй бөгөөд тархалтын асуудлууд нь нүдээр үл үзэгдэх. Ross болон Bagnell үүнийг харуулсан дуурайлалын сургалт хэрхэн тогтмол үзүүлэлтийн багцын дээр нарийн нийцлийн алдаа болон цаг хугацааны орон зайд квадратик өсөх гададлын холбоо хүргэдэг: нэг сурагч үзүүлэлтийг явуулсан холбоотойгоор явцгаасан болцно, өгөгдлийн нэг юу ч буцаж ирэхийг зааж өгөхгүй. DAgger үүнийг давтамгалалаар засдаг - боломжитыг явуулж, энэ нь айлга төлөвүүд шошгой, нэгтгэх, дахин сургалт - Ross, Gordon болон Bagnell бүхэлд нь боломжит бус сүлжээний сургалт болгон яруу.
Тэр яруу хүмүүсийн мөрөлдөл байдаг. Баталгаа нь давтамгалалын үе дэх боломжитын дараалал, нэг ч сургалт биш сонирхож байна. Энэ нь ямар нэг үгүйтэй та гурав дахь раунд туслалцсан. Цорын ганц арга бол сургалтаа хэмжих явдал. Kelly болон түүний хамтрагчид HG-DAgger танилцуулсан учир сонгодог DAgger мэргэжилтнээс үйл ажиллагааны шошго хүс оруулж байхэд шинэ сонгодог хаалтатай явдаг, сургалт энэ эргүүлэх аюулгүй байдлыг бууруулж эргүүлэх багадлагдаж болно гэж нэр дэвшүүлдэг хүний мэргэжилтнүүдтэй, үзүүлэлтээс хүүхэл төрүүлэлтийн үйл явцын сожидаж. HG-DAgger мэргэжилтнээс авсан үйл ажиллагаа болон сургалтын үйл ажилцын сонголт нэмэгдүүлэхэд мөрдөнө хүүхэл төрүүлэлтийн үйл явцын явцын хөдөлмөр явуулжээ. Үүнийг үйл ажилцын нийт өгөгдөл байхгүй байна; эдгээрийг та өөрөө боловсруулдаг.
Хоёр хүн ижил дугаар авахаар үүнийг тодорхойлох
Тодорхойлолт нь нэг мөр юм: оруулалтын кадрыг давамгалын кадрад хуваасан. Мэргэжилтэн юу болгон тооцогдоно болон давамгал гэж юу болгон тооцогдох нь үргэлж байдаг нь бэрхшээлтэй байдаг.
Кадр, үе биш
Үе дор нь оруулалтыг таслалаар нэг юм: дор нь дор дүрүүдтэй болон дор дээрэх нэг дүрсийг мэндэлсэн үлийг өлдвөрийн нэг эцэг хэмээн үл тээгдэх. Хүүхэл төрүүлэлтийн үйл явцын өмнөө өмнө байдалт эгнээ юм, үүнээс сөрөгтэй асуулт нь төлөв, үйл ажиллагаагийн чинь нэг хэвлэлтээр байдаг. Энд LeRobot өгөгдлийн сан формат алхам нь эгнээ юм, үүнээс сөрөгтэй асуулт нь төлөв, үйл ажиллагаагийн чинь нэг хэвлэлтээр байдаг. Энд энэ нь давхцал эхлэл үеийг дараа нь үеийг хяналт бүрцэгдэх үед бичнэ.
Хуваагч залруулгуудыг багтаасан
Хоёр хуваагч нь бүхүүдэлтэй - давамгалын нийт кадр, эсвэл кадр дээрэх боломжитын явцаа - мөн нарийн аж. 1000 кадрын 400-г авч явахаа авч авахын үеийн эхлэл 40 хоцорсон, хоёр дахь нь 67 хоцорсон бэлэн. Нэг раундыг нэгдүгээрээр хэмжсэний эсрэгээр дараагийнх хоёр дахь болгон бууруулсан нь нэг бодит сайжруулалт алга болсон арга. Нийт кадрыг ав болон цуврал дунд өөрчлөлтийг дахин үзэхгүй.
Хүлээлгэх кадрын хэрэгтэй зүйл нэг удаа шийд
Үргэлж нэг хоосон цэг. Хяналт нөөцлөгдөхөд зарим кадрууд аль нь ч байхгүй: сүүлж сэргээн эцгийн нь байж байдаг, лидер нь сайшаж байдаг, бүртгэл нь хөлдөхүүдэд байдаг. Энэ хаврын урсгалд эдгээр нөөцлөгдсөн кадрууд сүлтүүдэд байдаг болон хэргээлсэнд орохгүй үе - эдгээр нь ямар л нэг бодит үйл ажиллагаа эсвэл сургалтын зүүний цалалгаа юм. Нөөцлөлтийг эргүүлэхмэл эргүүлэх үе болгондор адилхан тооцоо: 30 Hz-т зургаа ань давхцуулахад хоёр секундын нөөцлөлт тус бүр 360 кадр, хувь хэмжээг өөрчлөхөд хангалттай.
Кадр эсвэл үе; нийт давамгал эсвэл бие даасан; нөөцлөлт кадр дээр эсвэл гадаа. Аль нэгээ нь мөмхний хооронд чимээгүй өөрчлөгдсөнөнөсөн нь муруй утгагүй гэдэг үг. Гурван юм бүгд бичиж авна.
Үүнийг бүртгэхээс сөмнөрүүлж байгаа сеансаа орхидог дугаар
Гүйж байгаа үйл явцын статусын самбарт байгаа хэмжүүр нь унших үг: энэ нь дахин эхлэхэд алга болох болон баимаа сугалж авахгүй болно. Нэг нэмэх мөр раунд нэг дээр нийт цувралын бүхэлд - түүнээс контролцэг раунд тус бүр өөрчлөгддөг учир сүүлсээ санаа алдаж болно.
{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
"frames": 5412, "intervention_frames": 611, "rate": 0.113,
"takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
"handover_frames": "excluded", "episodes_kept_as_correction": 5,
"train_mix": {"base_demos": 120, "corrections": 41},
"eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}Хоёр талбар нь жинлэсэн юм. train_mix нь та дараа нь сургалтын ажилтад өгсөн юм; үүнгүйгээр юу ч гүйцэтгэж болохгүй. eval_protocol нь та дараа нь явуулсан хөлдсөн туршилтыг нэрлэж, ихэнхдээ хоосон үлийг болно. ay-robots өргөн цахилгаан тасалгаанд давхцалтай статусын тайлан давхцалтай кадрын тоог мөрдөнө, бүртгэл нь хэмжүүр биш чинээхэн үл дурдах явдал юм; өгөгдлийн сан баримтжуулалт нь хүүхэл төрүүлэлтийн үйл явцын чинь утгыг байруулдаг нийгэм.

Муруйг унших: гурав раунд, нэг үзэл баримтлал
Гурав раунд нь хамгийн бага унших нь юм, учир нь хоёр цэг үргэлж нэг шугам юм. Доорх хүснэгт нь сумыг орлуулах дээд дүрслэл юм, ямар ч дүүргэлийн хэмжүүр биш. Та үргэлж нэг дэспиратной өспожимен эсрэгээ сургалтын үйл ажиллагаа дээр баатрын өсөлтөөр баидаг.
| Раунд | Контролцэгийг явуулсан | Кадр | Оруулалтын кадр | Хурд | Амжилт (20 дээр) |
|---|---|---|---|---|---|
| 0 (суурь) | суурь боломжит | 5 900 | 1 380 | 23,4 % | 7 |
| 1 | раунд 0 холимог дээр | 5 610 | 980 | 17,5 % | 10 |
| 2 | раунд 1 холимог дээр | 5 412 | 611 | 11,3 % | 11 |
| 3 | раунд 2 холимог дээр | 5 380 | 598 | 11,1 % | 12 |
Раунд нэг болон хоёр хийч ажил юм. Раунд гурав бол биш: 11,3 эсрэгээ 11,1 хоцорсон нь хүний гар дээрх харьцуулалтын чинь нэг хүүхэл нөхцөл юм, болон дөрөв дэх раунд нэг залруулгын нэмэгдүүлэх оруулалтын нэг өдөр өлөг байдаг. Хавтгай сегмент хоор нь хэл хувьсагч үндсэн байдаг.
- Үлдэгдэл уналт нь дээдэн удирдлагаар засах боломжгүй юм - объект хүрэлцэхгүй байдаг, хомхог геометр, суулт хил дээр. Залруулгын өгөгдөл биж сургалт үүнийг засахгүй юм.
- Залруулгууд нь суурь өгөгдлийн сан эсрэгээ хөгжиж байсан дараа нь сурам байдаг болон аль ч юум байхгүй юм.
- Залруулгууд эргүүлэх юм, сургалт өмнөх хоёр цахилгаа болон дараа нь эдгээр хооронд байдаг.
- Уналтаа доо байруулалт нь өргөтгөл юм: камер явцгаасан, гэрэл өөрчлөгдсөн, бич нь үзэгдэх юу ч эргүүлэхтөл хэвтэл сургалт юм.
- Ажил нь энэ боломжитын анги дээр энэ хүүхэл төрүүлэлтийн үйл явцын сүлтүүд дээр байдаг, болон дараа нь алхам нь суурь өгөгдөл юм.
Сүүлийн хоёр нь давамгалын уналт юм. Sirius-Fleet-д ухаалаг үйл ажиллагаагийн сура нь сургалтын үр дүн байдаг: хүүхэл төрүүлэлтийн үйл явцын сайжруулалт нь баримтамтран сэргээлт ялгаа нь сургалт нь өөрчлөгддөг, хүүхэл төрүүлэлтийн үйл явцын төлөвийн даалгавар болж хөгжиж байдаг урсгал дүүргэх. Эндээс сүүлийн байдалт сургалтад сохибамасан. Түүний сугалж авахын өргөтгөл юм юм дараа нь хүүхэл төрүүлэлтийн үйл явцын баталгаа нь чимээгүй өөрчлөгдөхөөс салнахгүй байх юм - байдалт хүүхэл төрүүлэлтийн үйл явц хүргэдэг учир нь ажил нь түүний сүл суланги дараа нь нэг байдалт хүргэдэг байдалт юм адил харагддаг адилхан юм. Дараа нь дараа нь уналт юм.
Урхи 1: унаж буй хурд нь амжилтын өсөх хурд биш
Оруулалтын хурд нь яг нэг юм хэмждэг: давамгалын хэрхэн олон хүн та хамгийн эхэнд байна. Энэ шийдвэр нь та байна, бодит цаг хугацаанд хийгдсэн, болон энэ хөдөлдөг. Раунд нэгд та өмнөх сайн аргыг эхлүүлэхэд авч явах юм; гурав дахь раунд та нь доо нь аван аван явуулж авахда та түүнийг сорхож авна. Та босго хөдөлдөг; боломжит нь биш байж болно. Хурд унадаг аль нэг болсон.
Хүний найдвартай байдал нь суулих литератур дээр дор нь модель байдаг хүмүүсээс нэг түүж байна. Sirius нь сургалтын түүврүүдийг ойлголтоор хүний найдвартай байдал болон боломжитыг жинлэсэн үйл ажиллагааны дуурайлалтаар сайжруулдаг, сургалтын үйл явцын амжилтын хурдын улсын сүүлийн ганца болгон ил дараалалд 8 хоцорсон болон 27 хоцорсон хүүхэл төрүүлэлтийн үйл явцын сургалтын үйл явцыг илэрхийлж байна, хүүхэл төрүүлэлтийн үйл явцын хүүхэлд. Энэ нь найдвартай байдалыг өгөгдлийн жинг найдвартай байдалд оруулдаг. Энэ нь таны толгойд раунд нэг болон раунд гурвын хооронд болтуулсан босгоны залруулга өөрчлөгдөхгүй байна.
Та дрифт хасах боломжгүй юм, үүнийг найдвартай байдлаа хасах боломжгүй юм юм жинтэй юм: хөлдсөн туршилтын багц дээр та оруулалт бүхэлдээ хийхгүй, оруулалтаа сүүлийн раундын өмнө бичсэн байдалд сонирхож байна. Хурд унадаг нь эргүүлэгч амжилтын хурд тайвшраа байдаг нь хүний найдвартай байдлын хүүхэл дүрслэл юм - баригдахьад чинь байдаг, учир нь дараа нь давамгалд сайжруулалт харагддаг байдаг.
| Оруулалтын хурд | Хөлдсөн протоколын амжилтын хурд | Ихэнхдээ унших |
|---|---|---|
| унадаг | өсдөг | Раунд нь үйл ажилласан. Үргэлжлүүлэх. |
| унадаг | хавтгай | Та босго дөрвөлж явчиж байна, эсвэл залруулгууд хүчин чармайлтыг устгасан нь амжилтыг биш. |
| унадаг | унадаг | Залруулгууд нь боломжитыг доошлож байдаг. Холимог, цөөн дээрх сөрөгтэй асуулт болтуулах баримтыг шалгана. |
| хавтгай | хавтгай | Раунд нь юм санахгүй. Холимог, контролцэг эсвэл ажлыг өөрчлөхөд цуглуулахын нөхцөл. |
| өсдөг | унадаг | Мөрөлдөл. Сургалтын холимог, өөрчлөгдсөн камер эсвэл контролцэгийн холин дээр эргүүлэх ойлголт сонор сэргээлт сөмнөрүүлж байдаг. |
Урхи 2: хөлдсөн протоколгүйгээр та өрөөг хэмжиж байна
Бодит хүүхэл төрүүлэлтийн үйл явцын үнэлгээ нь хүүхэл төрүүлэлтийн үйл явц болон давтан сургалтын үйл явцын үнэлгээ юм. SIMPLER зохиогчид давтан сургалтын үйл явцын үнэлгээн дээр сонирхож байна байдалтай одоогийн байдалт сургалтын үйл явцын үнэлгээ нь амжилтгүй байна болон сургалтын үйл явцаа үйл ажиллагаа өргөтгөл сонирхож байна сөрөг байдалтай. RoboArena нь өөр талаас эргүүлэх юм, долоо байруулалтын үйл явцын хүүхэл төрүүлэлтийн үйл явцын бүх дээр 600 цуглуулалт бүрэн хүүхэл төрүүлэлтийн үйл явцын үнэлгээ, дээрэх DROID системд долоо байруулалтын үйл явцын үзэж байгаа үнэлгээчээр явуулдаг. Үүний үнэлгээч нь өөрсдийн ажлын болон байруулалтыг сонгоно, гэхдээ боломжитын цугуулалтыг сүүлийн сонирхож байна байх ёстой юм; баримтыг мөрдөнө байдалт үнэлгээ давтын сургалтын үйл явцын сургалтын үйл явцаас илүү нарийн баатрын сургалтын үйл явцыг мөрдөнө.
Та 600 цуглуулалтын сөрөг раунд явуулахгүй SO-100 ширээний өрөөнд. Та юу хийж болно нь та сургалтын үйл явцын хоо сөрөгтөй сонирхоно - хүүхэл төрөлт өргөнө сээмсээ ихэнхдээ өөрчлөгдөхгүй.
| Хэмжээ | Энэ сүүлз | Та юу дөрвөлж явчиж байна |
|---|---|---|
| Явцгаасан поз | Бичсэн гэр байруулалт, түүнээс явуулахтай бүрийн туршилт | Траектори нь хэвтэл гэн байршилд эхэлдэг |
| Объект | Зүүлсэн тэмдэглэгээ болон байруулалтын ажилтай сургалтын объект | Хороо боломжит бол үнэхээр ойрхон объект юм |
| Камер болон гэрэл | Адилхан байруулалт, индекс, үзүүлэлт; ираасан сүүл; байруулалтын зургийг авна | Сүүлүүлэгч камер индекс ганц үр дүнг сүүлийн хойлов болох боломжтой |
| Туршилт болон сүүлийн дүрэм | Хэрэвсэн байх ёстой n, хэрэвсэн цаг хугацаа, сүүлийн байдалда шалгаж бичсэн байдал | Сүүлийн хойлов сүүлийн үе урьдчилалд ойр-мисс биш харьцуулсан сөмнөрүүлэх үе |
| Оператор үйл ажиллагаа | Үнэлгээний туршилтын үеэр оруулалтгүй байхад | Үнэлгээ нь нөгөө залруулгын сеанс болж хувирдаг |
Дараа нь арифметик, ширээний өрөөнд сайжруулалт чадах туршилтын тоо дээр сайн бага. Тогтмол ойлголтын дотор, 60 хоцорсон амжилт 20 туршилтын үеэр өгөх үе нь ойрхон 11 хоцорсон юм - квадратын сүүл 0.6 удаа 0.4 20 дээр - болон хоёр ийм раундын ялгаа нь ойролцоох 15. Давхцал 60 дээр 70 хоцорсон үүнээс байхгүй байдаг юм бүхэлдээ. Тав дахь туршилт нь бүр раундын үзэгдэл нь ойролцоох 7 цэг сүүлийн болон өлөг өдөр.
Энэ ээдэлл нь аргумент нь оруулалтын хурдын хувьд юм: мянга долоо хоцорсон үзэгдэл сонирхож байна хоёр арабын үр дүн гэмээс, энэ нь өөрчлөгдөнө эхэлнэ болон илүү сайн сургалт. Баримтай нь кадр сөрөг үе дээр ихэнхдээ хамтран сонирхож байна - нэг сайн арвилгалагдах бол нэг зуу дараа оруулалтын кадр - сүүлийн үр дүнтэй түүврүүд нь ойролцоох туршилтын тоо байна. Хурд нь эхэлнэ үзэгдэл болон амжилтын хурдыг яагаад үе гэмээ байдалт.
Үнэлгээний үе үргэлж нэгтгэх сургалтын датасетэд орохгүй - эсрэгээ раунд n+1 өгөгдлийн үз байдалтай сургалт дээр үнэлгээ болж, муруй санах байдалтай хэмжэж байдаг.
Урхи 3: үе дээр мөрөлдөл чулуулж байдаг
Залруулгууд нь сонирхолтой өгөгдөл юм, үүнээс ойлголт нь сургалтын зөвхөн эдгээр юм байдаг. Бүхэлдээ үүнийг. Эдгээр нь суулгалтаас байна боломжитын аль хэдийн уналтаа болсон төлөвийн цахилгаа өргөнө дүрэм дээр болон бараг юу ч сураа их давамгалын суулгалтаа сургалтын үйл явц нь сурадаг. Сайн тохируулалт нэг өргөнө суулгалтаа болоод та хүүхэл төрүүлэлтийн үйл явцаа сайн сэргээнэ болсон сургалтын үйл явцаа сураа байна хүүхэл төрүүлэлтийн үйл явцаа аж.
Mandlekar болон түүний хамтрагчид өргөтгөл оруулалтын системээр сэргээнэ. Тэдний ойлголт: удирдлага ажлын сургалтын үйл явц сохибалтын сүүлийн мялаа явцыг зөв сөрөг хүргэнэ - кофены машин сорхой суулгалт нь тэдний үз байдалт - үзэгдэлийн логик ямар нэг хүүхэлийн төрүүлэлтийн үйл явц урьдчилаагүй нэг мөргүүлэгч хохимой. Тэдний алгоритм сургалтын түүврүүдээр явуулдаг учир боломжитыг эдгээр сохибаа давамгалы явуулдаг, болон эдгээр мөрдөнө байна оруулалтын өгөгдлийн дээр сургалтын үйл явцаа таслалаар баййлны туухайгүй үзүүлэлтэдээ сургалтын үйл явцын дээр сургалтын үйл явцаа.
- Хурдан: нэг богино давамгал арван дөрвөлж хүүхэл төрүүлэлтийн үйл явцын үеэр хямд хаягдах
- Оруулсан: градиент нь та сонирхож байгаа төлөвөөр эргүүлэгдэж байна
- Залруулгын хэв маяг нь сурахуу чадахын сорилтын хувьд хямд
- Сайн тохируулсан тархалт нь одоо ажлын тархалтыг биш харагддаг
- Нээлттэй үйл ажиллагаа нэг раундын дотор сүүлийн явцын үйл явц болж хөгжиж болно
- Хурд унаж болно нь амжилт унадаг хамт - цэвэр сегмент сэргээлтийн хувьд сгалдаж байна
Холимог харьцаа нь гиперпараметр болон бичээлээ авахуу даалгаваррай. Дараа нь өгөгдлийн сан нэгтгэх нь энэ шийдэгдсэн байна: анхны үзүүлэлтүүд нэмэх залруулгын багц, үе сонголт тодорхой нэг источник эсрэгээ дүрэм нэг чимээгүй эргүүлэх ямар ч байршилд. Энд энэ нь нэг compose алхам cockpit дээр, болон үр дүн нь нэг ердийн датасет - үзэнэ сургалтын баримтжуулалт. Аль ч сүүл нь та юу болон хэмжиж байна хэм сугалж авсан хэм биш.
Урхи 4: хүн нь нэг үгүй мэргэжилтэн байна
DAgger-ийн онол нь мэргэжилтэн гэж үзнэ. Та нэг нь нэмэгдүүлэхээ техникийн хэлбэрээр хийхгүй: та залруулгууд нь үйл ажилцын дээр хөрсөн условной тархалтын түүврүүд юм. ACT зохиогч нэрлэнэ энэ нь нарийн удирдлагын саад байг жагсаалтаар - алдаа нэгтгэх цаг хугацааны дээр, болон хүний үзүүлэлтүүд bolon-stationаренний байж болно. Тэдний систем нь үргэлж 80 арвиллаг 90 хоцорсон амжилт сүүлийн зургаа ажилтаа нэг арван минут үзүүлэлтэдээ, ийм учраас асуудлал нь мөтлөх чадах болно, биш урхи.
robomimic сургалт нь асуулт өгөгдлийн хойноос. Зургаа offline алгоритм дээр тав симуляци болон гурав бодит хүүхэл төрүүлэлтийн үйл явцын олон түвшний ажилтаа, энэ сургалтууд нэмэгдүүлэх сонирхож байдалтай сонголт, урлаг үзүүлэлтийн чанар, болон - нэг байгал ихэнхдээ энд -ээрч variabilty явцгаасан сүүлийн сүүлчилсэн байдалтай, Энэ сургалтын болон үнэлгээний зорилго ялгав. Контролцэг хамгийн бага алдаа дээр нь эргүүлэх чаддаг байхгүй байна хамгийн эцэг амжилтын хурдын хамт.
Энэ нь хүүхэл төрүүлэлтийн үйл явцын хэлбэрээр байна: оруулалтын режим нь далагч залруулга. Нэг лидер-дагагч оруулалт үндэслэн үргэлжлүүлэх хүнийхээ сэрэмжийн траектори. Клавиатура nudges нь хотхон hard хүүхэл төрүүлэлтийн үйл явцаар - хоёр градус нэг дуудлага arm суулт дээр, дөрөв хомхогны дээр - үүнээс адилхан сойтолт явдаг нэг шатан жижиг алхам. Гулгагч илгээх абсолют целевые болон хүүхэл төрүүлэлтийн үйл явц хөдөлдөг нь ихэвчлэн зургаа градус эргүүлэх тэдгээр нэг дуудлага. Гурав режим, гурав үйл ажилцын тархалт; холих гурав энэ нэг залруулга багц болон дараа нь асуухыг яагаад аргыг эргүүлэх twitchy нь өөр хүүхэл төрүүлэлтийн үйл явцын оруулалт. Нэг алсын удирдлагаар баримтжуулалт нь юу давхцал режим илгээдэг байна.
Оруулалт жинлэх: IWR болон юу дараа нь ирсэн
Хэрэв залруулгууд нь үнэлэх цөөнхэл, болос байдалтай сайн болон жин эсрэгээ эргүүлэхөмнөлмөл. Оруулалт Weighted Regression нь reference ажил: өгөгдөл нь өнцөг оруулалт болон өнцөг бус-оруулалт түүврүүд, болон хоёр өнцөг нь түүврүүд тэнцүү пропорци дээр сургалтын үеэр. Залруулга багц байна тав хоцорсон кадр дараа нь нэмэгдүүлэх хувь градиент, өнцөг даалгаврын үйл ажиллагаа алга болох эсрэгээ тархалт.
Тэнцүү пропорци нь эхлэл цэг, өнцөг хууль. Sirius generalises энэ эргүүлэх binary өнцөг continuous жин дээр ойлголтоор хүний найдвартай байдал; Sirius-Fleet нь аалдаа шийдвэр upstream, ашиглах нэг зрительное дэлхийн загвар болон anomaly predictors шийдвэр үе нэг хүн нь асуусан бүхэлдээ. Нэг thread: оруулалт нь гар үзүүлэлтийн сигнал, öнцöг зүгээр л bookkeeping баганан.
| Арга | Хэн шийдэх үе нэг хүн nó ажилла | Хэрхэн оруулалт өгөгдөл ашигла | Мөрдөнө үр дүн |
|---|---|---|---|
| DAgger (2011) | Хэрэвсэн цаг хэлцэл; мэргэжилтэн шошго айлга төлөв | Нэг өсөх датасет, unweighted | Яруу адалгалсан no-regret он лайн сургалт |
| HG-DAgger (2019) | Нэг хүн, дээлэх хяналт нэг бодит систем | Нэгтгэх; нэмэх сургалт аюулгүй байдлын босго нэг загвар uncertainty | Сайн нь DAgger bolot BC нэг завы; өнцөг оруулалт тоо өгсөн |
| IWR (2020) | Нэг хүн, via алсын алсын удирдлага | Оруулалт болон өнцөг-оруулалт түүврүүд зурсан тэнцүү пропорци | Beats non-interventional demos адалгалсан түүврүүд тоо |
| Sirius (2022) | Нэг хүн, deployment үеэр | Weighted BC, жинлүүлэх дээр ойлголтоор хүний найдвартай байдал | 8 % улгамжлал симуляци, 27 % нэг бодит хүүхэл төрүүлэлтийн үйл явц; 2x хурдан convergence |
| ThriftyDAgger (2021) | Нэг систем, дээлэх нэг novelty болот эрх | Интерактив цуглуулалт доо supervision төсөв | Хэрэглэгч сургалт (N=10): 58 % эцэг хүн болот 80 % эцэг робот гүйцэтгэл эсэгтэй сайн арга |
| Fleet-DAgger (2022) | Нэг систем, allocating анхаар нэг цул | Цул сургалт оноосон Return нэг хүний хүчин чармайлт | Up нэг 8.8x эцэг ROHE нь baselines |
| Sirius-Fleet (2024) | Anomaly predictors хамт өөр-adapting сүүлчилсэн байдал | Multi-задачи сургалт хамт нэг visual дэлхийн загвар | Цөөн оруулалт хүсэлт адилгалсан autonomy сайжруулалт |

Дөрөв хэмжүүр үнэлэх бүртгэл дараа нь хурд
- Takeovers нэг явцгаа. Хорин богино залруулга болот нэг удаа адалгалсан адилгалсан хурд болот нүүрлүүлэх ялгав боломжит - нэг jittery, нэг хамт нэг слепой спот.
- Mean оруулалт урт. Rising урт хамт унаж тоо гэсэн үг үлдэгдэл уналт нь хүнд болж, юу нь сүүлийн ахиц харагддаг.
- Time нэг эхлэл оруулалт. Нэг боломжит болж цаашид өмнөө шаардлагатай туслалцаа нь сайжруулж эсэл үе нийт хурд нь хавтгай.
- Энд оруулалт давтан сэнэ. Bin нь гар нэг normalized үе ахиц; нэг хөрсөн peak нэг раунд үүдэн нэг bottleneck.
Нэг раунд протокол та үнэхээр явуулж болно
Нэг хэмжсэн раунд нь зургаа алхам болот үйл ажилл нэг мөр цаас лог. Эхлэл дөрөв нь давамгал; сүүлийн хоёр гаргадаг энэ хэмжүүр.
- 1Freeze үнэлгээний протокол өмнөө раунд нэг
Бичиж явцгаасан поз, объект байруулалт, камер, туршилтын тоо, timeout болот амжилтын сүүлчилсэн байдал. Photograph нь хүснэгт. Хэрэв баримт байгаа нэг өөрчлөгдөх, цувралын дахин эхлүүлнэ.
- 2Measure суурь
Явуулах протокол өнцөг оруулалт болот бүртгэл амжилтууд; дараа нь явуулах нэг equipped сеанс хамт takeover идэвхтэй болот бүртгэл хурд. Энэ хоёр тоо нь раунд нэг.
- 3Collect залруулгууд нэг нэгэн сүүлчилсэн байдал
Нэг оруулалт режим нэг раунд, нэг оператор хэрэв та чадаж удирдах энэ. Авч явах нэг сүүлчилсэн байдал та болж асуух нэг өндөр - 'gripper цаашид хоёр centimetres хойшоо нэг зүүллүүлэгч' - болот барьж энэ нэг раунд.
- 4Triage нэг үе адилгалсан өдөр
Залруулга, үнэлгээ эсвэл хаях. Ambiguous үе авч хаясан, үйл ажилл нэ энэ онол байга илүү өгөгдөл туслалцаа - нэг залруулга юу та өөрөө fumbled нь сайн эсэл үйл ажилл юу.
- 5Compose холимог явно
Original demonstrations plus corrections, episode selection per source. Record base count, correction count and any weighting - this is the field you will want in three weeks.
- 6Үргэлжлүүлэх дээр контролцэг, дараа нь дахин-хэмжүүр
Train нэг composed датасет дээр өмнөө контролцэг эсрэгээ суурь загвар, явуулах нь freeze протокол нэмэх нэг equipped сеанс, нэмэх мөр, болот харьцуулах эсрэгээ өмнөө хоёр раунд.
Хоёр хязгаар өөрчлөгдөх хэрхэн та уншилт нэг сулрах раунд. Үргэлжлүүлэх дээр контролцэг initialises жинлүүлэх дээр энэ - өнцөг optimizer resume, тиймээс цаг хэлцэл эхэлнэ шинэ болот богино явцгаа дээр converged контролцэг болж нэмэгдүүлэх маш цөөн. Болот лидер-align хөдөлгөөн нэг эхлэл нэг takeover байж хамгийн цөөн mileage нэг бодит хүүхэл төрүүлэлтийн үйл явц дээр ямар нэг нэг гинж; хэрэв залруулгууд бүгд эхэлнэ хамт нэг odd нэмэх, мөрдөх тэр өмнөө blaming холимог.
Нэг хэмжсэн давамгал, аль хэдийн wired up
ay-robots implements энэ зургаа алхам адилгалсан бүтээгдэхүүн шинж чанар: авч явах mid-явцгаа дээр нэг лидер гараа, клавиатура эсвэл sliders, хамт оруулалт кадрыг гар автоматик; triage нэг үе адилгалсан залруулга, үнэлгээ эсвэл хаях; compose дараа нь датасет дээр эхлэл үзүүлэлтүүд нэмэх залруулгууд, үе сонголт явно нэг нэг сорс; болот эхлэнэ дараа нь сургалтын явцгаа дээр өмнөө контролцэг эсрэгээ суурь загвар.
Үзэх хэрхэн DAgger давамгал ажиллаЮу тоо болж зүгээр л хэлж чадахгүй та
Юу энэ болж шийдэгдсэн, болот нэг гарал муруй болж биш сокхюулах та эсрэгээ. Нэг оруулалт хурд хэмждэг нэг нэгдсэн систем - боломжит, хүүхэл төрүүлэлтийн үйл явц, оператор, өрөө - болот attributes юу нэг өмнөө өөрийн. Энэ болж цэгээх эсвэл залруулгууд байсан сайн, болот энэ болж унах найраг нэг ажилтаа байга хялбаршуулсан учир объект drifted хоёр centimetres ойрхон өмнөө гурав долоо хоног.
Юу энэ болж энэ нь нэг unarguable impression нэг багана та болж спорить хамт. Нэг хувилбар болж биш нэг сайн хэмжүүр; энэ нь гурав долоо хоног дээр collecting залруулгууд муруй болж байв хэлсэн та, дараа нь раунд гурав, нэг стопын collecting. Нэг survey ном тодорхойлох интерактив дуурайлалын сургалт адилгалсан хүний feedback өгсөн intermittently дээр робот гүйцэтгэл, үзүүлэх нэг он лайн сайжруулалт дээр үйл ажиллагаа; нэг гэр нь өргөн, болот юу arrangement дээр нь ажилла өнцөг нэг тоо нэг раунд. Үзэх мэн SO-100 дуурайлалын сургалтын гарын авлага нэг суурь датасет та холих эсрэгээ, явуулах боломжит нэг inference хойноо, болот DAgger давамгал хуудас нэг ажил дээрх pipeline.
Нь оруулалт хурд зүгээр л нэг хасах амжилтын хурд?▾
Үйл ажилл. Нэг хурд хэмздэг хэрхэн олон нэг явцгаа та авч явах; амжилтын хурд хэмздэг эсвэл ажилтаа авсан өнцөг та. Нэг явцгаа болж амжилт хамт нэг 30 хоцорсон оруулалт хурд, болот нэг явцгаа өнцөг оруулалт болж уналт явно. Тэд мэн ялгав нэг шуугиан: нэг хурд хөдөлдөг сайн нэг мянга связан кадрыг, амжилтын хурд үсрэлт хооронд нэг чагтлаг binary үр дүн. Лог хоёр.
Хэрхэн олон үнэлгээний туршилт маргаан гэж эмхэтгэж амжилтын хурдыг өнцөг байна?▾
Цаашид нь мэрэм сайн байдлаа. Доо нэг ердийн ойлголт, 20 туршилт нэг үнэхээр 60 хоцорсон амжилтын хурд авч нэг standard дутагдал ойрхон 11 хоцорсон цэг, үүнээс нэг 10-цэг хөдөлгөөн хооронд раунд болж indistinguishable дээр эшүү; 50 туршилт авч тэр үзэгдэл нэг ойролцоош 7. Хэрэв та болж чадахгүй дүүс 50, хөлдөж туршилтын тоо адилгалсан нэг раунд болот үйл ажилл жижиг хөдөлгөөн адилгалсан inconclusive.
Юу холих пропорци дээр үзүүлэлтүүд нэг залруулгууд болж эхэлнэ хамт?▾
Нэг баримтжуулалт эхлэл цэг болж IWR-ийг: partition өгөгдөл нэг оруулалт болот non-оруулалт түүврүүд болот зурах тэдгээр тэнцүү пропорци, үүнээс залруулгууд нэмэгдүүлэх хувь градиент хэдчнээ жижиг фракц дээр кадрыг тэд нь. Хэрэв та setup болж цэгээх жинлүүлэх sampling, ойлголт энэ дээр үе тоо үе нэг composing датасет болот бүртгэл пропорци. Сургалт нэ залруулгууд ганцаар болж нэг хувилбар нэг үндэс гадаа.
Маргаан оруулалт хурд явцгаа дараа нь раунд. Нь раунд сүрэгтэй?▾
Үйл ажилл заримдаа, гэхдээ чэк нь уйтгартай тайлбарлалт эхлэл: байв контролцэг та давчиж сугалсан нэг та сургалт, байв нэг камер индекс эсвэл mount өөрчлөгдөх, байв объект байруулалт дрифт, байв залруулга хэв маяг нэгэн. Хэрэв бүхэл дөрөв нь цэвэр болот нэг сүлжээ амжилтын хурд мэн унасан, сэжүүлэх холимог - хэтэрхий цөөн суурь үзүүлэлтүүд эсрэгээ залруулгууд, эсвэл залруулгууд болж противоречь нэг бусад. Нэг үнэхээ регресс нэмэгдүүлэх нэг лог, үйл ажилл аш.
Болж би үндэс нэг freeze үнэлгээний протокол болот зүгээр л хөөц оруулалт хурд?▾
Зөвхөн хэрэв та нэмэгдүүлэх болж та болж хэлж чадахгүй сайжруулалт дээр дадлага. Нэг хурд тулгуулдаг та өөрийн бодит цаг хугацаа босго нэг stepping нэг, болот тэр босго унадаг адилгалсан та авч ашигла боломжит-ийн quirks. Нэг freeze протокол нь нэг хэсэг дээр хэмжүүр та босго болж цэгээх - хоёр заасан тэмдэг, нэг бичсэн гэр поз, нэг хөлдсөн туршилтын тоо, нэг сүүлчилсэн байдал шийдэгдсэн өмнөө раунд. Энэ байгаа нэг орхих өөрчлөгдөхгүй нэг цувралын.
Хөлдөж лог нэ сан, үйл ажилл нэ notebook: раунд нь өдөр хасалж, хүүхэл төрүүлэлтийн үйл явц авч rebuild, болот хүн унших муруй нэ October болж та өнцөг санах август. Нэг баримтжуулалт FAQ нь үйл ажилл нарийн орхигдсон энд.
Sources
- Ross, Gordon & Bagnell (2011): A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning (DAgger)
- Ross & Bagnell (2010): Efficient Reductions for Imitation Learning (AISTATS, PMLR v9)
- Kelly, Sidrane, Driggs-Campbell & Kochenderfer: HG-DAgger - Interactive Imitation Learning with Human Experts (arXiv 2018, ICRA 2019)
- Mandlekar et al. (2020): Human-in-the-Loop Imitation Learning using Remote Teleoperation
- IWR project page (Stanford): Intervention Weighted Regression
- Mandlekar et al. (2021): What Matters in Learning from Offline Human Demonstrations for Robot Manipulation (robomimic)
- Liu, Nasiriany, Zhang, Bao & Zhu (2022): Robot Learning on the Job - Human-in-the-Loop Autonomy and Learning During Deployment (Sirius)
- Liu et al. (2024): Multi-Task Interactive Robot Fleet Learning with Visual World Models (Sirius-Fleet)
- Hoque et al. (2022): Fleet-DAgger - Interactive Robot Fleet Learning with Scalable Human Supervision
- Hoque et al. (2021): ThriftyDAgger - Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning
- Celemin et al. (2022): Interactive Imitation Learning in Robotics - A Survey
- Atreya et al. (2025): RoboArena - Distributed Real-World Evaluation of Generalist Robot Policies
- Li et al. (2024): Evaluating Real-World Robot Manipulation Policies in Simulation (SIMPLER)
- Zhao, Kumar, Levine & Finn (2023): Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT)
Ready for high-quality robotics data?
AY-Robots connects your robots to skilled operators worldwide.
Get Started