Давтан боломжит явцын хувьд хөлдсөн үнэлгээний тохируулгаар ашигласан төрлийн ширээний робот ажлын орон зай
DAggerҮнэлгээДуурайлалын СургалтРобот ӨгөгдөлSO-100

DAgger Давамгал Хэмжих: Оруулалтын Хурд, Үнэлгээний Протокол ба Хоорондох Сорилт

AY-Robots ResearchAugust 27, 202615 мин унших

Оруулалтын хурд - оруулалтын кадрыг давамгалын кадрад хуваасан - нь хүний хянасан DAgger давамгалын хамгийн хямд шударга ахицын сигнал юм. Энэ нийтлэл үүнийг хоёр хүн ижил утгыг тооцохоор тодорхойлж, үүнийг хэрхэн бүртгэхийг харуулж, үүнийг төөрөгдүүлэх дөрвөн аргаар явдаг: операторын дадлага, ялгарч буй үнэлгээний тохируулга, зөвхөн залруулгаар сургалт хийх, болон даваа гаригт сөмнөрүүлэхээс өөрөөр залруулдаг хүн.

DAgger раунд нь дотроо байхдаа бүтээмтэй санагддаг. Та боломжитыг явуулж, түүнийг барилгаас сергээхийн үед авч явахыг авч, залруулгуудыг хадгалж, дахин сургалт хийж, дараагийн давамгал нь болж - та эндэмхүүлэхий шийтгэ - арай сайн харагддаг. Хоёр раунд дараа та ямар нэгэн зүйл өөрчлөгдсөн эсэхийг хэлж чадахгүй, учир нь "арай сайн" бол тоо хэмжээ биш.

Давамгалд раунд бүрт нэг дугаар хэрэгтэй, хүний хянасан давамгалд энэ дугаар нь үнэгүй: та хяналттай байсан давамгалын хэсэг, боломжитын оронд. Энэ нийтлэл үүнийг хоёр хүн ижил утгыг тооцохоор тодорхойлж, үүнийг бүртгэнэ, үүссэн муруйг уншинэ, үүнийг төөрөгдүүлэх дөрвөн аргыг нэрлэнэ. Энэ хэсэгний онолын хувьд дараахыг үзэнэ DAgger тайлбарлагч болон хүний хянасан хувилбар; практик нь SO-100 дээр DAgger давамгал явуулах.

Богино хэлбэрээр

  • Оруулалтын хурд = оруулалтын кадр / давамгалын кадр. Кадр, үе биш, мөн хуваагч нь та залруулж байсан кадрыг багтаасан.
  • Гурван раундын үед хавтгай муруй нь раундууд ничего худалдаж авахгүй гэсэн үг - холимогийг, контролцэгийг эсвэл ажлыг өөрчлөх оронд дөрөв дэх раунд сугалж авахгүй.
  • Унаж буй оруулалтын хурд нь амжилтын өсөх хурд биш. Та дамжилтын босго доошоо хүрдэг илүү найдвартай байдалтай холбоотойгоор.
  • Хөлдсөн үнэлгээний протоколгүйгээр - ижил эхлүүлэх поз, объект, камер, туршилтын тоо - та өрөөг хэмжиж байна.
  • Зөвхөн залруулгаар сургалт нь төлөвийн тархалтыг гэмтээдэг. IWR-ийн хариулт: оруулалт болон оруулалтгүй түүврүүдийг тэнцүү харьцаатай зурна.

Яагаад раунд нь дугаар хэрэгтэй вэ

DAgger нь тархалтын асуудлаас үүдэлтэй бөгөөд тархалтын асуудлууд нь нүдээр үл үзэгдэх. Ross болон Bagnell үүнийг харуулсан дуурайлалын сургалт хэрхэн тогтмол үзүүлэлтийн багцын дээр нарийн нийцлийн алдаа болон цаг хугацааны орон зайд квадратик өсөх гададлын холбоо хүргэдэг: нэг сурагч үзүүлэлтийг явуулсан холбоотойгоор явцгаасан болцно, өгөгдлийн нэг юу ч буцаж ирэхийг зааж өгөхгүй. DAgger үүнийг давтамгалалаар засдаг - боломжитыг явуулж, энэ нь айлга төлөвүүд шошгой, нэгтгэх, дахин сургалт - Ross, Gordon болон Bagnell бүхэлд нь боломжит бус сүлжээний сургалт болгон яруу.

Тэр яруу хүмүүсийн мөрөлдөл байдаг. Баталгаа нь давтамгалалын үе дэх боломжитын дараалал, нэг ч сургалт биш сонирхож байна. Энэ нь ямар нэг үгүйтэй та гурав дахь раунд туслалцсан. Цорын ганц арга бол сургалтаа хэмжих явдал. Kelly болон түүний хамтрагчид HG-DAgger танилцуулсан учир сонгодог DAgger мэргэжилтнээс үйл ажиллагааны шошго хүс оруулж байхэд шинэ сонгодог хаалтатай явдаг, сургалт энэ эргүүлэх аюулгүй байдлыг бууруулж эргүүлэх багадлагдаж болно гэж нэр дэвшүүлдэг хүний мэргэжилтнүүдтэй, үзүүлэлтээс хүүхэл төрүүлэлтийн үйл явцын сожидаж. HG-DAgger мэргэжилтнээс авсан үйл ажиллагаа болон сургалтын үйл ажилцын сонголт нэмэгдүүлэхэд мөрдөнө хүүхэл төрүүлэлтийн үйл явцын явцын хөдөлмөр явуулжээ. Үүнийг үйл ажилцын нийт өгөгдөл байхгүй байна; эдгээрийг та өөрөө боловсруулдаг.

Хоёр хүн ижил дугаар авахаар үүнийг тодорхойлох

Тодорхойлолт нь нэг мөр юм: оруулалтын кадрыг давамгалын кадрад хуваасан. Мэргэжилтэн юу болгон тооцогдоно болон давамгал гэж юу болгон тооцогдох нь үргэлж байдаг нь бэрхшээлтэй байдаг.

Кадр, үе биш

Үе дор нь оруулалтыг таслалаар нэг юм: дор нь дор дүрүүдтэй болон дор дээрэх нэг дүрсийг мэндэлсэн үлийг өлдвөрийн нэг эцэг хэмээн үл тээгдэх. Хүүхэл төрүүлэлтийн үйл явцын өмнөө өмнө байдалт эгнээ юм, үүнээс сөрөгтэй асуулт нь төлөв, үйл ажиллагаагийн чинь нэг хэвлэлтээр байдаг. Энд LeRobot өгөгдлийн сан формат алхам нь эгнээ юм, үүнээс сөрөгтэй асуулт нь төлөв, үйл ажиллагаагийн чинь нэг хэвлэлтээр байдаг. Энд энэ нь давхцал эхлэл үеийг дараа нь үеийг хяналт бүрцэгдэх үед бичнэ.

Хуваагч залруулгуудыг багтаасан

Хоёр хуваагч нь бүхүүдэлтэй - давамгалын нийт кадр, эсвэл кадр дээрэх боломжитын явцаа - мөн нарийн аж. 1000 кадрын 400-г авч явахаа авч авахын үеийн эхлэл 40 хоцорсон, хоёр дахь нь 67 хоцорсон бэлэн. Нэг раундыг нэгдүгээрээр хэмжсэний эсрэгээр дараагийнх хоёр дахь болгон бууруулсан нь нэг бодит сайжруулалт алга болсон арга. Нийт кадрыг ав болон цуврал дунд өөрчлөлтийг дахин үзэхгүй.

Хүлээлгэх кадрын хэрэгтэй зүйл нэг удаа шийд

Үргэлж нэг хоосон цэг. Хяналт нөөцлөгдөхөд зарим кадрууд аль нь ч байхгүй: сүүлж сэргээн эцгийн нь байж байдаг, лидер нь сайшаж байдаг, бүртгэл нь хөлдөхүүдэд байдаг. Энэ хаврын урсгалд эдгээр нөөцлөгдсөн кадрууд сүлтүүдэд байдаг болон хэргээлсэнд орохгүй үе - эдгээр нь ямар л нэг бодит үйл ажиллагаа эсвэл сургалтын зүүний цалалгаа юм. Нөөцлөлтийг эргүүлэхмэл эргүүлэх үе болгондор адилхан тооцоо: 30 Hz-т зургаа ань давхцуулахад хоёр секундын нөөцлөлт тус бүр 360 кадр, хувь хэмжээг өөрчлөхөд хангалттай.

Гурван шийдвэр нь харьцуулахыг сүйтгэж байдаг

Кадр эсвэл үе; нийт давамгал эсвэл бие даасан; нөөцлөлт кадр дээр эсвэл гадаа. Аль нэгээ нь мөмхний хооронд чимээгүй өөрчлөгдсөнөнөсөн нь муруй утгагүй гэдэг үг. Гурван юм бүгд бичиж авна.

Үүнийг бүртгэхээс сөмнөрүүлж байгаа сеансаа орхидог дугаар

Гүйж байгаа үйл явцын статусын самбарт байгаа хэмжүүр нь унших үг: энэ нь дахин эхлэхэд алга болох болон баимаа сугалж авахгүй болно. Нэг нэмэх мөр раунд нэг дээр нийт цувралын бүхэлд - түүнээс контролцэг раунд тус бүр өөрчлөгддөг учир сүүлсээ санаа алдаж болно.

json
{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}
Нэг мөр раунд тус бүр. Хуваагч болон нөөцлөлтийн ойлголтыг дугаарын оронд бичих үе нь талбарын нэр нь илүүдэл юм.

Хоёр талбар нь жинлэсэн юм. train_mix нь та дараа нь сургалтын ажилтад өгсөн юм; үүнгүйгээр юу ч гүйцэтгэж болохгүй. eval_protocol нь та дараа нь явуулсан хөлдсөн туршилтыг нэрлэж, ихэнхдээ хоосон үлийг болно. ay-robots өргөн цахилгаан тасалгаанд давхцалтай статусын тайлан давхцалтай кадрын тоог мөрдөнө, бүртгэл нь хэмжүүр биш чинээхэн үл дурдах явдал юм; өгөгдлийн сан баримтжуулалт нь хүүхэл төрүүлэлтийн үйл явцын чинь утгыг байруулдаг нийгэм.

Сургалтын тохиргоонуудын матриц боломжит, өгөгдлийн сан болон контролцэгүүдийг нэг мөрөөр харуулж байна
Раунд тус бүр нь контролцэгийг өөрчлөдөг болон өгөгдлийн сан байдаг. Нэг юм түүнийг түүнээс бүргүүлэхээ бичээгүй болцхон гүйцэтгэх цахилгаа болохгүй байна.

Муруйг унших: гурав раунд, нэг үзэл баримтлал

Гурав раунд нь хамгийн бага унших нь юм, учир нь хоёр цэг үргэлж нэг шугам юм. Доорх хүснэгт нь сумыг орлуулах дээд дүрслэл юм, ямар ч дүүргэлийн хэмжүүр биш. Та үргэлж нэг дэспиратной өспожимен эсрэгээ сургалтын үйл ажиллагаа дээр баатрын өсөлтөөр баидаг.

РаундКонтролцэгийг явуулсанКадрОруулалтын кадрХурдАмжилт (20 дээр)
0 (суурь)суурь боломжит5 9001 38023,4 %7
1раунд 0 холимог дээр5 61098017,5 %10
2раунд 1 холимог дээр5 41261111,3 %11
3раунд 2 холимог дээр5 38059811,1 %12

Раунд нэг болон хоёр хийч ажил юм. Раунд гурав бол биш: 11,3 эсрэгээ 11,1 хоцорсон нь хүний гар дээрх харьцуулалтын чинь нэг хүүхэл нөхцөл юм, болон дөрөв дэх раунд нэг залруулгын нэмэгдүүлэх оруулалтын нэг өдөр өлөг байдаг. Хавтгай сегмент хоор нь хэл хувьсагч үндсэн байдаг.

  • Үлдэгдэл уналт нь дээдэн удирдлагаар засах боломжгүй юм - объект хүрэлцэхгүй байдаг, хомхог геометр, суулт хил дээр. Залруулгын өгөгдөл биж сургалт үүнийг засахгүй юм.
  • Залруулгууд нь суурь өгөгдлийн сан эсрэгээ хөгжиж байсан дараа нь сурам байдаг болон аль ч юум байхгүй юм.
  • Залруулгууд эргүүлэх юм, сургалт өмнөх хоёр цахилгаа болон дараа нь эдгээр хооронд байдаг.
  • Уналтаа доо байруулалт нь өргөтгөл юм: камер явцгаасан, гэрэл өөрчлөгдсөн, бич нь үзэгдэх юу ч эргүүлэхтөл хэвтэл сургалт юм.
  • Ажил нь энэ боломжитын анги дээр энэ хүүхэл төрүүлэлтийн үйл явцын сүлтүүд дээр байдаг, болон дараа нь алхам нь суурь өгөгдөл юм.

Сүүлийн хоёр нь давамгалын уналт юм. Sirius-Fleet-д ухаалаг үйл ажиллагаагийн сура нь сургалтын үр дүн байдаг: хүүхэл төрүүлэлтийн үйл явцын сайжруулалт нь баримтамтран сэргээлт ялгаа нь сургалт нь өөрчлөгддөг, хүүхэл төрүүлэлтийн үйл явцын төлөвийн даалгавар болж хөгжиж байдаг урсгал дүүргэх. Эндээс сүүлийн байдалт сургалтад сохибамасан. Түүний сугалж авахын өргөтгөл юм юм дараа нь хүүхэл төрүүлэлтийн үйл явцын баталгаа нь чимээгүй өөрчлөгдөхөөс салнахгүй байх юм - байдалт хүүхэл төрүүлэлтийн үйл явц хүргэдэг учир нь ажил нь түүний сүл суланги дараа нь нэг байдалт хүргэдэг байдалт юм адил харагддаг адилхан юм. Дараа нь дараа нь уналт юм.

Урхи 1: унаж буй хурд нь амжилтын өсөх хурд биш

Оруулалтын хурд нь яг нэг юм хэмждэг: давамгалын хэрхэн олон хүн та хамгийн эхэнд байна. Энэ шийдвэр нь та байна, бодит цаг хугацаанд хийгдсэн, болон энэ хөдөлдөг. Раунд нэгд та өмнөх сайн аргыг эхлүүлэхэд авч явах юм; гурав дахь раунд та нь доо нь аван аван явуулж авахда та түүнийг сорхож авна. Та босго хөдөлдөг; боломжит нь биш байж болно. Хурд унадаг аль нэг болсон.

Хүний найдвартай байдал нь суулих литератур дээр дор нь модель байдаг хүмүүсээс нэг түүж байна. Sirius нь сургалтын түүврүүдийг ойлголтоор хүний найдвартай байдал болон боломжитыг жинлэсэн үйл ажиллагааны дуурайлалтаар сайжруулдаг, сургалтын үйл явцын амжилтын хурдын улсын сүүлийн ганца болгон ил дараалалд 8 хоцорсон болон 27 хоцорсон хүүхэл төрүүлэлтийн үйл явцын сургалтын үйл явцыг илэрхийлж байна, хүүхэл төрүүлэлтийн үйл явцын хүүхэлд. Энэ нь найдвартай байдалыг өгөгдлийн жинг найдвартай байдалд оруулдаг. Энэ нь таны толгойд раунд нэг болон раунд гурвын хооронд болтуулсан босгоны залруулга өөрчлөгдөхгүй байна.

Та дрифт хасах боломжгүй юм, үүнийг найдвартай байдлаа хасах боломжгүй юм юм жинтэй юм: хөлдсөн туршилтын багц дээр та оруулалт бүхэлдээ хийхгүй, оруулалтаа сүүлийн раундын өмнө бичсэн байдалд сонирхож байна. Хурд унадаг нь эргүүлэгч амжилтын хурд тайвшраа байдаг нь хүний найдвартай байдлын хүүхэл дүрслэл юм - баригдахьад чинь байдаг, учир нь дараа нь давамгалд сайжруулалт харагддаг байдаг.

Оруулалтын хурдХөлдсөн протоколын амжилтын хурдИхэнхдээ унших
унадагөсдөгРаунд нь үйл ажилласан. Үргэлжлүүлэх.
унадагхавтгайТа босго дөрвөлж явчиж байна, эсвэл залруулгууд хүчин чармайлтыг устгасан нь амжилтыг биш.
унадагунадагЗалруулгууд нь боломжитыг доошлож байдаг. Холимог, цөөн дээрх сөрөгтэй асуулт болтуулах баримтыг шалгана.
хавтгайхавтгайРаунд нь юм санахгүй. Холимог, контролцэг эсвэл ажлыг өөрчлөхөд цуглуулахын нөхцөл.
өсдөгунадагМөрөлдөл. Сургалтын холимог, өөрчлөгдсөн камер эсвэл контролцэгийн холин дээр эргүүлэх ойлголт сонор сэргээлт сөмнөрүүлж байдаг.

Урхи 2: хөлдсөн протоколгүйгээр та өрөөг хэмжиж байна

Бодит хүүхэл төрүүлэлтийн үйл явцын үнэлгээ нь хүүхэл төрүүлэлтийн үйл явц болон давтан сургалтын үйл явцын үнэлгээ юм. SIMPLER зохиогчид давтан сургалтын үйл явцын үнэлгээн дээр сонирхож байна байдалтай одоогийн байдалт сургалтын үйл явцын үнэлгээ нь амжилтгүй байна болон сургалтын үйл явцаа үйл ажиллагаа өргөтгөл сонирхож байна сөрөг байдалтай. RoboArena нь өөр талаас эргүүлэх юм, долоо байруулалтын үйл явцын хүүхэл төрүүлэлтийн үйл явцын бүх дээр 600 цуглуулалт бүрэн хүүхэл төрүүлэлтийн үйл явцын үнэлгээ, дээрэх DROID системд долоо байруулалтын үйл явцын үзэж байгаа үнэлгээчээр явуулдаг. Үүний үнэлгээч нь өөрсдийн ажлын болон байруулалтыг сонгоно, гэхдээ боломжитын цугуулалтыг сүүлийн сонирхож байна байх ёстой юм; баримтыг мөрдөнө байдалт үнэлгээ давтын сургалтын үйл явцын сургалтын үйл явцаас илүү нарийн баатрын сургалтын үйл явцыг мөрдөнө.

Та 600 цуглуулалтын сөрөг раунд явуулахгүй SO-100 ширээний өрөөнд. Та юу хийж болно нь та сургалтын үйл явцын хоо сөрөгтөй сонирхоно - хүүхэл төрөлт өргөнө сээмсээ ихэнхдээ өөрчлөгдөхгүй.

ХэмжээЭнэ сүүлзТа юу дөрвөлж явчиж байна
Явцгаасан позБичсэн гэр байруулалт, түүнээс явуулахтай бүрийн туршилтТраектори нь хэвтэл гэн байршилд эхэлдэг
ОбъектЗүүлсэн тэмдэглэгээ болон байруулалтын ажилтай сургалтын объектХороо боломжит бол үнэхээр ойрхон объект юм
Камер болон гэрэлАдилхан байруулалт, индекс, үзүүлэлт; ираасан сүүл; байруулалтын зургийг авнаСүүлүүлэгч камер индекс ганц үр дүнг сүүлийн хойлов болох боломжтой
Туршилт болон сүүлийн дүрэмХэрэвсэн байх ёстой n, хэрэвсэн цаг хугацаа, сүүлийн байдалда шалгаж бичсэн байдалСүүлийн хойлов сүүлийн үе урьдчилалд ойр-мисс биш харьцуулсан сөмнөрүүлэх үе
Оператор үйл ажиллагааҮнэлгээний туршилтын үеэр оруулалтгүй байхадҮнэлгээ нь нөгөө залруулгын сеанс болж хувирдаг

Дараа нь арифметик, ширээний өрөөнд сайжруулалт чадах туршилтын тоо дээр сайн бага. Тогтмол ойлголтын дотор, 60 хоцорсон амжилт 20 туршилтын үеэр өгөх үе нь ойрхон 11 хоцорсон юм - квадратын сүүл 0.6 удаа 0.4 20 дээр - болон хоёр ийм раундын ялгаа нь ойролцоох 15. Давхцал 60 дээр 70 хоцорсон үүнээс байхгүй байдаг юм бүхэлдээ. Тав дахь туршилт нь бүр раундын үзэгдэл нь ойролцоох 7 цэг сүүлийн болон өлөг өдөр.

Энэ ээдэлл нь аргумент нь оруулалтын хурдын хувьд юм: мянга долоо хоцорсон үзэгдэл сонирхож байна хоёр арабын үр дүн гэмээс, энэ нь өөрчлөгдөнө эхэлнэ болон илүү сайн сургалт. Баримтай нь кадр сөрөг үе дээр ихэнхдээ хамтран сонирхож байна - нэг сайн арвилгалагдах бол нэг зуу дараа оруулалтын кадр - сүүлийн үр дүнтэй түүврүүд нь ойролцоох туршилтын тоо байна. Хурд нь эхэлнэ үзэгдэл болон амжилтын хурдыг яагаад үе гэмээ байдалт.

Үнэлгээний үе нь сургалтын байг сүүдээ орохгүй

Үнэлгээний үе үргэлж нэгтгэх сургалтын датасетэд орохгүй - эсрэгээ раунд n+1 өгөгдлийн үз байдалтай сургалт дээр үнэлгээ болж, муруй санах байдалтай хэмжэж байдаг.

Урхи 3: үе дээр мөрөлдөл чулуулж байдаг

Залруулгууд нь сонирхолтой өгөгдөл юм, үүнээс ойлголт нь сургалтын зөвхөн эдгээр юм байдаг. Бүхэлдээ үүнийг. Эдгээр нь суулгалтаас байна боломжитын аль хэдийн уналтаа болсон төлөвийн цахилгаа өргөнө дүрэм дээр болон бараг юу ч сураа их давамгалын суулгалтаа сургалтын үйл явц нь сурадаг. Сайн тохируулалт нэг өргөнө суулгалтаа болоод та хүүхэл төрүүлэлтийн үйл явцаа сайн сэргээнэ болсон сургалтын үйл явцаа сураа байна хүүхэл төрүүлэлтийн үйл явцаа аж.

Mandlekar болон түүний хамтрагчид өргөтгөл оруулалтын системээр сэргээнэ. Тэдний ойлголт: удирдлага ажлын сургалтын үйл явц сохибалтын сүүлийн мялаа явцыг зөв сөрөг хүргэнэ - кофены машин сорхой суулгалт нь тэдний үз байдалт - үзэгдэлийн логик ямар нэг хүүхэлийн төрүүлэлтийн үйл явц урьдчилаагүй нэг мөргүүлэгч хохимой. Тэдний алгоритм сургалтын түүврүүдээр явуулдаг учир боломжитыг эдгээр сохибаа давамгалы явуулдаг, болон эдгээр мөрдөнө байна оруулалтын өгөгдлийн дээр сургалтын үйл явцаа таслалаар баййлны туухайгүй үзүүлэлтэдээ сургалтын үйл явцын дээр сургалтын үйл явцаа.

Залруулгын ганцаарын сайн тохируулга эсрэгээ холимог холимог
Залруулгын ганцаар юу авдаг
  • Хурдан: нэг богино давамгал арван дөрвөлж хүүхэл төрүүлэлтийн үйл явцын үеэр хямд хаягдах
  • Оруулсан: градиент нь та сонирхож байгаа төлөвөөр эргүүлэгдэж байна
  • Залруулгын хэв маяг нь сурахуу чадахын сорилтын хувьд хямд
Энэ юу үнэ төлдөг
  • Сайн тохируулсан тархалт нь одоо ажлын тархалтыг биш харагддаг
  • Нээлттэй үйл ажиллагаа нэг раундын дотор сүүлийн явцын үйл явц болж хөгжиж болно
  • Хурд унаж болно нь амжилт унадаг хамт - цэвэр сегмент сэргээлтийн хувьд сгалдаж байна

Холимог харьцаа нь гиперпараметр болон бичээлээ авахуу даалгаваррай. Дараа нь өгөгдлийн сан нэгтгэх нь энэ шийдэгдсэн байна: анхны үзүүлэлтүүд нэмэх залруулгын багц, үе сонголт тодорхой нэг источник эсрэгээ дүрэм нэг чимээгүй эргүүлэх ямар ч байршилд. Энд энэ нь нэг compose алхам cockpit дээр, болон үр дүн нь нэг ердийн датасет - үзэнэ сургалтын баримтжуулалт. Аль ч сүүл нь та юу болон хэмжиж байна хэм сугалж авсан хэм биш.

Урхи 4: хүн нь нэг үгүй мэргэжилтэн байна

DAgger-ийн онол нь мэргэжилтэн гэж үзнэ. Та нэг нь нэмэгдүүлэхээ техникийн хэлбэрээр хийхгүй: та залруулгууд нь үйл ажилцын дээр хөрсөн условной тархалтын түүврүүд юм. ACT зохиогч нэрлэнэ энэ нь нарийн удирдлагын саад байг жагсаалтаар - алдаа нэгтгэх цаг хугацааны дээр, болон хүний үзүүлэлтүүд bolon-stationаренний байж болно. Тэдний систем нь үргэлж 80 арвиллаг 90 хоцорсон амжилт сүүлийн зургаа ажилтаа нэг арван минут үзүүлэлтэдээ, ийм учраас асуудлал нь мөтлөх чадах болно, биш урхи.

robomimic сургалт нь асуулт өгөгдлийн хойноос. Зургаа offline алгоритм дээр тав симуляци болон гурав бодит хүүхэл төрүүлэлтийн үйл явцын олон түвшний ажилтаа, энэ сургалтууд нэмэгдүүлэх сонирхож байдалтай сонголт, урлаг үзүүлэлтийн чанар, болон - нэг байгал ихэнхдээ энд -ээрч variabilty явцгаасан сүүлийн сүүлчилсэн байдалтай, Энэ сургалтын болон үнэлгээний зорилго ялгав. Контролцэг хамгийн бага алдаа дээр нь эргүүлэх чаддаг байхгүй байна хамгийн эцэг амжилтын хурдын хамт.

Энэ нь хүүхэл төрүүлэлтийн үйл явцын хэлбэрээр байна: оруулалтын режим нь далагч залруулга. Нэг лидер-дагагч оруулалт үндэслэн үргэлжлүүлэх хүнийхээ сэрэмжийн траектори. Клавиатура nudges нь хотхон hard хүүхэл төрүүлэлтийн үйл явцаар - хоёр градус нэг дуудлага arm суулт дээр, дөрөв хомхогны дээр - үүнээс адилхан сойтолт явдаг нэг шатан жижиг алхам. Гулгагч илгээх абсолют целевые болон хүүхэл төрүүлэлтийн үйл явц хөдөлдөг нь ихэвчлэн зургаа градус эргүүлэх тэдгээр нэг дуудлага. Гурав режим, гурав үйл ажилцын тархалт; холих гурав энэ нэг залруулга багц болон дараа нь асуухыг яагаад аргыг эргүүлэх twitchy нь өөр хүүхэл төрүүлэлтийн үйл явцын оруулалт. Нэг алсын удирдлагаар баримтжуулалт нь юу давхцал режим илгээдэг байна.

Оруулалт жинлэх: IWR болон юу дараа нь ирсэн

Хэрэв залруулгууд нь үнэлэх цөөнхэл, болос байдалтай сайн болон жин эсрэгээ эргүүлэхөмнөлмөл. Оруулалт Weighted Regression нь reference ажил: өгөгдөл нь өнцөг оруулалт болон өнцөг бус-оруулалт түүврүүд, болон хоёр өнцөг нь түүврүүд тэнцүү пропорци дээр сургалтын үеэр. Залруулга багц байна тав хоцорсон кадр дараа нь нэмэгдүүлэх хувь градиент, өнцөг даалгаврын үйл ажиллагаа алга болох эсрэгээ тархалт.

Тэнцүү пропорци нь эхлэл цэг, өнцөг хууль. Sirius generalises энэ эргүүлэх binary өнцөг continuous жин дээр ойлголтоор хүний найдвартай байдал; Sirius-Fleet нь аалдаа шийдвэр upstream, ашиглах нэг зрительное дэлхийн загвар болон anomaly predictors шийдвэр үе нэг хүн нь асуусан бүхэлдээ. Нэг thread: оруулалт нь гар үзүүлэлтийн сигнал, öнцöг зүгээр л bookkeeping баганан.

АргаХэн шийдэх үе нэг хүн nó ажиллаХэрхэн оруулалт өгөгдөл ашиглаМөрдөнө үр дүн
DAgger (2011)Хэрэвсэн цаг хэлцэл; мэргэжилтэн шошго айлга төлөвНэг өсөх датасет, unweightedЯруу адалгалсан no-regret он лайн сургалт
HG-DAgger (2019)Нэг хүн, дээлэх хяналт нэг бодит системНэгтгэх; нэмэх сургалт аюулгүй байдлын босго нэг загвар uncertaintyСайн нь DAgger bolot BC нэг завы; өнцөг оруулалт тоо өгсөн
IWR (2020)Нэг хүн, via алсын алсын удирдлагаОруулалт болон өнцөг-оруулалт түүврүүд зурсан тэнцүү пропорциBeats non-interventional demos адалгалсан түүврүүд тоо
Sirius (2022)Нэг хүн, deployment үеэрWeighted BC, жинлүүлэх дээр ойлголтоор хүний найдвартай байдал8 % улгамжлал симуляци, 27 % нэг бодит хүүхэл төрүүлэлтийн үйл явц; 2x хурдан convergence
ThriftyDAgger (2021)Нэг систем, дээлэх нэг novelty болот эрхИнтерактив цуглуулалт доо supervision төсөвХэрэглэгч сургалт (N=10): 58 % эцэг хүн болот 80 % эцэг робот гүйцэтгэл эсэгтэй сайн арга
Fleet-DAgger (2022)Нэг систем, allocating анхаар нэг цулЦул сургалт оноосон Return нэг хүний хүчин чармайлтUp нэг 8.8x эцэг ROHE нь baselines
Sirius-Fleet (2024)Anomaly predictors хамт өөр-adapting сүүлчилсэн байдалMulti-задачи сургалт хамт нэг visual дэлхийн загварЦөөн оруулалт хүсэлт адилгалсан autonomy сайжруулалт
Leaderboard үзэл харьцуулах робот боломжит хэмжсэн оноо
Ranking боломжит эсрэг нэг бусад гэсэн юм зөвхөн үе нэг бүхэл оруулалт явуулсан адилгалсан протокол. Энэ нь үйл ажилл нэг гурав раунд тул.

Дөрөв хэмжүүр үнэлэх бүртгэл дараа нь хурд

  • Takeovers нэг явцгаа. Хорин богино залруулга болот нэг удаа адалгалсан адилгалсан хурд болот нүүрлүүлэх ялгав боломжит - нэг jittery, нэг хамт нэг слепой спот.
  • Mean оруулалт урт. Rising урт хамт унаж тоо гэсэн үг үлдэгдэл уналт нь хүнд болж, юу нь сүүлийн ахиц харагддаг.
  • Time нэг эхлэл оруулалт. Нэг боломжит болж цаашид өмнөө шаардлагатай туслалцаа нь сайжруулж эсэл үе нийт хурд нь хавтгай.
  • Энд оруулалт давтан сэнэ. Bin нь гар нэг normalized үе ахиц; нэг хөрсөн peak нэг раунд үүдэн нэг bottleneck.

Нэг раунд протокол та үнэхээр явуулж болно

Нэг хэмжсэн раунд нь зургаа алхам болот үйл ажилл нэг мөр цаас лог. Эхлэл дөрөв нь давамгал; сүүлийн хоёр гаргадаг энэ хэмжүүр.

  1. 1
    Freeze үнэлгээний протокол өмнөө раунд нэг

    Бичиж явцгаасан поз, объект байруулалт, камер, туршилтын тоо, timeout болот амжилтын сүүлчилсэн байдал. Photograph нь хүснэгт. Хэрэв баримт байгаа нэг өөрчлөгдөх, цувралын дахин эхлүүлнэ.

  2. 2
    Measure суурь

    Явуулах протокол өнцөг оруулалт болот бүртгэл амжилтууд; дараа нь явуулах нэг equipped сеанс хамт takeover идэвхтэй болот бүртгэл хурд. Энэ хоёр тоо нь раунд нэг.

  3. 3
    Collect залруулгууд нэг нэгэн сүүлчилсэн байдал

    Нэг оруулалт режим нэг раунд, нэг оператор хэрэв та чадаж удирдах энэ. Авч явах нэг сүүлчилсэн байдал та болж асуух нэг өндөр - 'gripper цаашид хоёр centimetres хойшоо нэг зүүллүүлэгч' - болот барьж энэ нэг раунд.

  4. 4
    Triage нэг үе адилгалсан өдөр

    Залруулга, үнэлгээ эсвэл хаях. Ambiguous үе авч хаясан, үйл ажилл нэ энэ онол байга илүү өгөгдөл туслалцаа - нэг залруулга юу та өөрөө fumbled нь сайн эсэл үйл ажилл юу.

  5. 5
    Compose холимог явно

    Original demonstrations plus corrections, episode selection per source. Record base count, correction count and any weighting - this is the field you will want in three weeks.

  6. 6
    Үргэлжлүүлэх дээр контролцэг, дараа нь дахин-хэмжүүр

    Train нэг composed датасет дээр өмнөө контролцэг эсрэгээ суурь загвар, явуулах нь freeze протокол нэмэх нэг equipped сеанс, нэмэх мөр, болот харьцуулах эсрэгээ өмнөө хоёр раунд.

Хоёр хязгаар өөрчлөгдөх хэрхэн та уншилт нэг сулрах раунд. Үргэлжлүүлэх дээр контролцэг initialises жинлүүлэх дээр энэ - өнцөг optimizer resume, тиймээс цаг хэлцэл эхэлнэ шинэ болот богино явцгаа дээр converged контролцэг болж нэмэгдүүлэх маш цөөн. Болот лидер-align хөдөлгөөн нэг эхлэл нэг takeover байж хамгийн цөөн mileage нэг бодит хүүхэл төрүүлэлтийн үйл явц дээр ямар нэг нэг гинж; хэрэв залруулгууд бүгд эхэлнэ хамт нэг odd нэмэх, мөрдөх тэр өмнөө blaming холимог.

Нэг хэмжсэн давамгал, аль хэдийн wired up

ay-robots implements энэ зургаа алхам адилгалсан бүтээгдэхүүн шинж чанар: авч явах mid-явцгаа дээр нэг лидер гараа, клавиатура эсвэл sliders, хамт оруулалт кадрыг гар автоматик; triage нэг үе адилгалсан залруулга, үнэлгээ эсвэл хаях; compose дараа нь датасет дээр эхлэл үзүүлэлтүүд нэмэх залруулгууд, үе сонголт явно нэг нэг сорс; болот эхлэнэ дараа нь сургалтын явцгаа дээр өмнөө контролцэг эсрэгээ суурь загвар.

Үзэх хэрхэн DAgger давамгал ажилла

Юу тоо болж зүгээр л хэлж чадахгүй та

Юу энэ болж шийдэгдсэн, болот нэг гарал муруй болж биш сокхюулах та эсрэгээ. Нэг оруулалт хурд хэмждэг нэг нэгдсэн систем - боломжит, хүүхэл төрүүлэлтийн үйл явц, оператор, өрөө - болот attributes юу нэг өмнөө өөрийн. Энэ болж цэгээх эсвэл залруулгууд байсан сайн, болот энэ болж унах найраг нэг ажилтаа байга хялбаршуулсан учир объект drifted хоёр centimetres ойрхон өмнөө гурав долоо хоног.

Юу энэ болж энэ нь нэг unarguable impression нэг багана та болж спорить хамт. Нэг хувилбар болж биш нэг сайн хэмжүүр; энэ нь гурав долоо хоног дээр collecting залруулгууд муруй болж байв хэлсэн та, дараа нь раунд гурав, нэг стопын collecting. Нэг survey ном тодорхойлох интерактив дуурайлалын сургалт адилгалсан хүний feedback өгсөн intermittently дээр робот гүйцэтгэл, үзүүлэх нэг он лайн сайжруулалт дээр үйл ажиллагаа; нэг гэр нь өргөн, болот юу arrangement дээр нь ажилла өнцөг нэг тоо нэг раунд. Үзэх мэн SO-100 дуурайлалын сургалтын гарын авлага нэг суурь датасет та холих эсрэгээ, явуулах боломжит нэг inference хойноо, болот DAgger давамгал хуудас нэг ажил дээрх pipeline.

Нь оруулалт хурд зүгээр л нэг хасах амжилтын хурд?

Үйл ажилл. Нэг хурд хэмздэг хэрхэн олон нэг явцгаа та авч явах; амжилтын хурд хэмздэг эсвэл ажилтаа авсан өнцөг та. Нэг явцгаа болж амжилт хамт нэг 30 хоцорсон оруулалт хурд, болот нэг явцгаа өнцөг оруулалт болж уналт явно. Тэд мэн ялгав нэг шуугиан: нэг хурд хөдөлдөг сайн нэг мянга связан кадрыг, амжилтын хурд үсрэлт хооронд нэг чагтлаг binary үр дүн. Лог хоёр.

Хэрхэн олон үнэлгээний туршилт маргаан гэж эмхэтгэж амжилтын хурдыг өнцөг байна?

Цаашид нь мэрэм сайн байдлаа. Доо нэг ердийн ойлголт, 20 туршилт нэг үнэхээр 60 хоцорсон амжилтын хурд авч нэг standard дутагдал ойрхон 11 хоцорсон цэг, үүнээс нэг 10-цэг хөдөлгөөн хооронд раунд болж indistinguishable дээр эшүү; 50 туршилт авч тэр үзэгдэл нэг ойролцоош 7. Хэрэв та болж чадахгүй дүүс 50, хөлдөж туршилтын тоо адилгалсан нэг раунд болот үйл ажилл жижиг хөдөлгөөн адилгалсан inconclusive.

Юу холих пропорци дээр үзүүлэлтүүд нэг залруулгууд болж эхэлнэ хамт?

Нэг баримтжуулалт эхлэл цэг болж IWR-ийг: partition өгөгдөл нэг оруулалт болот non-оруулалт түүврүүд болот зурах тэдгээр тэнцүү пропорци, үүнээс залруулгууд нэмэгдүүлэх хувь градиент хэдчнээ жижиг фракц дээр кадрыг тэд нь. Хэрэв та setup болж цэгээх жинлүүлэх sampling, ойлголт энэ дээр үе тоо үе нэг composing датасет болот бүртгэл пропорци. Сургалт нэ залруулгууд ганцаар болж нэг хувилбар нэг үндэс гадаа.

Маргаан оруулалт хурд явцгаа дараа нь раунд. Нь раунд сүрэгтэй?

Үйл ажилл заримдаа, гэхдээ чэк нь уйтгартай тайлбарлалт эхлэл: байв контролцэг та давчиж сугалсан нэг та сургалт, байв нэг камер индекс эсвэл mount өөрчлөгдөх, байв объект байруулалт дрифт, байв залруулга хэв маяг нэгэн. Хэрэв бүхэл дөрөв нь цэвэр болот нэг сүлжээ амжилтын хурд мэн унасан, сэжүүлэх холимог - хэтэрхий цөөн суурь үзүүлэлтүүд эсрэгээ залруулгууд, эсвэл залруулгууд болж противоречь нэг бусад. Нэг үнэхээ регресс нэмэгдүүлэх нэг лог, үйл ажилл аш.

Болж би үндэс нэг freeze үнэлгээний протокол болот зүгээр л хөөц оруулалт хурд?

Зөвхөн хэрэв та нэмэгдүүлэх болж та болж хэлж чадахгүй сайжруулалт дээр дадлага. Нэг хурд тулгуулдаг та өөрийн бодит цаг хугацаа босго нэг stepping нэг, болот тэр босго унадаг адилгалсан та авч ашигла боломжит-ийн quirks. Нэг freeze протокол нь нэг хэсэг дээр хэмжүүр та босго болж цэгээх - хоёр заасан тэмдэг, нэг бичсэн гэр поз, нэг хөлдсөн туршилтын тоо, нэг сүүлчилсэн байдал шийдэгдсэн өмнөө раунд. Энэ байгаа нэг орхих өөрчлөгдөхгүй нэг цувралын.

Хөлдөж лог нэ сан, үйл ажилл нэ notebook: раунд нь өдөр хасалж, хүүхэл төрүүлэлтийн үйл явц авч rebuild, болот хүн унших муруй нэ October болж та өнцөг санах август. Нэг баримтжуулалт FAQ нь үйл ажилл нарийн орхигдсон энд.

Ready for high-quality robotics data?

AY-Robots connects your robots to skilled operators worldwide.

Get Started