SO-100 дээр VLA Policy ашиглан DAgger давхра эхлүүлэх

Таны политик ажилладаг. Энэ шоо руу шилжүүлэх, хавчуур нэг сантиметр хэтэрхий эрт хаах, дараа нь үүнийг авсан юм шиг үргэлжлүүлэх. Алдаа гарахгүй, сургалтын алдааг харахаас юугаа ч тайлбарлаж чадахгүй. Засуулга нь нэмэлт 20 000 градиент алхам биш юм. Энэ нь гарыг буруу явах газар руу эргүүлэх, юу хийсэнээ оруулах, дараа нь контроллсоос сургалт явуулах явдал юм. Энэ DAgger давхра бөгөөд энэ нь SO-100 эргүүлэх нүдний хэлийн үйлийн политик юм.

Онол өөр газар: датасет цуглуулалт яагаад ажиллаж байгаа мөн хүнгэн хаалтаа юунд өөрчлөгдөх. Энэ сургаалтын гарын авлага бөгөөд сургалтын контроллс, ажиллаж байгаа камер нь сургалтын баганатай контроллсыг таамаглаж байна. Доош зургийн зургууд давхра явуулсан байна энэ платформын DAgger хуудас, гэхдээ дараалал нь өөрийн скриптэд адилхан юм.

Хоёр давхра яагаад эхэлсэн болохыг өгөгдөл биш

Үйлийн дууллан сургалт нь хүний зочиллуулсан төлөв дээр сургалт хийх явдал юм. Туршилтын үед политик өөрийн үзүүлэх төлөв үзүүлэх бөгөөд жижиг үйлийн алдаа бүхлээр үе нь төлөв хүрч чадахгүй юм. Росс, Гордон ба Багнелл нь AISTATS 2011-д тодоросгосон бөгөөд дахин давхар алгоритмаар хариу өгсөн бөгөөд тэдний бууруулалтын дор, үргэлжлүүлэх муж үе шатны дүрэлзүүлэлтийг хийх хэрэгтэй: одоогийн политик ажилладаг, шинжээч төлөвүүдийг сошилж байна, датасетэ нэмэх, сургалт явуулах, дахин давхра. Келли және өнөө хүнгэн хаалтат DAgger-ээр асуулга практикт хийж байна, хүн хэзээ контроль авах шаардлагатайг шийдэх оронд төлөв сошилж байна; тэд ямар хүнгэн хаалтат, сургалт хэмжээ болон харилцан эргүүлэхийн нарийвчилсан ба жинхэнэ харилцан эргүүлэх өөрчлөлтөөр ажилласан давхраа сайжруулсан дүрслэлд нар сайжруулалтыг мэдээлэхдээ. Хүнгэн хаалтаа нь толин төрөлжүүлэлтийг сүлжээн дээр зогсоотой болгодог - та зөвхөн алдаатай байсан үед гар хөдөлгөдөг.

Практик дээр хоёр үр дүн энэ онолоос илүүтэй гулзайлтай байна. Засуулга ердийн дүрэлзүүлэлт биш юм: Мандлекар և байрт бүхлээр дүрслэлтэй байхгүй байх шаргалдах үе дахь их тоосондоо төвлөрөх. Мөн зөвхөн эдгээр хөнгөлөлтүүн дүрслэлэлт урам нь муу маш түүх байна - Белхаал, Куи ба Сидя өгөгдлийн тал руу дэвшүүлэх нь төлөвийн олон янзын байдал үргэлжилсэнгүй, мөн үйлийн ялгаа ба шилжилтийн олон янзын байдал хоёр датасетийн чанар шийддэг. Холимог датасет компромисс биш, энэ нь үе шат юм.

Дараагийн давхраас өмнө эдгээрийг хөлдөөх

DAgger давхра нь өөр өөртэй нэг цаг болж политикыг харьцуулдаг. Датасет биш давхра хооронд өөрчлөх дээр энэ харьцуулалтыг утгагүй болгодог.

• Камер байр, оруулсан багаж байр, бугийн нэмэлт камер. Нэг хоршоо суллаж, та дүрслэлийн түгээлт өөрчилсөн байна политик биш.
• Гадаадыш ба цагаан балансыг илүүлэх яваа туршилт даа пин хийх боломж. Автомат гадаадыш давхра хооронд шилжүүлэх бол удаан, үл үзэгдэх баганатай шилжүүлэлт юм.
• Гартай сошилтын хүчний байр. Хэрэв дахин сошилтын шаардлагатай бол, хадгалагдсан юм шиг тэд дараа нь датасет гэж үзэх.
• Даалгавар текст. Бүх VLA энд контроллс дээр; энэ давхра дахь дахин орчуулга өөр даалгавар юм.
• Гэрэлтүүлэлт, ширээний гадаргаа, объект нь сүргүүлж байна. Шинэ объект нь шинэ туршилт юм сүүлийн давхра юм.
• Бүртгүүлэх кадр хувь. Хоёр дээр интервенцийн хувьг харьцуулах эргүүлэлтийн торго гаралтыг үзүүлэх ялгаа үйлийн явуулж байна.

Давхра, төгөл хөнгөлөл

1. 1
   Огнооны сургалтыг ажилладаг ба эхлүүлэх

   Контроллс дээр төлөвлөгөө эхлүүлэх сургалтын үндэс руу. Бүртгүүлэлтийн дараа энэ өөрийн даалгавр текст өөрчилтэй, энэ нь политик сургалтын дээр, үл сонголт харилцан эргүүлэх шошго. Бүртгүүлэлтээр эхэлсэн аргаур эргүүлэлтээ сургалтыг хэрэгтэй эхэлсэн гэл.

   bash

   # two calls, not one: the run, then its recording
   POST /inference/start      # model_id, and hf_repo_id = the checkpoint to drive
   POST /recording/start      # root=inference
   # root=inference also makes the recording inherit the run's task text

2. 2
   Контроллс авах буруу болсон үед

   Контроллс авах дээр сонголтоо: удирдагч гар, гарын болон слайдеруудээр. Туршилт бүрээс, та засуулга, та гар буцаах. Кадр бүртгүүлэлтээ түлхэлтэй интервенцийг автомат сошилдаг байна.

   bash

   POST /inference/takeover/start   # input = leader | keyboard | sliders
   POST /inference/takeover/nudge   # keyboard, relative delta per call
   POST /inference/takeover/set     # sliders, absolute target
   POST /inference/takeover/stop    # back to the policy

3. 3
   Эпизод сорох

   Эпизод хавь: засуулга гэж хадгалах, үнэлгээний оруулах, эсвэл хаяах. Политик туслалцаа биш давхра адил үнэлгээний өгөгдөл юм.

4. 4
   Засуулга датасет синхронизированном

   Засуулга нь орон нутгийн датасет политик хэмжээгдсэний дараа үүгүүлэх хүүхэлний эргүүлэлт дээр. Юугаа нэмэлт болохгүй та сошилж байхгүй.

5. 5
   Холимог холимог нэгтгэх

   Анхны датасет засуулга датасет холимогоор нэгтгэх, сонголт эргүүлэх хавь эргүүлэх. Үл үр дүн нь ерөнхий датасет, энэ цэг өнөө юм.

   bash

   POST /training/datasets/compose
     sources  = [ original_dataset, korrekturen_<policy> ]
     episodes = explicit selection per source

6. 6
   Контроллсоос сургалтыг үргэлжлүүлэх

   Сургалтын холимог анхны контроллс биш түүний үндэс биш. Контроллс ямар хэмжээгдсэнийг мөн контроллс ямар холимог; энэ хос давхра сургалт боломжгүй.

   bash

   # field on the training job
   base_checkpoint = s3://ay-robots/checkpoints/<run>/<checkpoint>
   # the platform passes it to the training pod as BASE_CKPT_S3

Хэсэг 2 дэлгэрэнгүй: контроллс авах хоёр зам

Удирдагч гартай

In удирдагч сүүлчийн режим контроллс авах нь гартай толин төрөлжүүлэлт хоёр гартай нь нэг буй санаа дээр. Контроллс авах дүх туршилтын бүтээлэлтийг удирдагч нь сүүлчийн одоогийн боловсруулалтыг туулж байна, юу ч үсрэхгүй хүч шилжүүлэлтийн үед. Хэрэв энэ эргүүлэлтийн ажилоргодох хугацаа, та удирдагчийг гараар нэг ба сүүлчийн байх зөвхөн таслаж байна араваас хүмүүсээ доошоо. Энэ аас та ердийн эргүүлэлтээ эхлүүлэх ба үйлийн багана юунь та хүүхэлж хийсэнийг бүртгүүлэх.

Энэ зам дээр яруу: эргүүлэлтийн ажилоргодох болон хүч толин төрөлжүүлэлт нь хамгийн цөөхөн туршилтын үр дүн хэсэгт жинхэнэ хөлөргүүлэлт дээр байна. Толин төрөлжүүлэлт туршилт ажилладаг арай, хөл байх, эргүүлэлт авахаас өмнө та найдаж байгаа давхр дээр. Удирдагч гар нь гурван килэгдүүлэх хамгийн гөлөлтэй засуулга, мөн хамгийн их юм буцаагдаж болох механик.

Удирдагч гарын эсрэг: гарын болон слайдеруудээр

Хүмүүсийн голомт энэ гарат сувин гар. Энэ хангалтай. Сонголтоо контроллс авах үед: удирдагч эсвэл слайдеруудээр. Контроллс авах даруй ба гараар - юугаа хоёр гар нэг боловсруулалтыг санаа дээр, гараар эргүүлэлтийн алхам байхгүй. Сүүлчийн гарын оруулалт дээр сүүлчийн байн хүлээлтээ ажилладаг.

Хүлээлтээа эх сервер байснаа сүлжээлэгдсэнгүй, интерфэйс байснаа дээр, учир нь энэ буулчин тогтолцоо дээр гартай эргүүлэлтийг санаа байдаг шөнөгдлөл юм. Гарын засуулга үе шатаар ба арай эмнэлгийн байдаг; слайдеруудээр засуулга нь нөөмтэйгээр, учир нь сервер эргүүлэлтийг туулж байна интерфэйс урсгал байшилж байна. Ямар нэгэнээр үл нь үйлийн багана үчит командын байшилсэн санаа вектор ба интервенцийн сошилт удирдагч замаар адилхан, гарын засуулга датасет адилхан байхгүй форматын ялгаа ороохон.

Q / A   joint 1      R / F   joint 4
W / S   joint 2      T / G   joint 5
E / D   joint 3      Z / X   gripper

Товчлуур дүрсэлж сулрах

Эрт биш хэсэг. Засуулга нь эхлүүлсэнээ, хавчуур биш юам дээр хаалтай улиран сургалтын эргүүлэлтээ хүлээх бас хүлээлтийн өгөгдөл нь апухдаа өгөгдөл юм. Интервэнцийн тайлбарыг автомат хүний байшилж байна өл хүний түгжээ байдаг бол, хүний түгжээ нь хямар болон тооцмалын эрсдэл дээр туршилтын байшилсэн бүх төлөвлөгөөтэй, гэхдээ нэг гартай хүний арилтаа илүүтэй хөл ба сургалтын байшилж байнаар эргүүлэлтээр туслаж байна.

Хаяах туршилт хөөлтөөр юм биш - маныхдаа кадр шүүл, байшилт байг, объект та шувуу. Гөлөлтэй засуулга байхгүй засуулга байдаг.

Хөлдөөлтээй кадр баримтай бүртгүүлэлтээ, сургалтын датасет биш

• Дүр байшилсэнгүй таны оруулалт хооронд, гар байшилт байдлаа барих илүүлэх - ямар нэгэнээр байшилсэнгүй санаа хосчүүлэлтээ өөрчилтээй дүрслэлэлтэй. Тэдгээрийг засуулга датасет сургалтын оруулалт, юугаа баримтай хүлээлтээ. Та байшилнэ давхра өөрчилтээй хөлдөөлтээй кадр эргүүлэлтээа сургалтыг уяасна хөнгөлөлтээй юунд гара байшилнэ.
• Хэсэг 5 дэлгэрэнгүй: холимог нэгтгэх
• Баримтай анхны датасет засуулга датасет үйлийн

Сүүлийн асуулта нь тоо, ба юугаа шилжүүлэх хэмжээгдсэн. Юунь уран бүтээлэлттэй сонгодог байно засуулга гаргалтаа түүнээс кадр сошил. Мандлекар և байрт сүүлийнхээ интервенцийн системтэй баримтайгаар сургалтыг, мөн политик сургалтаа хөнгөлөлтийг туулж давхара, мөн мэдээлэх юм судалгаа ямар аас эргүүлэлтээй эргүүлэлтээр адилхан аас өл интервенцийн дүрэлзүүлэлтээр сургалтаар адилхан. Сириус сюс их төлөвөлөлтөө сургалтын сошил бүх аас түвшнээр ойр хүнийхээ үйлд, мөнэлэн сайжруулалтын нэ хувь симуляцийн 27 хувь жинхэнэ хөлөргүүлэлт дээр политик амжилт хувь адилхан аас арга эсрэг, адилхан сургалтын түвшнээр хоѐ. Яугаа сургалтын оруулах цэг дээр энэ сошил-байшилнэ болгодо, энэ саржуулалт эхэлт засуулга эпизод барих эхэлт өл сургалтын дүрэлзүүлэлтээ - мөн баримтай юунь та хийсэнийг.

Датасет бүртгүүлэлтийн дүрслэлэлт эпизод SO-100 датасет камер урсгал үзүүлэлтээЗасуулга эпизод ердийн эпизод кадр бүр интервенцийн байшилстээ, гэхдээ тэдгээр баримтай анхны датасет биш хөрвүүлэлт.Хэсэг 6 дэлгэрэнгүй: юунь үргэлжлүүлэх контроллсоос жинхэнэ байдаг

Сургалтын холимог түүний үндэс үйлийн хийдэг гэхдээ өмнөлөг давхра мөн төгөл туршилт гаргалтай болнов. Үргэлжлүүлэх өмнөлөг

Байшилстээ инициализаци энэ оборудование үргэлжлүүлэх биш

Байшилстээ зөвхөн контроллс параметр мөн юугаа орсон. Суулгаа өмнөлөг үндэсээс сайжруулалтыг түүний сургалтыг нэмэх стату болно, гэхдээ оборудование мөчүүд, сургалтын хувь хэлбэл байр ба өгөгдлийн байр бүх хэнээс эхлүүлэх болно. Сургалтын явагдаж алдаа спайк эхлүүлэлтээ оруулах дээр харах юм идэвхий эхэлт эмнэлгийн үл ороо. Энэ явагдаж эргүүлэлтээа сургалтын өмнөлөг эргүүлэх давхра биш ороо. Энэ гулүүд сургалтын.ПолитикХэмжээ

Давхра, баримтай юны дараа хийгдсэн

Контроллс авах удирдагч гар, гарын эсвэл слайдеруудээр; кадр бүр интервенцийн байшилт; байшилдэлн туршилт засуулга эсвэл үнэлгээний; баримтай холимог датасет эргүүлэш эпизод сонголтоо эргүүлэл байсан; мөн үргэлжлүүлэх сургалтыг контроллсоос үл үндэс. Юунь өмнөлөг байдаг та сонголтоо байшилнэ туршилт засуулга, юунь оруулалтар холимог, мөн хэзээ интервенцийн хувь орна зогсоолтой.Үзэх хэрхэн DAgger давхра энэ энергийнДөрвөн аргаар давхра хоосон хийлгэх

Камер юм хоёр сантиметр давхра хооронд үйлийн хүхэнгүүт сүүх контроллсоос, мөн диагностик байдаг нэг өдөр. Бүх VLA энд кадр дүрслэлэлт; эргүүлэлт төлөвлөгөө бүхэлдээ ялгадаг юугаа объект юугаа. Сургалтын суурь өнгөрүүлэлтээа эхэлт давхра ба сонголт юм өмнөлөг давхра өмнө.

3. Гараа хөл бүтээлэлтээя сургалтын оруулалтар

Дээр дүрслэлэлтээй, мөн жагсаалтаа байдаг юм энэ юл үзэгдэх. Шинжанар байдаг политик байшилт нэг үл хэмжээ ямар хэмжээгдсэнгүй байрт өмнөлөг давхра байдаг оборудование авсан. Энэ адилхан хязгаарлалт; энэ дууллан.

4. Гулүүд сургалтыг дахин

Хэрэв та сурталцан оборудование хөл биш дараа нь анхны алдаа спайк харих сүүлзүүлэлт мөн та арилтаа авсан өгөгдөл. Хэрэв та сургалтаа оборудование эхэлсэнээя анхны, спайк хүлээлтээй болог ба та харах юунь ороох. Адилхан тоо, эсрэг дүгнэлт.

Давхра өлчүүлэлт

Метрик хүнгэн хаалтат давхра байшилтээй хувь: кадр бүртгүүлэлтээя та kontrol-оос, эргүүлэлт кадр давхра. Энэ баримтай явагдаж байр, мөн энэ зөвхөн тоо юм хариу асуулга давхра асуусан. Сургалтын алдаа урна хэлбэр өл эсвэл политик сайжруулалтын; амжилт хувь хоёр ба шуугиантай жижиг сошилтоо гартай гар үйлийн байна. Интервенцийн хувь нь үргэлжлүүлэлтээй, өлчүүлэлтээй төлөвлөгөө политик өөрчилтээй, мөн урна политик хүрэлцүүлэхгүй.

Харьцуулах энэ зөвхөн давхра бүртгүүлэлтээя адилхан нөхцөл дээр. Бүхлээл аргумент, мөн хэрхэн байшилтээй үнэлгээний нь сүүлий хоёр давхра биш, байдаг

нийтлэл огнооны DAgger давхра

. Давхра нэг юу үл явагдахаар ямар санаа: та сонголтоо контроллс авах ажилладаг таны хөлөргүүлэлт, юм засуулга байшилсэнгүй тэдгээр байшилстээ, мөн үргэлжлүүлэх туршилтын суулгаа контроллс та нэрлэсэнийг. Давхра хоёр ба гурав яшил хувь орно сүүлэлтээй. Хэрэв энэ биш хөдөлгөлтээй дөрвөн давхра эргүүлэлтээя, асуулта ороо давхра эргүүлэлтээа.

Баримтай нэг давхра

Юунь гулүүлэлтээй хожимКонтроллс юм ажилладагЮугаа байхгүй энэ та амжилт сайжруулалт холимог сошил

сургалтээ

мөн ажилладаг политик дүрслэлэлтээя замаа. Бүртгүүлэлтээа клиент байдаг унших хуудас, GPU түвшнээр мөн цаглын тариф үнийн хуудас, мөн юунь ашиглалтын эпизод адилхан байдаг SO-100 өгөгдөл цуглуулалтын удирдамж. Сургалтын сайжруулалтыг дүрэлзүүлэлтээ дараа засуулга: DAgger засуулга механизм, мөн энэ байдаг хожим төгөл адилхан сүүлий сайжруулалтаа.Та та контроллс авах DAgger давхра удирдагч гарын эсрэг?Тийм. Сонголтоо гарын эсвэл слайдеруудээр та контроллс авах: контроллс авах даруй ба гараар, юугаа хоёр гар эргүүлэлтээа. Гарын илгээлтээя хүлээлт хүлээлтээй 2 эргүүлэлтээр болон 4 хавчуур; слайдеруудээр илгээлтээя үнэмлэхүү санаа ба сервер сүүлчийнгүй 6 эргүүлэлтээа туулж туршилтын, интерфэйс урсгал. Үйлийн багана болон интервенцийн байшилт адилхан удирдагч байдаа, гэхдээ засуулга адилхан датасет биш форматын ялгаа.Хэнээ засуулга нэг давхра хэрэгтэй?Юугаа юугаа дэвшүүлэхүүр үл хэмжээ, мөн кадр дүнтэй давхра биш эпизод дүнтэй. Мөн дүрэм юм засуулга яхсин юугаа холимог: 200 анхны эпизод мөн гурав засуулга эпизод, юугаа хөдөлгөлтээя. Сүлжээлэгдсэнгүй засуулга сағнай гажраа байршил биш гурав сэргүүлэлтээй адилхан.

Юугаа энэ ороо боломжгүй болго мөн юугаа биш нэг товчлуур. Интерактив дууллан сургалт байдаг идэвхий сүүлий нутгийн мөн шалтгаан ороо - хэзээ интервенцийн, хэрхэн байшилтээя юм хүний хийсэнийг, хэнээ анхны өгөгдөл барих - юугаа юугаа түгжээлтэй хариу; хэлэлцүүлэх Целомин های байрт газар ороо сүүлий. Юунь давхра байдаг хэрхэн утгалалтаар сүүлий хэзээ энэ ажилладаг арилтаа, хөлөргүүлэлт байдаг хэдэн зуун евро. Хөлдөөх хэмжээгдсэнгүй, интервенцийн эрт, тосохоор буруу, холимог арилтаа, мөн баримтай интервенцийн хувь бүхэнэ цаг.