Бодлого сургалт

Өөрийн GPU-гүйгээр сургах

Манипуляцийн бодлого сургах нь GPU ачаалал бөгөөд орчин үеийн vision-language-action загварууд ердийн ажлын станцаас илүү VRAM шаарддаг. AY-Robots дээр сургалт платформ удирддаг үүлэн GPU дээр явагддаг: та өгөгдлийн багц, бодлогын төрлийг сонгоод, явцыг эхлүүлж, түүний явцыг браузераасаа ажиглана. CUDA тохиргоо, драйверийн зохицуулга, арчлах орчин байхгүй.

Оруулга ямагт Dashboard > Datasets дэх үүлэн өгөгдлийн багц юм. Телеудирдлагын сешнээр бичсэн эсвэл LeRobot форматаар байршуулсан аливаа зүйл, нэгтгэсэн өгөгдлийн багц ч оролцоно. Сургахаасаа өмнө сонгож сайжруул: Failure тэмдэглэгээтэй эпизодууд ихэвчлэн сургалтын багцад орох ёсгүй, эпизодын хөтчид арван минут шалгах нь муу демонстрациас сурахад зарцуулагдах олон цагийн GPU хугацааг хэмнэдэг.

Дэмжигддэг бодлогууд

Дөрвөн бодлогын гэр бүл дэмжигддэг. Тэдгээр хэмжээ, сургалтын өртөг, өгөгдлөөс тань хэр их шингээж чадах талаараа ялгаатай тул зөв сонголт нь ямар ч ерөнхий чансаанаас илүү таны даалгавар, өгөгдлийн багцаас хамаардаг.

Явц эхлүүлэх

1. 1
   Өгөгдлийн багцыг сонго

   Dashboard > Training-ийг нээж сургах өгөгдлийн багцаа сонго. Зөв сонгосон эсэхийг батлахын тулд эпизодын тоо, роботын төрөл харагдана.

2. 2
   Бодлогыг сонго

   Дэмжигддэг бодлогын төрлүүдийн нэгийг сонго. Итгэлгүй байвал ACT-аас эхэл: энэ бол өгөгдлийн багц тань ямар нэг зүйлийг сургахад хангалттай сайн эсэхийг мэдэх хамгийн хямд арга.

3. 3
   Эхлүүл

   Явцыг эхлүүл. Энэ нь job id, өөрийн явцын хуудсыг авдаг тул браузерээ хааж болно: сургалт серверийн талд үргэлжилж, буцаж ирэх бүрт хуудас шууд төлөвийг харуулдаг.

Сургалтын явцын хуудас

Явц бүр сургалтын явцад бодитоор гарч ирдэг хоёр асуултад хариулдаг тусгай хуудастай: энэ сурч байгаа юу, машин эрүүл юу. Суралцах явц loss, learning rate хуваарь, gradient норм графикаар харагдана. Шууд тэгш болох loss эсвэл дэлбэрч буй gradient норм явцыг хүлээх нь зохисгүй гэдгийг эрт харуулдаг.

Машины эрүүл байдал хажууд харагддаг: GPU ачаалал, санах ой, түүнчлэн сургалтын машины host метрик. Шатны хугацааны шугам явц одоо хаана байгааг харуулдаг, орчин бэлтгэхээс эхлээд өгөгдөл ачаалах, сургалтын циклийн өөрийг нь дамжин, checkpoint байршуулах хүртэл. Ямар нэг зүйл эвгүй харагдвал суулгагдсан лог үзэгч SSH хандалтгүйгээр түүхий сургалтын логуудыг өгдөг, энэ нь ихэвчлэн алдаа өгөгдлийн багцад тань юу эсвэл явцад тань юу байгааг харахад хангалттай.

Checkpoint ба үргэлжлүүлэх

Checkpoint нэгдсэн санд биш, явц бүрд тусад нь хадгалагддаг тул явцын хуудсанд жагссан checkpoint нь ямагт яг тэр явц болон түүний тохиргоонд харьяалагддаг. Энэ харагдахаас илүү чухал: өөр өөр тохиргоотой явцуудын checkpoint-ийг холих нь чимээгүйхэн эвдэрсэн бодлогын сонгодог шалтгаан юм.

Явц тасалдвал шинээр эхлэхийн оронд түүний сүүлийн checkpoint-оос үргэлжлүүлж болно. Завсрын checkpoint нь өөрөө ч ашигтай: урт явц төгсгөл рүүгээ overfitting эхлэхэд өмнөх checkpoint ихэвчлэн жинхэнэ гар дээр эцсийнхээс сайн ажилладаг.

Сургагдсан бодлогыг гар дээрээ ажиллуулах

Дуусгасан бодлогыг шууд роботруу тань буцааж байршуулж болно. Кокпитод холбогдсон гартаа зориулсан сургагдсан бодлогыг сонгож inference эхлүүл: бодлого одоо өмнө нь та телеудирдлагаар үйлдвэрлэдэг байсан үений тушаалуудыг гаргадаг болно. Гар өгөгдлийн багц бичигдсэн яг тэр роботын төрөл байх ёстой, дэлгэц нь камерын байрлал орсон, сургалтын дэлгэцтэй төстэй байх ёстой.

Эхний inference явцуудыг үзүүлэн гэлтгүй туршилт гэж хандаарай. Яаралтай зогсоолтыг гар хүрэх зайд байлга, та демонстрацласан зүйлд ойрхон эхлэх төлөвөөс эхэл, бодлого чиний анзаарахгүй зүйлд мэдрэмтгий байхыг хүлээж бай: зөрсөн камер, өөр гэрэлтүүлэг, эсвэл өгөгдлийн багцад хэзээ ч байгаагүй объект.

Хэдэн эпизод хэрэгтэй вэ

Платформ дээрх хамгийн түгээмэл сургалтын алдаа буруу гиперпараметр биш, хэт бага өгөгдөл дээр сургаад бодлогын төрөл ажиллахгүй гэсэн дүгнэлт хийх явдал юм. Нэг ширээний даалгаврын хувьд ерөнхий дүрэм: ойролцоогоор 50 эпизод демонстрацласантайгаа ойрхон эхлэх төлөвөөс амжилттай ажилладаг нарийн ерөнхийлөлттэй бодлого өгдөг. 100-200 эпизод, эпизодуудын хооронд объектын байрлалыг өөрчилсөн бол, тэр нэг даалгаврын хувьд ажлын орон зайд ашиглах боломжтой бат бэхийг өгдөг.

Илүү чадвартай бодлогын төрлүүд ч энэ дүрмийг цуцалдаггүй. 20 эпизод дээрх GR00T нарийн тохируулга нэвтэрхий байдлаараа муу ерөнхийлөлттэй хэвээр байна; илүү том загварууд чамд юу худалддаг вэ гэвэл өгөгдөл байгаа үед илүү өндөр таазыг л худалддаг. Төсөв тань хязгаарлагдмал бол эхлээд илүү олон, олон янзын эпизодэд, дараа нь илүү том загварт зарцуул.

Түгээмэл асуултууд