Работа с дейтасети

Форматът на dataset LeRobot

AY-Robots съхранява всички демонстрационни данни във формат dataset LeRobot, поддържан от Hugging Face. Практическото предимство е преносимостта: dataset, записан тук, се зарежда директно в тренировъчен код, базиран на LeRobot, а дейтасети, записани другаде в същия формат, могат да бъдат качени и използвани в платформата без преобразуване.

Dataset е колекция от епизоди. Един епизод е един цялостен опит за изпълнение на задача, от определено начално състояние до момента, в който сте спрели записа. На диска един епизод е разделен на три вида файлове: файл Parquet с числовите потоци, по един видео файл за камера и метаданни, които свързват всичко.

Схемата на признаците в info.json е това, което тренировъчният код чете, за да разбере вашите данни: кои ключове за наблюдение съществуват, техните форми и честотата на записа. Два дейтасета са съвместими само ако схемите им съвпадат, и точно това проверява валидацията при обединяване.

Стойностите на ставите са проценти, не градуси

Всички стойности на ставите в дейтасетите на AY-Robots са нормализирани по LeRobot: всяка стойност е в диапазона от -100 до 100 и представлява процент от калибрирания диапазон на съответната става, а не ъгъл в градуси. Стойност 0 е центърът на калибрирания диапазон, -100 и 100 са неговите граници.

Облачни дейтасети в таблото

Dashboard > Datasets показва вашите облачни дейтасети с брой епизоди, размери на файлове и статус на събиране. Дейтасети се създават автоматично, когато сесия за телеоперация записва данни, а можете и изрично да създадете такъв и да го попълните, като качите записи от настолния клиент.

• Създаване: нови дейтасети се появяват автоматично от сесии, или създайте празен и качете в него.
• Преименуване: сменете показваното име по всяко време; промяната не засяга самите данни.
• Изтриване: премахва dataset-а с всички негови епизоди и файлове. Изтриването е окончателно, така че изтеглете архив предварително, ако може да ви потрябват данните отново.

Браузърът за епизоди

Отварянето на dataset ви отвежда до браузъра за епизоди. Всеки епизод има видеоплейър за своите видео потоци от камери и синхронизирани графики на ставите, които изчертават нормализираните стойности на ставите през целия епизод. Превъртането на видеото премества и курсора в графиката заедно с него, което прави откриването на проблеми бързо: резко приближаване се проявява като скокове в графиките, неуспешно захващане е видимо в канала на захвата дори преди изобщо да погледнете видеото.

Етикети на епизоди: Success, Recovery, Failure

Всеки епизод може да носи един от три етикета. Success отбелязва чиста демонстрация на задачата. Recovery отбелязва епизод, в който по средата на опита нещо се е объркало и вие сте го коригирали; такива епизоди са ценни, защото учат policy как да се върне обратно на правилния път. Failure отбелязва епизоди, които не са достигнали целта и обикновено трябва да останат извън тренирането. Етикетирането по време на преглед е много по-евтино от отстраняването на грешки на policy, която тихомълком се е научила от лоши демонстрации.

Обединяване на дейтасети

Обединяването комбинира няколко записа в един по-голям dataset, например седмица сесии по една и съща задача или записи от две калибрирани ръце. Обединяването приема няколко архива tar.gz, всеки съдържащ dataset LeRobot, и произвежда един-единствен dataset с преиндексирани епизоди.

1. 1
   Подгответе архивите

   Всеки вход трябва да бъде пълен dataset LeRobot, опакован като архив tar.gz, включително директорията meta. Непълни архиви без info.json не могат да бъдат валидирани и се отхвърлят.

2. 2
   Качете няколко архива

   В Dashboard > Datasets стартирайте обединяване и изберете всички архиви tar.gz, които искате да комбинирате, в една стъпка.

3. 3
   Валидация

   Платформата проверява дали fps, схемата на признаците и robot_type съвпадат във всички входове. Ако някое от трите се различава, обединяването се отхвърля с посочено несъответствие, защото комбиниран dataset с непоследователни потоци тихомълком би повредил тренирането.

4. 4
   Прегледайте резултата

   Обединеният dataset се появява в списъка ви с комбинирания брой епизоди. Отворете браузъра за епизоди и направете извадкова проверка на няколко епизода от всеки източник, преди да трените върху него.

Трите правила за съвместимост са строги нарочно. Различни честоти на кадрите променят значението на всяка времева стъпка, несъответствия в схемата чупят зареждащите модули направо, а смесените типове роботи произвеждат dataset, върху който нито една policy не може да действа. Комбинирането на данни от различни ръце на един и същ модел, напротив, е напълно наред: robot_type се отнася за модела, не за конкретния физически екземпляр.

Пазарът за дейтасети

Пазарът ви позволява да купувате дейтасети, записани от други, и да продавате собствените си. Закупените дейтасети пристигат в таблото ви в същото оформление на LeRobot като собствените ви записи, така че работят без допълнителни стъпки с браузъра за епизоди, обединяването и тренирането.

Ако продавате, подберете съдържанието, преди да го публикувате. Прегледайте епизодите, етикетирайте ги честно и се уверете, че текстовете на задачите описват това, което наистина се случва в записите. Купувач, който оценява вашия dataset, вижда същия браузър за епизоди като вас, а дейтасети с чисти етикети и последователни демонстрации струват повече от сурови купчини от всичко, което някога сте записали.

Често задавани въпроси