Робота з датасетами

Формат датасету LeRobot

AY-Robots зберігає всі дані з демонстраціями у форматі датасету LeRobot, який підтримує Hugging Face. Практична вигода, це переносимість: датасет, записаний тут, завантажується напряму в код навчання на основі LeRobot, а датасети, записані десь-інде в тому самому форматі, можна завантажити й використати на платформі без конвертації.

Датасет є набором епізодів. Один епізод, це одна повна спроба виконати завдання, від заданого початкового стану до моменту, коли ви зупинили запис. На диску епізод розбито на три види файлів: Parquet-файл із числовими потоками, по одному відеофайлу на камеру і метадані, що пов'язують усе разом.

Схема ознак у info.json, це те, що код навчання читає, щоб зрозуміти ваші дані: які ключі спостереження існують, їхні форми і частота запису. Два датасети сумісні лише тоді, коли їхні схеми збігаються, і саме це перевіряє валідація при злитті.

Значення суглобів задаються у відсотках, а не в градусах

Усі значення суглобів у датасетах AY-Robots нормалізовані за LeRobot: кожне значення лежить у діапазоні від -100 до 100 і являє собою відсоток від каліброваного діапазону цього суглоба, а не кут у градусах. Значення 0 відповідає центру каліброваного діапазону, а -100 і 100, його межам.

Хмарні датасети в дашборді

Dashboard > Datasets перелічує ваші хмарні датасети з кількістю епізодів, розмірами файлів і статусом збору. Датасети створюються автоматично, коли сесія телеоперації записує дані, а також можна створити датасет явно і заповнити його, завантажуючи записи з десктопного клієнта.

• Створення: нові датасети з'являються із сесій автоматично, або створіть порожній і завантажуйте в нього.
• Перейменування: змініть відображуване ім'я в будь-який момент; зміна не торкається самих даних.
• Видалення: видаляє датасет і всі його епізоди й файли. Видалення незворотне, тож спершу завантажте архів, якщо дані можуть знадобитися знову.

Переглядач епізодів

Відкриття датасету веде в переглядач епізодів. У кожного епізоду є відеоплеєр для його камерних потоків і синхронізовані графіки суглобів, що відображають нормалізовані значення суглобів протягом епізоду. Прокручування відео рухає курсор графіка разом із ним, що дає змогу швидко помічати проблеми: уривчастий підхід виявляється як сплески на графіках, невдалий захват видно в каналі захвата ще до того, як ви подивитеся відео.

Мітки епізодів: Success, Recovery, Failure

Кожен епізод може нести одну з трьох міток. Success позначає чисту демонстрацію завдання. Recovery позначає епізод, де щось пішло не так посеред спроби, і ви це виправили; такі епізоди цінні, бо вчать policy повертатися на правильний шлях. Failure позначає епізоди, що не досягли мети і зазвичай мають залишатися поза навчанням. Розмітка під час перегляду коштує набагато дешевше, ніж налагодження policy, яка непомітно навчилася на поганих демонстраціях.

Злиття датасетів

Злиття об'єднує кілька записів в один більший датасет, наприклад тиждень сесій за одним завданням або записи з двох каліброваних рук. Злиття приймає кілька архівів tar.gz, кожен з яких містить датасет LeRobot, і виробляє один датасет з переіндексованими епізодами.

1. 1
   Підготуйте архіви

   Кожен вхід має бути повним датасетом LeRobot, упакованим в архів tar.gz, включно з його каталогом meta. Часткові архіви без info.json неможливо провалідувати, і вони відхиляються.

2. 2
   Завантажте кілька архівів

   У Dashboard > Datasets почніть злиття і оберіть усі архіви tar.gz, які хочете об'єднати, за один крок.

3. 3
   Валідація

   Платформа перевіряє, що fps, схема ознак і robot_type збігаються в усіх вхідних даних. Якщо хоча б одне з трьох відрізняється, злиття відхиляється із зазначенням невідповідності, бо об'єднаний датасет із неузгодженими потоками непомітно зіпсує навчання.

4. 4
   Перевірте результат

   Об'єднаний датасет з'являється у вашому списку із сумарною кількістю епізодів. Відкрийте переглядач епізодів і вибірково перевірте кілька епізодів із кожного джерела, перш ніж навчатися на ньому.

Три правила сумісності суворі навмисно. Невідповідність частоти кадрів змінює сенс кожного часового кроку, невідповідність схеми ламає завантажувачі напряму, а змішування типів роботів дає датасет, на якому не зможе діяти жодна policy. Якщо потрібно об'єднати дані з різних рук однієї моделі, це нормально: robot_type стосується моделі, а не фізичного екземпляра.

Маркетплейс датасетів

Маркетплейс дає змогу купувати датасети, записані іншими, і продавати власні. Куплені датасети потрапляють у ваш дашборд у тому самому розкладі LeRobot, що й ваші власні записи, тому вони працюють із переглядачем епізодів, злиттям і навчанням без додаткових кроків.

Якщо продаєте, куруйте перед виставленням на продаж. Перегляньте епізоди, розмітьте їх чесно і переконайтеся, що рядки завдань описують те, що справді відбувається в записах. Покупець, що оцінює ваш датасет, бачить той самий переглядач епізодів, що і ви, а датасети з чистою розміткою і послідовними демонстраціями коштують більше, ніж сирі звалища всього, що ви коли-небудь записали.

Часті запитання