Работа с датасетами

Формат датасета LeRobot

AY-Robots хранит все данные с демонстрациями в формате датасета LeRobot, который поддерживает Hugging Face. Практическая выгода состоит в переносимости: датасет, записанный здесь, загружается напрямую в код обучения на основе LeRobot, а датасеты, записанные где-то ещё в том же формате, можно загрузить и использовать на платформе без конвертации.

Датасет представляет собой набор эпизодов. Один эпизод представляет собой одну полную попытку выполнить задачу, от заданного начального состояния до момента, когда вы остановили запись. На диске эпизод разбит на три вида файлов: Parquet-файл с числовыми потоками, по одному видеофайлу на камеру и метаданные, которые связывают всё вместе.

Схема признаков в info.json это то, что код обучения читает, чтобы понять ваши данные: какие ключи наблюдения существуют, их формы и частота записи. Два датасета совместимы только тогда, когда их схемы совпадают, и именно это проверяет валидация при слиянии.

Значения суставов задаются в процентах, а не в градусах

Все значения суставов в датасетах AY-Robots нормализованы по LeRobot: каждое значение лежит в диапазоне от -100 до 100 и представляет процент от калиброванного диапазона этого сустава, а не угол в градусах. Значение 0 соответствует центру калиброванного диапазона, а -100 и 100, его пределам.

Облачные датасеты в дашборде

Dashboard > Datasets перечисляет ваши облачные датасеты с количеством эпизодов, размерами файлов и статусом сбора. Датасеты создаются автоматически, когда сессия телеоперации записывает данные, а также можно создать датасет явно и заполнить его, загружая записи из десктопного клиента.

• Создание: новые датасеты появляются из сессий автоматически, либо создайте пустой и загружайте в него.
• Переименование: измените отображаемое имя в любой момент; изменение не затрагивает сами данные.
• Удаление: удаляет датасет и все его эпизоды и файлы. Удаление необратимо, поэтому сначала скачайте архив, если данные могут снова понадобиться.

Браузер эпизодов

Открытие датасета приводит в браузер эпизодов. У каждого эпизода есть видеоплеер для его камерных потоков и синхронизированные графики суставов, которые отображают нормализованные значения суставов на протяжении эпизода. Прокрутка видео двигает курсор графика вместе с ним, что позволяет быстро замечать проблемы: рывками выполненный подход проявляется как всплески на графиках, неудавшийся захват виден в канале захвата ещё до того, как вы посмотрите видео.

Метки эпизодов: Success, Recovery, Failure

Каждый эпизод может нести одну из трёх меток. Success отмечает чистую демонстрацию задачи. Recovery отмечает эпизод, где что-то пошло не так посреди попытки, и вы это исправили; такие эпизоды ценны, потому что учат policy возвращаться на верный путь. Failure отмечает эпизоды, которые не достигли цели и обычно должны оставаться вне обучения. Разметка во время просмотра обходится намного дешевле, чем отладка policy, которая незаметно обучилась на плохих демонстрациях.

Слияние датасетов

Слияние объединяет несколько записей в один более крупный датасет, например неделю сессий по одной задаче или записи с двух откалиброванных рук. Слияние принимает несколько архивов tar.gz, каждый из которых содержит датасет LeRobot, и производит один датасет с переиндексированными эпизодами.

1. 1
   Подготовьте архивы

   Каждый вход должен быть полным датасетом LeRobot, упакованным в архив tar.gz, включая его каталог meta. Частичные архивы без info.json нельзя провалидировать, и они отклоняются.

2. 2
   Загрузите несколько архивов

   В Dashboard > Datasets начните слияние и выберите все архивы tar.gz, которые хотите объединить, за один шаг.

3. 3
   Валидация

   Платформа проверяет, что fps, схема признаков и robot_type совпадают во всех входных данных. Если хотя бы одно из трёх различается, слияние отклоняется с указанием несовпадения, потому что объединённый датасет с несогласованными потоками незаметно испортит обучение.

4. 4
   Проверьте результат

   Объединённый датасет появляется в вашем списке с суммарным количеством эпизодов. Откройте браузер эпизодов и выборочно проверьте несколько эпизодов из каждого источника, прежде чем обучаться на нём.

Три правила совместимости строги намеренно. Несовпадение частоты кадров меняет смысл каждого временного шага, несовпадение схемы ломает загрузчики напрямую, а смешение типов роботов даёт датасет, на котором не сможет действовать ни одна policy. Если нужно объединить данные с разных рук одной и той же модели, это нормально: robot_type относится к модели, а не к физическому экземпляру.

Маркетплейс датасетов

Маркетплейс позволяет покупать датасеты, записанные другими, и продавать собственные. Купленные датасеты попадают в ваш дашборд в той же раскладке LeRobot, что и ваши собственные записи, поэтому они работают с браузером эпизодов, слиянием и обучением без дополнительных шагов.

Если продаёте, курируйте перед выставлением на продажу. Просмотрите эпизоды, разметьте их честно и убедитесь, что строки задач описывают то, что действительно происходит в записях. Покупатель, оценивающий ваш датасет, видит тот же браузер эпизодов, что и вы, а датасеты с чистой разметкой и последовательными демонстрациями стоят больше, чем сырые свалки всего, что вы когда-либо записали.

Частые вопросы