Навчання policy

Навчання без власного GPU

Навчання policy маніпуляції є навантаженням на GPU, а сучасним vision-language-action моделям потрібно більше VRAM, ніж є в типовій робочій станції. На AY-Robots навчання йде на хмарних GPU, якими керує платформа: ви обираєте датасет і тип policy, запускаєте навчання і спостерігаєте за прогресом із браузера. Не потрібно налаштовувати CUDA, підбирати драйвери і підтримувати середовище.

Вхідними даними завжди слугує хмарний датасет із Dashboard > Datasets. Підходить усе, що ви записали через сесії телеоперації або завантажили у форматі LeRobot, зокрема об'єднані датасети. Куруйте перед навчанням: епізоди з міткою Failure зазвичай мають лишатися поза навчальною вибіркою, а десять хвилин перегляду в переглядачі епізодів економлять години часу GPU, витраченого на навчання за поганими демонстраціями.

Підтримувані policy

Підтримується чотири родини policy. Вони різняться розміром, вартістю навчання і тим, скільки здатні увібрати з ваших даних, тож правильний вибір залежить радше від вашого завдання й датасету, ніж від якогось загального рейтингу.

Запуск навчання

1. 1
   Оберіть датасет

   Відкрийте Dashboard > Training і оберіть датасет для навчання. Показано кількість епізодів і тип робота, щоб ви могли переконатися, що обрали потрібний.

2. 2
   Оберіть policy

   Оберіть один із підтримуваних типів policy. Якщо не впевнені, почніть з ACT: це найдешевший спосіб дізнатися, чи достатньо хороший ваш датасет, щоб на ньому взагалі щось навчити.

3. 3
   Запустіть

   Запустіть навчання. Воно отримує job id і власну сторінку запуску, і ви можете закрити браузер: навчання триває на сервері, а сторінка показує поточний стан щоразу, коли ви повертаєтеся.

Сторінка запуску навчання

У кожного запуску є окрема сторінка, яка відповідає на два питання, що справді виникають під час навчання: чи навчається модель і чи здорова машина. Прогрес навчання показано графіками loss, розкладу learning rate і норми градієнта. Loss, що одразу виходить на плато, або норма градієнта, що вибухає, рано підказують, що запуск не варто чекати.

Здоров'я машини показано поруч: завантаження і пам'ять GPU, плюс метрики хоста машини навчання. Часова шкала фаз показує, на якому етапі зараз перебуває запуск, від підготовки середовища через завантаження даних і сам цикл навчання до завантаження чекпоінта. Коли щось виглядає не так, вбудований переглядач логів дає вам сирі логи навчання без будь-якого SSH-доступу, чого зазвичай досить, щоб зрозуміти, чи справа в датасеті, чи в самому запуску.

Чекпоінти і відновлення

Чекпоінти зберігаються за запусками, а не в спільному пулі, тому чекпоінти, перелічені на сторінці запуску, завжди належать саме цьому запуску і його конфігурації. Це важливіше, ніж здається: змішування чекпоінтів між запусками з різними налаштуваннями це класичне джерело непомітно зламаних policy.

Якщо запуск переривається, ви можете відновити його з останнього чекпоінта, замість того щоб починати спочатку. Проміжні чекпоінти корисні й самі собою: коли довгий запуск починає перенавчатися ближче до кінця, більш ранній чекпоінт часто працює на справжній руці краще, ніж фінальний.

Запуск навченої policy на вашій руці

Готову policy можна розгорнути прямо назад на вашого робота. У кокпіті оберіть навчену policy для підключеної руки і запустіть інференс: тепер policy виробляє команди на суглоби, які раніше виробляли ви через телеоперацію. Рука має бути того самого типу робота, на якому записано датасет, а сцена має нагадувати навчальні сцени, зокрема розташування камер.

Ставтеся до перших запусків інференсу як до експериментів, а не як до демонстрацій. Тримайте аварійну зупинку напоготові, починайте з початкового стану, близького до того, що ви демонстрували, і очікуйте, що policy виявиться чутливою до речей, яких ви б не помітили: зсунута камера, інше освітлення чи предмет, якого в датасеті ніколи не було.

Скільки епізодів потрібно

Найпоширеніша помилка навчання на платформі це не неправильний гіперпараметр, а навчання на занадто малій кількості даних із висновком, що цей тип policy не працює. Як емпіричне правило для одного завдання на столі: близько 50 епізодів дають policy з вузькою генералізацією, яка справляється, починаючи зі станів, близьких до продемонстрованих. Близько 100–200 епізодів дають придатну стійкість по всьому робочому простору для цього одного завдання, за умови що ви варіювали розташування об'єктів між епізодами.

Більш здатні типи policy цього не скасовують. Донавчання GR00T на 20 епізодах усе одно погано генералізуватиметься; що дають більші моделі, так це вищу стелю, коли дані вже є. Якщо бюджет обмежений, витратьте його спершу на різноманітніші епізоди, а не на більшу модель.

Часті запитання