Трениране на policy

Трениране без собствен GPU

Тренирането на policy за манипулация е натоварване за GPU, а съвременните vision-language-action модели се нуждаят от повече VRAM, отколкото има типична работна станция. В AY-Robots тренирането се извършва на облачни GPU, управлявани от платформата: избирате dataset и тип policy, стартирате run-а и следите напредъка му от браузъра. Няма настройка на CUDA, няма съгласуване на драйвери и няма среда за поддръжка.

Входът винаги е облачен dataset от Dashboard > Datasets. Подходящо е всичко, което сте записали чрез сесии за телеоперация или качили във формат LeRobot, включително обединени дейтасети. Подберете съдържанието, преди да трените: епизодите, етикетирани Failure, обикновено нямат място в тренировъчния набор, а десет минути преглед в браузъра за епизоди спестяват часове GPU време, изразходвано за учене от лоши демонстрации.

Поддържани policy

Поддържат се четири семейства policy. Те се различават по размер, разходи за трениране и колко могат да усвоят от вашите данни, така че правилният избор зависи повече от вашата задача и dataset, отколкото от какъвто и да е общ класиране.

Стартиране на run

1. 1
   Изберете dataset

   Отворете Dashboard > Training и изберете dataset-а, върху който да се трени. Показват се броят епизоди и типът робот, за да потвърдите, че сте избрали правилния.

2. 2
   Изберете policy

   Изберете един от поддържаните типове policy. Ако не сте сигурни, започнете с ACT: това е най-евтиният начин да разберете дали вашият dataset изобщо е достатъчно добър, за да се трени нещо върху него.

3. 3
   Стартирайте

   Стартирайте run-а. Той получава job id и собствена страница за run, а вие можете да затворите браузъра: тренирането продължава от страна на сървъра и страницата показва текущото състояние, когато и да се върнете.

Страницата на тренировъчния run

Всеки run има собствена страница, която отговаря на двата въпроса, които наистина имате по време на трениране: учи ли се, и здрава ли е машината. Напредъкът в ученето се показва като графики на loss, разписанието на learning rate и нормата на градиента. Loss, който веднага се изравнява, или норма на градиента, която експлодира, ви казват рано, че не си струва да чакате този run.

До това се показва здравето на машината: натоварване и памет на GPU, плюс метриките на хост машината за трениране. Времева линия на фазите показва къде точно се намира run-ът в момента, от подготовката на средата през зареждането на данните и самия тренировъчен цикъл до качването на checkpoint. Когато нещо изглежда нередно, вграденият преглед на логове ви дава суровите тренировъчни логове без достъп през SSH, което обикновено е достатъчно, за да видите дали проблемът е във вашия dataset, или в самия run.

Checkpoint и продължаване

Checkpoint се съхраняват по run, а не в общ пул, така че checkpoint, изброени на страница за run, винаги принадлежат точно на този run и неговата конфигурация. Това тежи повече, отколкото звучи: смесването на checkpoint между run-ове с различни настройки е класически източник на тихо развалени policy.

Ако run бъде прекъснат, можете да продължите от последния му checkpoint, вместо да започвате отначало. Междинните checkpoint също са полезни сами по себе си: когато дълъг run започне да пренаучава към края, по-ранен checkpoint често работи по-добре на реалната ръка от финалния.

Пускане на тренираната policy на вашата ръка

Готова policy може да бъде пусната директно обратно на вашия робот. В кокпита изберете тренираната policy за свързаната ви ръка и стартирайте инференция: policy сега произвежда командите за ставите, които преди сте произвеждали чрез телеоперация. Ръката трябва да е от същия тип робот, върху който е записан dataset-ът, а сцената трябва да прилича на тренировъчните сцени, включително разположението на камерите.

Третирайте първите run-ове на инференция като експерименти, не като демонстрации. Дръжте аварийното спиране на разстояние, започнете от начално състояние, близко до онова, което сте демонстрирали, и очаквайте, че policy е чувствителна към неща, които вие дори не бихте забелязали: преместена камера, различна светлина или обект, който dataset-ът никога не е съдържал.

Колко епизода са ви нужни

Най-честата грешка при трениране в платформата не е грешен хиперпараметър, а трениране върху твърде малко данни и последващото заключение, че типът policy не работи. Като общо правило за една задача на маса: около 50 епизода дават policy с тясна генерализация, която успява от начални състояния, близки до тези, които сте демонстрирали. Около 100 до 200 епизода дават използваема устойчивост в работното пространство за тази една задача, при условие че сте варирали разположението на обектите между епизодите.

По-способните типове policy не отменят това правило. GR00T дообучение върху 20 епизода все още ще генерализира зле; онова, което по-големите модели ви дават, е по-висок таван, щом данните вече ги има. Ако бюджетът ви е ограничен, изхарчете го първо за повече и по-разнообразни епизоди, после за по-голям модел.

Често задавани въпроси