Trénovanie policy

Trénovanie bez vlastnej GPU

Trénovanie manipulačnej policy je záťaž pre GPU a moderné vision-language-action modely potrebujú viac VRAM, než má typická pracovná stanica. Na AY-Robots beží trénovanie na cloudových GPU, ktoré spravuje platforma: vyberiete dataset a typ policy, spustíte beh a sledujete jeho priebeh z prehliadača. Žiadne nastavovanie CUDA, žiadne zosúlaďovanie ovládačov a žiadne prostredie na údržbu.

Vstupom je vždy cloudový dataset z Dashboard > Datasets. Vhodné je čokoľvek, čo ste nahrali cez relácie teleoperácie alebo nahrali vo formáte LeRobot, vrátane zlúčených datasetov. Pred trénovaním kurátorujte: epizódy označené Failure zvyčajne do tréningovej množiny nepatria a desať minút kontroly v prehliadači epizód ušetrí hodiny času GPU, ktorý by inak padol na učenie sa z chybných demonštrácií.

Podporované policy

Podporujú sa štyri rodiny policy. Líšia sa veľkosťou, nákladmi na trénovanie a tým, koľko dokážu z vašich dát absorbovať, takže správna voľba závisí viac od vašej úlohy a datasetu než od akéhokoľvek všeobecného rebríčka.

Spustenie behu

1. 1
   Vyberte dataset

   Otvorte Dashboard > Training a vyberte dataset, na ktorom sa má trénovať. Zobrazí sa počet epizód a typ robota, aby ste si mohli overiť, že ste vybrali ten správny.

2. 2
   Vyberte policy

   Vyberte jeden z podporovaných typov policy. Ak si nie ste istí, začnite s ACT: je to najlacnejší spôsob, ako zistiť, či je váš dataset vôbec dosť dobrý na to, aby sa na ňom dalo niečo natrénovať.

3. 3
   Spustite

   Spustite beh. Dostane id úlohy a vlastnú stránku behu a prehliadač môžete zavrieť: trénovanie pokračuje na strane servera a stránka po vašom návrate zobrazí aktuálny stav.

Stránka tréningového behu

Každý beh má vlastnú stránku, ktorá odpovedá na dve otázky, ktoré počas trénovania naozaj máte: učí sa a je stroj v poriadku. Pokrok učenia sa zobrazuje ako grafy loss, harmonogramu learning rate a normy gradientu. Loss, ktorý sa okamžite vyrovná, alebo norma gradientu, ktorá vybuchne, vám skoro naznačí, že na tento beh nemá zmysel čakať.

Vedľa toho sa zobrazuje zdravie stroja: vyťaženie a pamäť GPU, plus metriky hostiteľského stroja tréningového servera. Časová os fáz ukazuje, kde sa beh práve nachádza, od prípravy prostredia cez načítavanie dát a samotnú tréningovú slučku až po nahratie checkpointov. Ak niečo vyzerá podozrivo, vstavaný prehliadač logov vám poskytne surové tréningové logy bez prístupu cez SSH, čo väčšinou stačí na to, aby ste zistili, či problém leží vo vašom datasete, alebo v samotnom behu.

Checkpointy a pokračovanie

Checkpointy sa ukladajú podľa behu, nie do zdieľaného poolu, takže checkpointy uvedené na stránke behu vždy patria presne tomuto behu a jeho konfigurácii. To váži viac, než sa zdá: miešanie checkpointov naprieč behmi s rôznymi nastaveniami je klasický zdroj potichu pokazených policy.

Ak sa beh preruší, môžete pokračovať od jeho posledného checkpointu namiesto toho, aby ste začínali odznova. Priebežné checkpointy sú užitočné aj samy osebe: keď dlhý beh smerom ku koncu začne pretrénovávať, skorší checkpoint často funguje na skutočnom ramene lepšie ako finálny.

Spustenie natrénovanej policy na vašom ramene

Hotovú policy možno nasadiť priamo späť na vášho robota. V kokpite vyberte natrénovanú policy pre pripojené rameno a spustite inferenciu: policy teraz produkuje príkazy pre kĺby, ktoré ste predtým vytvárali teleoperáciou. Rameno musí byť rovnaký typ robota, na akom bol dataset nahratý, a scéna by mala pripomínať tréningové scény vrátane umiestnenia kamier.

Prvé behy inferencie berte ako experimenty, nie ako predvádzačky. Držte núdzové zastavenie na dosah, začnite z počiatočného stavu blízkeho tomu, čo ste predviedli, a počítajte s tým, že policy je citlivá na veci, ktoré by ste si ani nevšimli: posunutá kamera, iné svetlo alebo objekt, ktorý dataset nikdy neobsahoval.

Koľko epizód potrebujete

Najčastejšou chybou pri trénovaní na platforme nie je zlý hyperparameter, ale trénovanie na príliš málo dátach a následný záver, že daný typ policy nefunguje. Ako orientačné pravidlo pre jednu úlohu na stole: okolo 50 epizód vám dá policy s úzkou generalizáciou, ktorá uspeje z počiatočných stavov blízkych tým, ktoré ste predviedli. Okolo 100 až 200 epizód dáva použiteľnú robustnosť naprieč pracovným priestorom pre danú jednu úlohu, za predpokladu, že ste medzi epizódami menili umiestnenie objektov.

Schopnejšie typy policy toto pravidlo nerušia. Doladenie GR00T na 20 epizódach bude stále generalizovať zle; to, čo vám väčšie modely kúpia, je vyšší strop, keď už dáta existujú. Ak máte obmedzený rozpočet, minte ho najprv na viac a rôznorodejšie epizódy, potom na väčší model.

Časté otázky