Antrenarea policy

Antrenare fără propriul GPU

Antrenarea unei policy de manipulare este o sarcină pentru GPU, iar modelele moderne vision-language-action au nevoie de mai mult VRAM decât are o stație de lucru obișnuită. Pe AY-Robots, antrenarea rulează pe GPU-uri în cloud gestionate de platformă: alegeți un set de date și un tip de policy, porniți rularea și urmăriți progresul din browser. Nu este nevoie de configurare CUDA, de potrivirea driverelor sau de întreținerea unui mediu.

Intrarea este întotdeauna un set de date din cloud, din Dashboard > Datasets. Orice ați înregistrat prin sesiuni de teleoperare sau ați încărcat în format LeRobot este eligibil, inclusiv seturile de date îmbinate. Curatoriați înainte de a antrena: episoadele etichetate Failure de regulă nu au ce căuta în setul de antrenare, iar zece minute de revizuire în browserul de episoade economisesc ore de timp GPU cheltuit pe învățarea din demonstrații proaste.

Policy suportate

Sunt suportate patru familii de policy. Diferă prin dimensiune, cost de antrenare și cât de mult pot absorbi din datele dumneavoastră, deci alegerea corectă depinde mai mult de sarcina și setul dumneavoastră de date decât de orice clasament general.

Pornirea unei rulări

1. 1
   Alegeți setul de date

   Deschideți Dashboard > Training și selectați setul de date pe care vreți să antrenați. Numărul de episoade și tipul robotului sunt afișate pentru a confirma că ați ales cel corect.

2. 2
   Alegeți policy

   Selectați unul dintre tipurile de policy suportate. Dacă nu sunteți sigur, începeți cu ACT: este cea mai ieftină cale de a afla dacă setul dumneavoastră de date este suficient de bun pentru a antrena orice.

3. 3
   Lansați

   Porniți rularea. Aceasta primește un job id și o pagină proprie de rulare, iar dumneavoastră puteți închide browserul: antrenarea continuă pe server, iar pagina arată starea live de fiecare dată când reveniți.

Pagina rulării de antrenare

Fiecare rulare are o pagină dedicată care răspunde la cele două întrebări pe care le aveți de fapt în timpul antrenării: învață și este mașina sănătoasă. Progresul învățării este afișat ca grafice ale loss-ului, ale programului learning rate și ale normei gradientului. Un loss care se stabilizează imediat sau o normă a gradientului care explodează vă spun devreme că nu merită să așteptați rularea respectivă.

Alături este afișată sănătatea mașinii: utilizarea și memoria GPU, plus metricile hostului mașinii de antrenare. O cronologie a fazelor arată unde se află rularea în prezent, de la pregătirea mediului, prin încărcarea datelor și bucla de antrenare propriu-zisă, până la încărcarea checkpoint-ului. Când ceva pare în neregulă, vizualizatorul de jurnale integrat oferă jurnalele brute de antrenare fără niciun acces SSH, ceea ce este de obicei suficient pentru a vedea dacă eșecul provine din setul dumneavoastră de date sau din rularea în sine.

Checkpoint-uri și reluare

Checkpoint-urile sunt stocate per rulare, nu într-un pool comun, astfel încât checkpoint-urile listate pe o pagină de rulare aparțin întotdeauna exact acelei rulări și configurației sale. Acest lucru contează mai mult decât pare: amestecarea checkpoint-urilor între rulări cu setări diferite este o sursă clasică de policy stricate silențios.

Dacă o rulare este întreruptă, puteți relua de la ultimul ei checkpoint, în loc să porniți de la zero. Checkpoint-urile intermediare sunt utile și de sine stătător: când o rulare lungă începe să supraînvețe spre final, un checkpoint anterior funcționează adesea mai bine pe brațul real decât cel final.

Rularea policy antrenate pe brațul dumneavoastră

O policy finalizată poate fi redistribuită direct pe robotul dumneavoastră. În cockpit, selectați policy antrenată pentru brațul dumneavoastră conectat și porniți inferența: policy produce acum comenzile de articulații pe care înainte le produceați dumneavoastră prin teleoperare. Brațul trebuie să fie de același tip de robot pe care a fost înregistrat setul de date, iar scena ar trebui să semene cu scenele de antrenare, inclusiv poziționarea camerelor.

Tratați primele rulări de inferență ca experimente, nu ca demonstrații. Țineți oprirea de urgență la îndemână, porniți dintr-o stare inițială apropiată de ceea ce ați demonstrat și așteptați-vă ca policy să fie sensibilă la lucruri pe care nu le-ați observa: o cameră mutată, o iluminare diferită sau un obiect pe care setul de date nu l-a conținut niciodată.

Câte episoade aveți nevoie

Cea mai frecventă greșeală de antrenare pe platformă nu este un hiperparametru greșit, ci antrenarea pe prea puține date, urmată de concluzia că tipul de policy nu funcționează. Ca regulă generală pentru o singură sarcină pe masă: în jur de 50 de episoade produc o policy cu generalizare îngustă, care reușește din stări inițiale apropiate de cele demonstrate. Aproximativ 100 până la 200 de episoade oferă o robustețe utilizabilă în tot spațiul de lucru pentru sarcina respectivă, cu condiția să fi variat poziționarea obiectelor între episoade.

Tipurile de policy mai capabile nu anulează această regulă. Un fine-tune GR00T pe 20 de episoade tot va generaliza slab; ceea ce modelele mai mari vă oferă este un plafon mai ridicat odată ce datele există. Dacă bugetul dumneavoastră este limitat, cheltuiți-l mai întâi pe episoade mai numeroase și mai variate, abia apoi pe un model mai mare.

Întrebări frecvente