Policy-opleiding

Opleiding sonder jou eie GPU

Om 'n manipulasie-policy op te lei, is 'n GPU-werklading, en moderne vision-language-action-modelle benodig meer VRAM as wat 'n tipiese werkstasie het. Op AY-Robots loop die opleiding op wolk-GPU's wat deur die platform bestuur word: jy kies 'n datastel en 'n policytipe, begin die loop, en volg die vordering vanuit die blaaier. Daar is geen CUDA-opstelling, geen drywerpassing, en geen omgewing om te onderhou nie.

Die toevoer is altyd 'n wolkdatastel vanaf Dashboard > Datasets. Enigiets wat jy deur teleoperasie-sessies opgeneem of in LeRobot-formaat opgelaai het, kom in aanmerking, insluitend saamgevoegde datastelle. Kuratteer voordat jy oplei: episodes met die Failure-etiket hoort gewoonlik nie in die opleidingstel nie, en tien minute se hersiening in die episode-blaaier bespaar ure GPU-tyd wat andersins aan die aanleer van swak demonstrasies bestee word.

Ondersteunde policys

Vier policy-families word ondersteun. Hulle verskil in grootte, opleidingskoste, en hoeveel hulle uit jou data kan opneem, die regte keuse hang dus meer van jou taak en datastel af as van enige algemene rangorde.

'n Loop begin

1. 1
   Kies die datastel

   Maak Dashboard > Training oop en kies die datastel om op op te lei. Die episodetelling en robottipe word gewys sodat jy kan bevestig jy het die regte een gekies.

2. 2
   Kies die policy

   Kies een van die ondersteunde policytipes. As jy onseker is, begin met ACT: dit is die goedkoopste manier om uit te vind of jou datastel goed genoeg is om enigiets op te lei.

3. 3
   Lanseer

   Begin die loop. Dit kry 'n job id en sy eie loop-bladsy, en jy kan die blaaier toemaak: opleiding hou aan die serverkant aan en die bladsy wys die lewende toestand wanneer jy ook al terugkom.

Die opleidingsloop-bladsy

Elke loop het 'n toegewyde bladsy wat die twee vrae beantwoord wat jy werklik het tydens opleiding: leer dit, en is die masjien gesond. Leervordering word gewys as grafieke van die loss, die leertempo-skedule, en die gradiëntnorm. 'n Loss wat onmiddellik plateau bereik of 'n gradiëntnorm wat ontplof, vertel jou vroeg dat die loop nie die moeite werd is om op te wag nie.

Masjiengesondheid word langsaan gewys: GPU-benutting en geheue, plus die gasheerstatistieke van die opleidingsmasjien. 'n Fase-tydlyn wys waar die loop tans is, van omgewingvoorbereiding deur data loading, die opleidinglus self, en kontrolepunt-oplaai. Wanneer iets nie reg lyk nie, gee die ingeboude logbekyker jou die rou opleidinglogs sonder enige SSH-toegang, wat gewoonlik genoeg is om te sien of 'n mislukking jou datastel of die loop self is.

Kontrolepunte en hervatting

Kontrolepunte word per loop gestoor, nie in 'n gedeelde poel nie, sodat die kontrolepunte wat op 'n loop-bladsy gelys word, altyd aan presies daardie loop en sy konfigurasie behoort. Dit maak meer saak as wat dit klink: die vermenging van kontrolepunte oor loops met verskillende instellings is 'n klassieke bron van policys wat stilweg breek.

As 'n loop onderbreek word, kan jy vanaf sy jongste kontrolepunt hervat in plaas daarvan om van voor af te begin. Tussentydse kontrolepunte is ook op hul eie nuttig: wanneer 'n lang loop teen die einde begin oorpas, werk 'n vroeëre kontrolepunt dikwels beter op die regte arm as die finale een.

Die opgeleide policy op jou arm laat loop

'n Voltooide policy kan direk terug na jou robot ontplooi word. Kies in die cockpit die opgeleide policy vir jou gekoppelde arm en begin inferensie: die policy lewer nou die gewrigopdragte op wat jy voorheen deur teleoperasie self gelewer het. Die arm moet dieselfde robottipe wees waarop die datastel opgeneem is, en die toneel moet ooreenstem met die opleidingtonele, insluitend kameraplasing.

Behandel die eerste inferensieloop soos eksperimente, nie demonstrasies nie. Hou die noodstop binne bereik, begin vanaf 'n beginstoestand naby aan wat jy gedemonstreer het, en verwag dat die policy sensitief sal wees vir dinge wat jy nie sal opmerk nie: 'n verskuifde kamera, ander beligting, of 'n voorwerp wat nooit in die datastel was nie.

Hoeveel episodes jy nodig het

Die algemeenste opleidingsfout op die platform is nie 'n verkeerde hiperparameter nie, dit is om op te lei op te min data en te konkludeer dat die policytipe nie werk nie. As 'n vuistreël vir een tafeltaak: ongeveer 50 episodes gee jou 'n policy met nou veralgemening wat slaag vanaf beginstoestande naby aan dié wat jy gedemonstreer het. Ongeveer 100 tot 200 episodes gee bruikbare robuustheid oor die werkruimte vir daardie een taak, mits jy voorwerpplasing tussen episodes gevarieer het.

Meer bekwame policytipes hef dit nie op nie. 'n GR00T fine-tune op 20 episodes sal steeds swak veralgemeen; wat die groter modelle jou koop, is 'n beter plafon sodra die data daar is. As jou begroting beperk is, spandeer dit eers aan meer gevarieerde episodes voordat jy dit aan 'n groter model spandeer.

Gereelde vrae