Policyn koulutus

Koulutus ilman omaa GPU:ta

Manipulaatiopolicyn koulutus on GPU-työkuorma, ja modernit vision-language-action-mallit tarvitsevat enemmän VRAM-muistia kuin tyypillisessä työasemassa on. AY-Robotsissa koulutus ajetaan alustan hallinnoimilla pilvi-GPU:illa: valitset datasetin ja policytyypin, käynnistät ajon ja seuraat sen edistymistä selaimesta. Ei CUDA-asetuksia, ei ajurien täsmäytystä, eikä ympäristöä ylläpidettäväksi.

Syöte on aina pilvidataset kohdasta Dashboard > Datasets. Kaikki teleoperointi-istunnoilla tallentamasi tai LeRobot-muodossa lataamasi kelpaa, mukaan lukien yhdistetyt datasetit. Kuratoi ennen koulutusta: Failure-merkityt episodit eivät yleensä kuulu koulutusjoukkoon, ja kymmenen minuutin tarkastus episodiselaimessa säästää tunteja GPU-aikaa, joka muuten kuluisi huonoista demonstraatioista oppimiseen.

Tuetut policyt

Tuettuna on neljä policyperhettä. Ne eroavat koossa, koulutuskustannuksissa ja siinä, kuinka paljon ne pystyvät omaksumaan datastasi, joten oikea valinta riippuu enemmän tehtävästäsi ja datasetistäsi kuin mistään yleisestä paremmuusjärjestyksestä.

Ajon käynnistäminen

1. 1
   Valitse dataset

   Avaa Dashboard > Training ja valitse dataset, jolla haluat kouluttaa. Episodimäärä ja robottityyppi näytetään, jotta voit varmistaa valinneesi oikean.

2. 2
   Valitse policy

   Valitse yksi tuetuista policytyypeistä. Jos olet epävarma, aloita ACT:sta: se on halvin tapa selvittää, onko datasetisi tarpeeksi hyvä kouluttamaan mitään ylipäätään.

3. 3
   Käynnistä

   Käynnistä ajo. Se saa job-id:n ja oman ajosivunsa, ja voit sulkea selaimen: koulutus jatkuu palvelinpuolella, ja sivu näyttää nykyisen tilan aina kun palaat.

Koulutusajon sivu

Jokaisella ajolla on oma sivunsa, joka vastaa niihin kahteen kysymykseen, jotka sinulla oikeasti on koulutuksen aikana: oppiiko se, ja onko kone terve. Oppimisen edistyminen näytetään kaavioina lossista, oppimisnopeuden aikataulusta ja gradienttinormista. Loss, joka tasoittuu heti, tai gradienttinormi, joka räjähtää, kertoo varhain, ettei ajoa kannata odottaa loppuun.

Koneen terveys näytetään vieressä: GPU:n käyttöaste ja muisti, sekä koulutuskoneen isäntämittarit. Vaiheaikajana näyttää, missä ajo on tällä hetkellä, ympäristön valmistelusta datan lataukseen, itse koulutussilmukkaan ja checkpointin lataukseen. Kun jokin näyttää epäilyttävältä, sisäänrakennettu lokinäkymä antaa sinulle raa'at koulutuslokit ilman SSH-yhteyttä, mikä yleensä riittää selvittämään, johtuuko virhe datasetistäsi vai itse ajosta.

Checkpointit ja jatkaminen

Checkpointit tallennetaan ajokohtaisesti, ei jaettuun poolin, joten ajosivulla listatut checkpointit kuuluvat aina täsmälleen kyseiseen ajoon ja sen konfiguraatioon. Tämä merkitsee enemmän kuin miltä kuulostaa: checkpointien sekoittaminen eri asetuksilla ajettujen ajojen välillä on klassinen syy huomaamatta rikkoutuneisiin policyihin.

Jos ajo keskeytyy, voit jatkaa sen viimeisimmästä checkpointista sen sijaan, että aloittaisit alusta. Väliaikaiset checkpointit ovat myös hyödyllisiä sellaisenaan: kun pitkä ajo alkaa ylisovittua loppua kohti, aikaisempi checkpoint toimii usein paremmin oikealla käsivarrella kuin viimeinen.

Koulutetun policyn ajaminen käsivarrellasi

Valmiin policyn voi ottaa suoraan käyttöön takaisin robotillasi. Ohjaamossa valitset koulutetun policyn yhdistetylle käsivarrellesi ja käynnistät päättelyn: policy tuottaa nyt ne nivelkomennot, jotka aiemmin tuotit teleoperoinnilla. Käsivarren täytyy olla sama robottityyppi, jolla dataset tallennettiin, ja näkymän tulisi muistuttaa koulutusnäkymiä, mukaan lukien kameran sijoittelu.

Kohtele ensimmäisiä päättelyajoja kokeiluina, ei esittelyinä. Pidä hätäpysäytys ulottuvillasi, aloita demonstroimaasi lähellä olevasta alkutilasta, ja odota policyn olevan herkkä asioille, joita et itse huomaisi: siirretty kamera, erilainen valaistus tai esine, jota dataset ei koskaan sisältänyt.

Kuinka monta episodia tarvitset

Yleisin koulutusvirhe alustalla ei ole väärä hyperparametri, vaan liian vähäisellä datalla kouluttaminen ja johtopäätös, ettei policytyyppi toimi. Nyrkkisääntönä yhdelle pöytätehtävälle: noin 50 episodia antaa policyn, jolla on kapea yleistyminen ja joka onnistuu demonstroimiasi lähellä olevista alkutiloista. Noin 100-200 episodia antaa käyttökelpoisen vankkuuden koko työtilassa kyseiselle tehtävälle, kunhan vaihtelit esineiden sijoittelua episodien välillä.

Kyvykkäämmät policytyypit eivät kumoa tätä. GR00T-hienosäätö 20 episodilla yleistyy silti huonosti; suuremmat mallit ostavat sinulle paremman kattorajan vasta, kun dataa on riittävästi. Jos budjettisi on rajallinen, käytä se ensin useampiin vaihteleviin episodeihin ennen suurempaa mallia.

Usein kysytyt kysymykset