Tallenna ensimmäinen LeRobot-tietoaineistosi SO-100:lla

Eräs SO-100 seuraaja, samanlaisen rakenteen omaava johtovarsi ja kaksi USB-kameraa voivat hienosäätää toimintamallia yhden iltapäivän aikana. Sama testipenkki voi yhtä helposti tuottaa kuusikymmentä jaksoa, jotka näyttävät terveiltä tiedostoselaimessa ja tuhlata kuuden tunnin GPU-ajon. Ero on harvoin mallissa; se on siinä, mitä tapahtui servojen ja parquet-tiedoston välillä.

Tässä on manuaalinen reitti, sitten lyhyempi. Jokainen komento on peräisin lerobot 0.6.1:stä, joka julkaistiin 3. elokuuta 2026 ja on ajantasainen PyPI:ssä. Se siirtyi konsolin sisääntulopisteisiin, joten opetusohjelmat, jotka ajavat python lerobot/scripts/control_robot.py kuvaavat tiedostoa, jota ei enää ole olemassa.

Mitä tallennussessio tallentaa

A LeRobot-aineisto ei ole kansio videoita, vaan aika-indeksoitu taulukko, johon on liitetty video: jokainen ohjaussykli kirjoittaa yhden rivin, joka sisältää käsketyn toiminnon, seuraajan saavuttaman tilan, yhden kuvan kameraa kohti, aikaleiman ja indeksit. Politiikka näkee vain nämä sarakkeet. Skeema lerobot/svla_so100_pickplace, luettuna sen meta/info.json-tiedostosta.

Nivelet ovat main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll ja main_gripper: SO-100:n kuusi vapausastetta. Toiminto ja tila jakavat muodon, koska johtaja-seuraaja-etäohjaus tallentaa tavoitteen ja yhden askeleen myöhemmin saavutetun position. Tämä ero on tietoa: missä varsi taisteli painovoimaa tai juuttunutta esinettä vastaan. Nämä merkkijonot ovat kyseisen aineiston. Tänään versiolla 0.6.1 tallennettu istunto kirjoittaa shoulder_pan.pos:sta gripper.pos:iin, tunnukset 1–6 väylällä: samat kuusi niveltä, eri avaimet, mikä on tärkeää heti, kun konfiguraatio viittaa ominaisuuteen nimellä.

Mitä tarvitset työpöydällä

Jos käsivartta ei ole vielä rakennettu, se on erillinen ilta: aloita osoitteesta SO-100:n aloitusopas ja täydellinen SO-100:n asennusopas. Jos et ole vielä ostanut mitään, lue ensin SO-100 vs. SO-101 vertailu: SO-101 on uudempi versio parannellulla johdotuksella ja ilman vaihteiston irrotusvaihetta, ja tallennustyönkulku on identtinen.

Asenna lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Lisäosat aiheuttavat eniten päänvaivaa. pip install lerobot asentaa vain ydin-ML-riippuvuudet, ei mitään, mikä kommunikoi robotin kanssa. Koch-käsivarret tarvitsevat dynamixel sen sijaan, että feetech. Jos komentotulkkisi ei ole koskaan kuullut lerobot-recordista, tämä on syy.

Portit, moottori-ID:t ja kalibrointi

Kolme kertaluonteista vaihetta erottaa osat toimivasta teleoperaatiosilmukasta. mahdollistaa käsivarrellesi koulutetun toimintamallin ajamisen toisen käsivarren kanssa, yhdistäen raa'at enkooderilukemat jaetun nivelkonvention mukaisesti.

1. 1
   Etsi kunkin käsivarren USB-portti

   Suorita se molemmat käsivarret kytkettyinä, irrota tunnistettava käsivarsi kehotettaessa ja pane merkille, mikä portti katoaa. Linuxissa saatat tarvita komennon sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Kirjoita moottori-ID:t ja siirtonopeudet

   ID:t kirjoitetaan yksi moottori kerrallaan, ja ohjeet ovat tarkat siitä, miten: kytke täsmälleen yksi moottori ohjainkorttiin, ei vielä ketjutettuna muihin. Skripti käy ketjun läpi takaperin, pyytäen ensin tarttujaa ja antaen sille ID:n 6, sitten ranteen pyöritykselle 5, aina olkapään panoroinnille 1 asti. Tee tämä ennen kokoamista.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibroi molemmat käsivarret

   Siirrä jokainen nivel liikeratansa keskelle, paina Enter, ja pyyhkäise sitten jokainen läpi koko liikeratansa. id:stä tulee profiilin tiedostonimi.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperointi ennen mitään tallennusta

   Yllä olevan kaiken hyväksymistesti. Jos teleoperaatio on nykivää, peilattua tai jokin nivel ei seuraa, tallennus säilyttää sen 50 episodissa.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamerat päättävät, mitä toimintaperiaate näkee

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Kaksi näkymää, ja niiden sijainnilla on merkitystä: kiinteä näkymäkamera, joka kattaa työtilan, ja rannetason kamera lähellä tarttujaa, joka näyttää, mihin tarttuja on koskettamassa. LeRobotin yhteisön datasettien tarkistuslista edellyttää mieluiten kahta näkymää resoluutiolla 480x640 / 720p tai parempi, staattista taustaa, neutraalia vakaata valaistusta sekä sitä, että ohjaajan käsi ja ihmisen raajat ovat poissa kuvasta. Tallennusopas lisää nyrkkisäännön: sinun tulisi pystyä suorittamaan tehtävä itse vain kamerakuvia katsomalla.

Record-komento ja kaikki liput

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Alla olevat oletusarvot tulevat src/lerobot/configs/dataset.py main-haarasta, eivät opetusohjelmasta. Monet eivät ole sitä, mitä ihmiset olettavat.

Näppäimistöohjaus istunnon aikana

• Oikea nuoli tai n: lopeta jakso tai nollaa vaihe aikaisin. Tämä on näppäin, jota käytät eniten, koska puhdas tarttuminen harvoin vaatii 25 sekuntia.
• Vasen nuoli tai r: hylkää jakso ja tee se uudelleen. Huono otto ei maksa mitään nyt, mutta paljon myöhemmin.
• Escape tai q: pysäytä istunto, viimeistele koodaus, lataa.
• Nämä toimivat X11:ssä, Waylandissa ja päättömässä SSH:ssa: ilman globaalia näppäimistötaustajärjestelmää lerobot-record lukee samat näppäimet ohjaavasta terminaalista. Kirjaimet säilyvät viiveisissä SSH-yhteyksissä, joissa nuolisarjat jakautuvat.
• Näppäimistön etäohjaus on erilaista ja vaatii globaalin taustajärjestelmän: X11, Windows tai macOS esteettömyysominaisuuksilla.

Kuinka monta jaksoa ja miltä hyvä jakso näyttää

Tallennusopas ehdottaa vähintään 50 jaksoa ensimmäiseen tehtävään, noin 10 jaksoa per objektin sijainti. käytäntösivut luettelevat vähimmäismäärän per malli, jonka alapuolella ajo ei ole GPU-ajan arvoinen.

Parempi kysymys on, kuinka monta mitä. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) keräsi yli 40 000 demonstraatiota ja suoritti yli 15 000 todellisen maailman ajoa. Yleistyminen noudatti karkeasti potenssilain mukaista suhdetta ympäristöjen ja objektien, ja kun kynnysarvo per ympäristö tai objekti ylittyi, lisädemostraatioilla oli minimaalinen vaikutus. Yhdellä testipenkissä: siirrä objektia, vaihda valaistusta, vaihda kuutio, sen sijaan että toistaisit yhden otoksen.

Hyvä episodi on tylsä: toistettava aloitusasento, yksi asia tehty, päättyy kun esine on roskakorissa, tehtävämerkkijono tarkistuslistan suosittelemissa 25–50 merkissä. Nosta punainen kuutio ja pudota se laatikkoon on tehtävämerkkijono; task1 on tarkistuslistan nimeämä anti-kuvio. Epämääräiset annotaatiot ovat sen ongelmalistan kärjessä, ja ne ovat tärkeimpiä visuaalisen kielen toimintamallit, missä merkkijono on mallin syöte, ei tiedostonimi.

Virheet, jotka hiljaa pilaavat aineiston

Yksikään ei aiheuta poikkeusta. Kaikki selviävät koulutukseen, ilmestyen tappiokäyränä, joka näyttää hyvältä, ja robottina, joka ei tee mitään. Tarkista, kun kohtaus on asetettu.

Yksi varoitus: suoratoistokoodauksen oppaan taulukko listaa oletusarvon olevan True, kun taas päähaaran dataluokka lukee streaming_encoding: bool = False. Dokumentaatio ja koodi ovat ristiriidassa, joten aseta se eksplisiittisesti; LeRobot kirjaa vihjeen suositellen sitä aina, kun se käynnistyy ilman lippua.

Tarkista aineisto ennen GPU:n vuokraamista

Dokumentaation hyväksymistesti: vertaa videon kestoa CLI:n ilmoittamaan jakson kestoon ja varmista, että rivien määrä vastaa fps kertaa kesto. Jaksoittain, ei kokonaismäärän mukaan.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Tarkastele sitä sitten. lerobot-dataset-viz toistaa jakson ruutu ruudulta nivelten jäljitysten kanssa kameranäkymien vieressä, Rerunissa tai Foxglovessa. Vaihdetut kamerat ja jäätyneet ruudut näkyvät kymmenessä sekunnissa. Ihmiset ohittavat tämän vaiheen.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 tai v3.0: päätä ennen tallennusta

v2.1 kirjoitti yhden parquet- ja yhden MP4-tiedoston per jakso. v3.0 yhdistää useita jaksoja jaettuihin osiin ja rakentaa rajat uudelleen metatiedoista, joten info.json sisältää polkumalleja kuten data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet jaksonumeron sijaan. Ylävirran perustelu on vähemmän, suurempia tiedostoja: nopeampi alustus ja vähemmän tiedostojärjestelmän kuormitusta mittakaavassa.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Kaksi reittiä samaan datajoukkoon

Datasetista toimintamalliin

Viisikymmentä puhdasta jaksoa syöttää jokaisen jäljittelyoppimisen ajon täällä. ACT harjoittelee alusta alkaen pelkästään sinun tehtävääsi varten, noin 80 miljoonaa parametria ja noin 20 ms per toimintavaihe, ainoana viidestä, joka soveltuu nopeaan liikkeeseen. SmolVLA on noin 450 miljoonaa parametria 24 GB:n kortilla. GR00T N1.7 on noin 3 miljardin parametrin perusmalli, jossa hienosäätö koskettaa noin 40 miljoonaa parametria, vaatii A100- tai H100-kortin ja haluaa sen v2.1-datan.

Seuraavaksi opas yhdistelmällesi: ACT SO-100:lla, SmolVLA SO-100:lla tai GR00T N1.7 SO-100:lla; ensimmäistä ajoa varten harjoittele ensimmäinen toimintamallisi on lyhyempi. Kun toimintamalli toimii testipenkissä, mutta romahtaa heti, kun siirrät pöytää, kyseessä on dataongelma: toimintamalli toimii vain yhdessä asetelmassa ja korkealaatuisen VLA-harjoitusdatan kerääminen syventyvät monimuotoisuuteen.