Įrašykite savo pirmąjį LeRobot duomenų rinkinį su SO-100

SO-100 sekėjas, SO-100 tos pačios konstrukcijos pagrindinė ranka ir dvi USB kameros gali patikslinti politiką per popietę. Tas pats stendas gali taip pat lengvai sukurti šešiasdešimt epizodų, kurie atrodo gerai failų naršyklėje, ir sugaišti šešių valandų GPU vykdymą. Skirtumas retai būna modelyje; tai yra tai, kas nutiko tarp servovariklių ir parquet failo.

Štai rankinis kelias, tada trumpesnis. Kiekviena komanda yra iš lerobot 0.6.1, išleistos 2026 m. rugpjūčio 3 d. ir dabartinės PyPI. Ji persikėlė į konsolės įvesties taškus, todėl pamokos, kurios paleidžia python lerobot/scripts/control_robot.py aprašo failą, kurio nebėra.

Ką užfiksuoja įrašymo sesija

A LeRobot duomenų rinkinys nėra vaizdo įrašų aplankas, o laiku indeksuota lentelė su pridėtu vaizdo įrašu: kiekvienas valdymo ciklo taktas įrašo vieną eilutę, kurioje yra įsakyta veiksena, būsena, kurią pasiekė sekėjas, vienas kadras iš kiekvienos kameros, laiko žyma ir indeksai. Politika mato tik šiuos stulpelius. Schema lerobot/svla_so100_pickplace, perskaityta iš jo meta/info.json.

Jungtys yra main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll ir main_gripper: SO-100 šeši laisvės laipsniai. Veiksena ir būsena turi bendrą formą, nes lyderio-sekėjo teleoperacija įrašo taikinį ir poziciją, pasiektą vienu žingsniu vėliau. Šis tarpas yra informacija: kur ranka kovojo su gravitacija ar įstrigusiu objektu. Šios eilutės priklauso tam duomenų rinkiniui. Sesija, įrašyta su 0.6.1 šiandien, rašo shoulder_pan.pos iki gripper.pos, ID nuo 1 iki 6 magistralėje: tos pačios šešios jungtys, skirtingi raktai, o tai svarbu, kai konfigūracija kreipiasi į funkciją pagal pavadinimą.

Ko jums reikės ant stalo

Jei ranka dar nesurinkta, tai atskiras vakaras: pradėkite nuo SO-100 pradžia ir išsamaus SO-100 nustatymo vadovo. Jei dar nieko nepirkote, pirmiausia perskaitykite SO-100 ir SO-101 palyginimą: SO-101 yra naujesnė versija su patobulintu laidų išdėstymu ir be pavarų nuėmimo žingsnio, o įrašymo eiga yra identiška.

Įdiekite lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Priedai dažniausiai sukelia problemų. pip install lerobot įdiegia tik pagrindines ML priklausomybes, nieko, kas bendrautų su robotu. Koch rankoms reikia dynamixel vietoj feetech. Jei jūsų apvalkalas niekada negirdėjo apie lerobot-record, tai yra priežastis.

Prievadai, variklių ID ir kalibravimas

Trys vienkartiniai žingsniai skiria dalis nuo veikiančios teleoperacijos kilpos. leidžia jūsų rankai apmokytą politiką paleisti ant kito roboto, susiejant neapdorotus kodavimo įrenginio skaičius su bendra jungčių konvencija.

1. 1
   Raskite kiekvienos rankos USB prievadą

   Paleiskite jį prijungus abi rankas, atjunkite tą, kurią identifikuojate, kai būsite paraginti, ir atkreipkite dėmesį, kuris prievadas dingsta. Linux sistemoje gali prireikti sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Įrašykite variklių ID ir perdavimo spartą

   ID rašomi po vieną variklį, o dokumentacija griežtai nurodo, kaip: prijunkite tiksliai vieną variklį prie valdiklio plokštės, dar neprijungtą prie jokio kito. Skriptas eina grandine atgal, pirmiausia prašydamas griebtuvo ir suteikdamas jam ID 6, tada riešo pasukimui ID 5, iki peties pasukimo ID 1. Atlikite tai prieš surinkimą.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibruokite abi rankas

   Perkelkite kiekvieną jungtį į jos diapazono vidurį, paspauskite Enter, tada perbraukite kiekvieną per visą jos diapazoną. id tampa profilio failo pavadinimu.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperuokite prieš ką nors įrašydami

   Viso to, kas išdėstyta aukščiau, priėmimo testas. Jei teleoperacija yra trūkčiojanti, atspindėta arba viena jungtis neseka, įrašymas išsaugo tai 50 epizodų.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameros nustato, ką mato politika

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Du vaizdai, ir jų padėtis yra svarbi: fiksuota scenos kamera, apimanti darbo sritį, ir riešo kamera šalia galinio efektoriaus rodanti, ką griebtuvas ketina paliesti. LeRobot bendruomenės duomenų rinkinių kontrolinis sąrašas prašo pageidautina dviejų vaizdų 480x640 / 720p ar geresnės raiškos, statinio fono, neutralaus stabilaus apšvietimo, o lyderio ranka ir žmogaus galūnės turi būti už kadro. Įrašymo vadovas prideda nykščio taisyklę: turėtumėte gebėti atlikti užduotį patys, žiūrėdami tik į kameros vaizdus.

Įrašymo komanda ir kiekviena vėliavėlė

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Žemiau pateiktos numatytosios reikšmės yra iš src/lerobot/configs/dataset.py pagrindinėje šakoje, o ne iš pamokos. Kelios iš jų nėra tokios, kokių žmonės tikisi.

Klaviatūros valdymas sesijos metu

• Dešinė rodyklė arba n: baigti epizodą arba anksti iš naujo nustatyti fazę. Tai klavišas, kurį naudosite dažniausiai, nes švariam sugriebimui retai prireikia 25 sekundžių.
• Kairė rodyklė arba r: atmesti epizodą ir jį pakartoti. Blogas bandymas dabar nieko nekainuoja, o vėliau kainuos daug.
• Escape arba q: sustabdyti sesiją, užbaigti kodavimą, įkelti.
• Tai veikia X11, Wayland ir SSH be grafinės sąsajos: be globalaus klavišų palaikymo, lerobot-record nuskaito tuos pačius klavišus iš valdymo terminalo. Raidės išlieka veikiančios per vėluojančias SSH jungtis, kur rodyklių sekos gali skilti.
• Klaviatūros teleoperacija yra kitokia ir jai reikalingas globalus palaikymas: X11, Windows arba macOS su prieinamumo funkcijomis.

Kiek epizodų ir kaip atrodo geras epizodas

Įrašymo vadovas siūlo bent 50 epizodų pirmajai užduočiai, maždaug 10 kiekvienai objekto vietai. The politikos puslapiai nurodo minimalų skaičių kiekvienam modeliui, žemiau kurio vykdymas neapsimoka GPU laiko.

Geresnis klausimas yra, kiek ko. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin ir kt., 2024) surinko daugiau nei 40 000 demonstracijų ir atliko daugiau nei 15 000 realaus pasaulio vykdymų. Apibendrinimas apytiksliai atitiko galios dėsnio ryšį su environments and objects, o viršijus tam tikrą slenkstį kiekvienai aplinkai ar objektui, papildomos demonstracijos turėjo minimalų poveikį. Ant vieno stendo: judinkite objektą, keiskite apšvietimą, keiskite kubą, o ne kartokite vieną kadrą.

Geras epizodas yra nuobodus: pakartojama pradinė poza, vienas veiksmas atliktas, baigtas, kai objektas yra dėžėje, užduoties eilutė yra 25–50 simbolių, kaip rekomenduoja kontrolinis sąrašas. Paimkite raudoną kubą ir įdėkite jį į dėžę yra užduoties eilutė; task1 yra antipatternas, kurį kontrolinis sąrašas aiškiai nurodo. Neaiškios anotacijos yra jo problemų sąrašo viršuje ir jos svarbiausios , kur eilutė yra modelio įvestis, o ne failo pavadinimas.

Defektai, kurie tyliai sugadina duomenų rinkinį

Nė vienas neišmeta išimties. Visi išlieka treniruotėse, pasirodydami kaip gerai atrodanti nuostolių kreivė ir nieko nedarantis robotas. Patikrinkite, kol scena yra paruošta.

Vienas įspėjimas: srautinio kodavimo vadovo lentelėje numatytasis nustatymas nurodomas kaip True, o pagrindinėje duomenų klasėje rašoma streaming_encoding: bool = False. Dokumentacija ir kodas nesutampa, todėl nustatykite jį aiškiai; lerobot registruoja užuominą, rekomenduojančią tai daryti, kai tik paleidžiama su išjungtu žymekliu.

Patikrinkite duomenų rinkinį prieš nuomodami GPU

Priėmimo testas iš dokumentacijos: palyginkite vaizdo įrašo trukmę su epizodo trukme, kurią pranešė CLI, ir patvirtinkite, kad eilučių skaičius lygus kadrų per sekundę (fps) ir trukmės sandaugai. Kiekvienam epizodui, ne bendrai sumai.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Tada pažiūrėkite į jį. lerobot-dataset-viz atkuria epizodą kadrą po kadro su jungčių pėdsakais šalia kameros vaizdų, Rerun arba Foxglove aplinkoje. Sukeistos kameros ir užšalę kadrai pasirodo per dešimt sekundžių. Žmonės praleidžia šį žingsnį.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 arba v3.0: nuspręskite prieš įrašydami

v2.1 įrašė po vieną parquet ir vieną MP4 kiekvienam epizodui. v3.0 sujungia daug epizodų į bendrus fragmentus ir atkuria ribas iš metaduomenų, todėl info.json faile yra kelio šablonai, tokie kaip data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet vietoj epizodo numerio. Pagrindinis pagrindimas yra mažiau, didesnių failų: greitesnis inicijavimas ir mažesnis failų sistemos apkrovimas dideliu mastu.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Du keliai į tą patį duomenų rinkinį

Nuo duomenų rinkinio iki politikos

Penkiasdešimt švarių epizodų maitina kiekvieną čia. apmoko nuo nulio tik jūsų užduočiai, apie 80 M parametrų maždaug 20 ms per veiksmo žingsnį, vienintelis iš penkių, patogus greitam judėjimui. yra apie 450 M parametrų 24 GB kortelėje. yra maždaug 3 B parametrų pagrindinis modelis, kuriame paliečia apie 40 M parametrų, reikalauja A100 arba H100 ir nori to v2.1 duomenų rinkinio.

Toliau – jūsų derinio vadovas: , arba ; pirmajam paleidimui, yra trumpesnis. Kai politika veikia ant stalo, bet sugriūva vos pajudinus stalą, tai yra duomenų problema: ir giliau nagrinėja įvairovę.