Salvesta oma esimene LeRoboti andmestik SO-100-ga

Üks SO-100 jälgija, sama disainiga juhtkäsi ja kaks USB-kaamerat saavad poliitikat pärastlõunal peenhäälestada. Sama testpink suudab sama hõlpsalt toota kuuskümmend episoodi, mis näevad failibrauseris terved välja ja raiskavad kuuetunnise GPU tööaja. Erinevus on harva mudelis; see on see, mis juhtus servode ja parquet-faili vahel.

Siin on käsitsi tee, seejärel lühem. Iga käsk on pärit lerobot 0.6.1-st, mis ilmus 3. augustil 2026 ja on PyPI-s praegune. See liikus konsooli sisenemispunktidesse, nii et õpetused, mis käivitavad python lerobot/scripts/control_robot.py kirjeldavad faili, mida enam ei eksisteeri.

Mida salvestusseanss jäädvustab

A LeRoboti andmestik ei ole videokaust, vaid ajaliselt indekseeritud tabel koos lisatud videoga: iga juhtsilmuse takti korral kirjutatakse üks rida, mis sisaldab kästud tegevust, jälgija saavutatud olekut, ühe kaadri kaamera kohta, ajatemplit ja indekseid. Poliitika näeb ainult neid veerge. Skeem lerobot/svla_so100_pickplace, loetud selle meta/info.json-ist.

Liigesed on main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll ja main_gripper: SO-100 kuus vabadusastet. Tegevus ja olek jagavad kuju, sest juht-jälgija teleoperatsioon salvestab sihtmärgi ja ühe sammu võrra hiljem saavutatud asendi. See vahe on informatsioon: kus käsi võitles gravitatsiooni või kinni jäänud objektiga. Need stringid kuuluvad sellele andmestikule. Täna versiooniga 0.6.1 salvestatud sessioon kirjutab shoulder_pan.pos kuni gripper.pos, id-d 1 kuni 6 siinil: samad kuus liigest, erinevad võtmed, mis on oluline hetkel, kui konfiguratsioon pöördub tunnuse poole nime järgi.

Mida vajate töölaual

Kui käsi pole veel ehitatud, on see eraldi õhtu: alusta aadressilt ja . Kui te pole midagi ostnud, lugege esmalt esmalt: SO-101 on uuem versioon parema juhtmestiku ja ilma hammasrataste eemaldamise sammuta ning salvestamise töövoog on identne.

Installi lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Lisad ajavad inimesi kõige rohkem segadusse. pip install lerobot installib ainult põhilised ML-sõltuvused, mitte midagi, mis robotiga suhtleks. Kochi käed vajavad dynamixel asemel feetech. Kui teie kest pole kunagi lerobot-recordist kuulnud, siis see on põhjus.

Pordid, mootori ID-d ja kalibreerimine

Kolm ühekordset sammu eraldavad osi töötavast teleoperatsiooni tsüklist. võimaldab teie käel treenitud poliitikal töötada kellegi teise käel, kaardistades toored enkoodri näidud ühisele liigeste konventsioonile.

1. 1
   Leidke iga käe USB-port

   Käivitage see mõlema käe ühendatuna, eemaldage tuvastatav käsi, kui seda palutakse, ja märkige üles, milline port kaob. Linuxis võib vaja minna sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Kirjutage mootori ID-d ja edastuskiirused

   ID-d kirjutatakse ühele mootorile korraga ja dokumentatsioon on selle osas range: ühendage kontrolleri plaadiga täpselt üks mootor, mis ei ole veel teistega ahelas. Skript läbib ahela tagurpidi, küsides esmalt haaratsi kohta ja andes sellele ID 6, seejärel randmerulli ID 5, kuni õla-panni ID 1. Tehke seda enne kokkupanekut.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibreerige mõlemad käed

   Liigutage iga liigend oma liikumisulatuse keskele, vajutage Enter, seejärel liigutage iga liigendit läbi kogu selle ulatuse. id-st saab profiili failinimi.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleopereerige enne midagi salvestamist

   Kõige eelneva vastuvõtutest. Kui teleoperatsioon on tõmblev, peegeldatud või üks liigend ei järgi, säilitab salvestus selle 50 episoodis.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kaamerad otsustavad, mida poliitika näeb

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Kaks vaadet ja nende asukoht on olulised: fikseeritud stseenikaamera, mis katab tööruumi, ja randmekaamera lõppefektor lähedal, mis näitab, mida haarats puudutama hakkab. LeRoboti kogukonna andmestike kontrollnimekiri nõuab eelistatavalt kahte vaadet eraldusvõimega 480x640 / 720p või parem, staatilist tausta, neutraalset stabiilset valgustust ning et juhtiv käsi ja inimjäsemed oleksid kaadrist väljas. Salvestusjuhend lisab rusikareegli: peaksite suutma ülesannet ise täita, vaadates ainult kaamerate pilte.

Käsk record ja kõik lipud

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Allpool toodud vaikeväärtused pärinevad failist src/lerobot/configs/dataset.py (main harust), mitte õpetusest. Mõned neist ei ole need, mida inimesed eeldavad.

Klaviatuuri juhtimine seansi ajal

• Parem nool või n: lõpetab episoodi või lähtestab faasi varakult. See on klahv, mida kasutate kõige rohkem, sest puhas haare vajab harva 25 seconds.
• Vasak nool või r: tühistab episoodi ja teeb selle uuesti. Halb võte ei maksa praegu midagi, kuid hiljem palju.
• Escape või q: peatab seansi, lõpetab kodeerimise, laadib üles.
• Need töötavad X11-s, Waylandis ja peata SSH-s: ilma globaalse klahvitaustaprogrammita loeb lerobot-record samad klahvid juhtterminalist. Tähed jäävad ellu viivitavate SSH-ühenduste korral, kus noolejärjestused jagunevad.
• Klaviatuuri teleoperatsioon on erinev ja vajab globaalset taustaprogrammi: X11, Windows või macOS koos Accessibility'ga.

Mitu episoodi ja milline näeb välja hea episood

Salvestusjuhend soovitab esimese ülesande jaoks vähemalt 50 episoodi, umbes 10 objekti asukoha kohta. poliitikalehed loetlevad iga mudeli kohta miinimumi, millest allapoole jääv käitus ei ole GPU aega väärt.

Parem küsimus on, kui palju ja mida. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) kogus üle 40 000 demonstratsiooni ja tegi üle 15 000 reaalse maailma käituse. Üldistamine järgis ligikaudu astmefunktsiooni seost keskkondade ja objektide, ja pärast teatud läve ületamist keskkonna või objekti kohta oli täiendavatel demonstratsioonidel minimaalne mõju. Ühel katsestendil: liiguta objekti, muuda valgustust, vaheta kuubikut, selle asemel et korrata ühte võtet.

Hea episood on igav: korratav algasend, üks asi tehtud, lõpeb kui objekt on prügikastis, ülesande string 25 kuni 50 tähemärgi pikkune, nagu kontrollnimekiri soovitab. Võta punane kuubik ja aseta see kasti on ülesande string; task1 on vastumuster, mille kontrollnimekiri selgesõnaliselt nimetab. Ebamäärased annotatsioonid on selle probleemide nimekirja tipus ja need on kõige olulisemad nägemis-keele-tegevuse mudelite, kus string on mudeli sisend, mitte failinimi.

Vead, mis vaikselt rikuvad andmestiku

Ükski ei viska erandit. Kõik jäävad treeningusse, ilmudes kaotusfunktsiooni kõverana, mis näeb hea välja, ja robotina, mis ei tee midagi. Kontrolli stseeni ülesseadmise ajal.

Üks hoiatus: voogedastuse kodeerimise juhendi tabelis on vaikimisi väärtuseks True, samas kui peamise haru andmeklassis on streaming_encoding: bool = False. Dokumentatsioon ja kood ei ühti, seega määrake see selgesõnaliselt; lerobot logib vihje, mis soovitab seda alati, kui see käivitub liputa.

Kontrollige andmestikku enne GPU rentimist

Dokumentatsioonis kirjeldatud vastuvõtutest: võrrelge video kestust CLI poolt teatatud episoodi kestusega ja veenduge, et ridade arv võrdub kaadrite arvuga sekundis korda kestus. Episoodi kohta, mitte kogusumma kohta.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Seejärel vaadake seda. lerobot-dataset-viz esitab episoodi kaaderhaaval koos liigeste jälgedega kaameravaadete kõrval, Rerunis või Foxglove'is. Vahetatud kaamerad ja külmunud kaadrid ilmuvad kümne sekundi jooksul. Inimesed jätavad selle sammu vahele.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 või v3.0: otsusta enne salvestamist

v2.1 kirjutas ühe parqueti ja ühe MP4 episoodi kohta. v3.0 liidab mitu episoodi jagatud kildudeks ja taastab piirid metaandmetest, nii et info.json sisaldab teemalle nagu data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet episoodinumbri asemel. Ülesvoolu põhjendus on vähem, suuremaid faile: kiirem initsialiseerimine ja väiksem failisüsteemi koormus suuremas mastaabis.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Kaks teed sama andmestikuni

Andmestikust poliitikani

Viiskümmend puhast episoodi toidab iga käivitust siin. treenib nullist ainult teie ülesande jaoks, umbes 80 miljoni parameetriga ja ligikaudu 20 ms tegevussammu kohta, olles ainus viiest, mis sobib kiire liikumisega. on umbes 450 miljoni parameetriga 24 GB kaardil. on ligikaudu 3 miljardi parameetriga alusmudel, kus puudutab umbes 40 miljonit parameetrit, vajab A100 või H100 ja soovib seda v2.1 andmestikku.

Järgmisena juhend teie kombinatsioonile: , või ; esimeseks käivituseks, on lühem. Kui poliitika töötab testpingil, kuid kukub kokku hetkel, mil lauda liigutate, on see andmeprobleem: ja käsitlevad mitmekesisust sügavamalt.