Nahrajte svůj první dataset LeRobot s SO-100

Následník SO-100, vedoucí rameno stejného designu a dvě USB kamery dokážou doladit politiku během odpoledne. Stejná testovací lavice může stejně snadno vyprodukovat šedesát epizod, které vypadají zdravě v prohlížeči souborů a promarnit šestihodinový běh GPU. Rozdíl je zřídka v modelu; je to to, co se stalo mezi servy a souborem parquet.

Zde je manuální cesta, pak ta kratší. Každý příkaz je z lerobot 0.6.1, vydaného 3. srpna 2026 a aktuálního na PyPI. Přesunul se na vstupní body konzole, takže tutoriály, které spouštějí python lerobot/scripts/control_robot.py popisují soubor, který již neexistuje.

Co zachycuje nahrávací relace

A datová sada LeRobot není složka videí, ale časově indexovaná tabulka s připojeným videem: každý takt řídicí smyčky zapíše jeden řádek obsahující příkazovou akci, stav, kterého dosáhl následovník, jeden snímek na kameru, časovou značku a indexy. Politika vidí pouze tyto sloupce. Schéma lerobot/svla_so100_pickplace, načtené z jeho meta/info.json.

Klouby jsou main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll a main_gripper: šest stupňů volnosti. Akce a stav sdílejí tvar, protože teleoperace vedoucí-následovník zaznamenává cíl a pozici dosaženou o jeden krok později. Tato mezera je informace: kde rameno bojovalo s gravitací nebo zaseknutým objektem. Tyto řetězce patří k dané datové sadě. Relace zaznamenaná dnes s verzí 0.6.1 zapisuje shoulder_pan.pos až po gripper.pos, ID 1 až 6 na sběrnici: stejných šest kloubů, různé klíče, což je důležité v okamžiku, kdy konfigurace odkazuje na funkci jménem.

Co budete potřebovat na stole

Pokud rameno ještě není sestaveno, to je záležitost na jiný večer: začněte u prvních kroků s SO-100 a kompletního průvodce nastavením SO-100. Pokud jste ještě nic nekoupili, přečtěte si nejprve srovnání SO-100 s SO-101: SO-101 je novější revize s vylepšenou kabeláží a bez kroku s demontáží převodů, a pracovní postup nahrávání je identický.

Nainstalujte lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Doplňky nejčastěji matou. pip install lerobot instaluje pouze základní ML závislosti, nic, co by komunikovalo s robotem. Ramena Koch potřebují dynamixel namísto feetech. Pokud váš shell nikdy neslyšel o lerobot-record, toto je důvod.

Porty, ID motorů a kalibrace

Tři jednorázové kroky dělí díly od funkční teleoperační smyčky. umožňuje, aby se politika trénovaná na vaší paži spustila na paži někoho jiného, mapuje surové hodnoty enkodérů na sdílenou konvenci kloubů.

1. 1
   Najděte USB port každého ramene

   Spusťte jej s oběma připojenými rameny, po výzvě odpojte to, které identifikujete, a poznamenejte si, který port zmizí. Na Linuxu možná budete potřebovat sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Zapište ID motorů a přenosové rychlosti

   ID se zapisují pro každý motor zvlášť a dokumentace je ohledně postupu přísná: připojte k řídicí desce přesně jeden motor, který ještě není řetězen s žádným jiným. Skript prochází řetězec pozpátku, nejprve vyzve k připojení chapadla a přiřadí mu ID 6, poté zápěstí (wrist_roll) jako 5, až po ramenní kloub (shoulder_pan) jako 1. Proveďte to před montáží.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Zkalibrujte obě ramena

   Přesuňte každý kloub do středu jeho rozsahu, stiskněte Enter a poté každý kloub projděte celým jeho rozsahem. id se stane názvem souboru profilu.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Teleoperujte před nahráváním čehokoli

   Akceptační test pro vše výše uvedené. Pokud je teleoperace trhaná, zrcadlená nebo jeden kloub nesleduje, záznam to zachová v 50 epizodách.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamery rozhodují, co vidí politika

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Dva pohledy a jejich umístění je důležité: pevná scéna kamera pokrývající pracovní prostor a kamera na zápěstí blízko koncového efektoru ukazující, čeho se chapač chystá dotknout. Kontrolní seznam komunitních datových sad LeRobot požaduje přednostně dva pohledy v rozlišení 480x640 / 720p nebo lepším, statické pozadí, neutrální stabilní osvětlení a rameno vedoucího a lidské končetiny mimo záběr. Průvodce nahráváním dodává pravidlo: měli byste být schopni provést úkol sami, pouze se dívat na snímky z kamery.

Příkaz record a všechny příznaky

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Níže uvedené výchozí hodnoty pocházejí z src/lerobot/configs/dataset.py na větvi main, nikoli z tutoriálu. Některé nejsou takové, jaké lidé předpokládají.

Ovládání klávesnicí během relace

• Pravá šipka nebo n: ukončí epizodu nebo předčasně resetuje fázi. Klíč, který používáte nejčastěji, protože čisté uchopení zřídka potřebuje 25 sekund.
• Levá šipka nebo r: zahodí epizodu a zopakuje ji. Špatný záběr nestojí nic teď a hodně později.
• Escape nebo q: zastaví relaci, dokončí kódování, nahraje.
• Tyto fungují na X11, Wayland a bezhlavém SSH: bez globálního klíčového backendu čte lerobot-record stejné klávesy z řídicího terminálu. Písmena přežijí pomalé SSH odkazy, kde se sekvence šipek rozdělují.
• Klávesnicová teleoperace je odlišná a vyžaduje globální backend: X11, Windows nebo macOS s funkcemi usnadnění.

Kolik epizod a jak vypadá dobrá

Průvodce nahráváním doporučuje alespoň 50 epizod pro první úkol, přibližně 10 na umístění objektu. stránky s politikami uvádějí minimum na model, pod kterým se spuštění nevyplatí z hlediska času GPU.

Lepší otázka zní, kolik čeho. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) shromáždili přes 40 000 demonstrací a provedli více než 15 000 reálných spuštění. Generalizace se řídila přibližně mocninným vztahem s počtem prostředí a objektů, a po překročení prahu na prostředí nebo objekt měly další demonstrace minimální účinek. Na jedné testovací lavici: přesuňte objekt, změňte osvětlení, vyměňte kostku, spíše než opakovat jeden záběr.

Dobrá epizoda je nudná: opakovatelná výchozí pozice, jedna věc hotová, ukončená, jakmile je objekt v koši, řetězec úkolu v rozsahu 25 až 50 znaků, jak doporučuje kontrolní seznam. Zvedni červenou kostku a pusť ji do krabice je řetězec úkolu; task1 je anti-vzor, který kontrolní seznam výslovně uvádí. Neurčité anotace vedou seznam problémů a jsou nejdůležitější pro modely vize-jazyk-akce, kde je řetězec vstupem modelu, nikoli názvem souboru.

Vady, které tiše ničí datovou sadu

Žádná nevyvolá výjimku. Všechny přežijí do tréninku a projeví se jako křivka ztráty, která vypadá v pořádku, a robot, který nic nedělá. Zkontrolujte, dokud je scéna nastavena.

Jedna výhrada: tabulka průvodce streamovacím kódováním uvádí výchozí hodnotu jako True, zatímco datová třída na main větvi uvádí streaming_encoding: bool = False. Dokumentace a kód se neshodují, proto to nastavte explicitně; lerobot zaznamená nápovědu doporučující to vždy, když se spustí s vypnutým příznakem.

Zkontrolujte datovou sadu před pronájmem GPU

Akceptační test z dokumentace: porovnejte délku videa s délkou epizody nahlášenou CLI a ověřte, že počet řádků se rovná fps krát délka. Na epizodu, nikoli na celkový součet.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Pak se na to podívejte. lerobot-dataset-viz přehrává epizodu snímek po snímku s trasami kloubů vedle pohledů kamery, v Rerun nebo Foxglove. Prohozené kamery a zamrzlé snímky se objeví během deseti sekund. Lidé tento krok přeskočí.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 nebo v3.0: rozhodněte se před nahráváním

v2.1 zapisoval jeden parquet a jeden MP4 na epizodu. v3.0 zřetězuje mnoho epizod do sdílených shardů a obnovuje hranice z metadat, takže info.json obsahuje šablony cest jako data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet namísto čísla epizody. Odůvodnění ze strany vývojářů je méně, ale větších souborů: rychlejší inicializace a menší tlak na souborový systém ve velkém měřítku.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Dvě cesty ke stejné datové sadě

Od datové sady k politice

Padesát čistých epizod napájí každý běh zde. se trénuje od základu pouze na vašem úkolu, s přibližně 80 miliony parametrů při zhruba 20 ms na akční krok, jediný z pěti, který si poradí s rychlým pohybem. má přibližně 450 milionů parametrů na 24 GB kartě. je základní model s přibližně 3 miliardami parametrů, kde ovlivňuje přibližně 40 milionů parametrů, vyžaduje A100 nebo H100 a chce datovou sadu v2.1.

Dále průvodce pro vaši kombinaci: , nebo ; pro první spuštění je kratší. Když politika funguje na stole, ale zhroutí se v okamžiku, kdy pohnete stolem, je to problém s daty: a jdou hlouběji do rozmanitosti.