Rögzítse első LeRobot adatkészletét egy SO-100-zal

Egy SO-100 követő, egy azonos kialakítású vezető kar és két USB kamera egy délután alatt finomhangolhat egy irányelvet. Ugyanez a tesztpad ugyanolyan könnyen képes hatvan epizódot előállítani, amelyek egészségesnek tűnnek egy fájlböngészőben, és elpazarolnak egy hatórás GPU futtatást. A különbség ritkán a modell; az, ami a szervók és a parquet fájl között történt.

Itt van a manuális útvonal, majd a rövidebb. Minden parancs a lerobot 0.6.1-ből származik, amely 2026. augusztus 3-án jelent meg és jelenleg is elérhető a PyPI-n. Átkerült a konzolos belépési pontokhoz, így az olyan oktatóanyagok, amelyek futtatják a python lerobot/scripts/control_robot.py fájlt, egy már nem létező fájlt írnak le.

Mit rögzít egy felvételi munkamenet

A LeRobot adathalmaz nem videók mappája, hanem egy időindexelt táblázat csatolt videóval: minden vezérlőhurok-ütem egy sort ír, amely tartalmazza a parancsolt műveletet, az elért követő állapotát, kameránként egy képkockát, egy időbélyeget és indexeket. A szabályzat csak ezeket az oszlopokat látja. A lerobot/svla_so100_pickplace sémája, a meta/info.json fájlból olvasva.

Az ízületek a main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll és main_gripper: az SO-100 hat szabadságfoka. A művelet és az állapot azonos alakú, mert a vezető-követő távvezérlés rögzít egy célt és az egy lépéssel később elért pozíciót. Ez a rés információ: hol küzdött a kar a gravitációval vagy egy beragadt tárggyal. Ezek a karakterláncok az adott adathalmazhoz tartoznak. Egy ma 0.6.1-gyel rögzített munkamenet a shoulder_pan.pos-tól a gripper.pos-ig ír, az 1-től 6-ig terjedő azonosítókkal a buszon: ugyanaz a hat ízület, különböző kulcsok, ami akkor számít, amikor egy konfiguráció név szerint hivatkozik egy jellemzőre.

Amire szüksége van a munkaasztalon

Ha a kar még nincs megépítve, az egy külön este: kezdje a SO-100 első lépések és a teljes SO-100 beállítási útmutató. Ha még nem vásárolt semmit, olvassa el először a SO-100 és SO-101 összehasonlítását először: az SO-101 az újabb revízió, továbbfejlesztett kábelezéssel és fogaskerék-eltávolítási lépés nélkül, és a rögzítési munkafolyamat azonos.

A lerobot 0.6.1 telepítése

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Az extrák okozzák a legtöbb problémát. pip install lerobot csak az alapvető ML függőségeket telepíti, semmit, ami robottal kommunikál. A Koch karoknak dynamixel helyett feetech. Ha a shellje még soha nem hallott a lerobot-recordról, akkor ez az oka.

Portok, motorazonosítók és kalibrálás

Három egyszeri lépés választja el az alkatrészeket egy működő teleop huroktól. lehetővé teszi, hogy a karján betanított irányelv más karján is fusson, a nyers enkóder-számlálókat egy közös ízület-konvencióra képezve le.

1. 1
   Keresse meg az egyes karok USB portját

   Futtassa mindkét kar csatlakoztatásával, húzza ki azt, amelyet azonosítani szeretne, amikor a rendszer kéri, és jegyezze fel, melyik port tűnik el. Linuxon szükség lehet a sudo chmod 666 /dev/ttyACM0 parancsra.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Motorazonosítók és baudráták írása

   Az azonosítókat egyszerre egy motorra írják, és a dokumentáció szigorú a módszerre vonatkozóan: pontosan egy motort csatlakoztasson a vezérlőpanelhez, még ne legyen láncba fűzve más motorokkal. A szkript visszafelé halad a láncon, először a markolóhoz kér azonosítót (6-os), majd a csukló forgatásához (5-ös), egészen a vállpánig (1-es). Ezt az összeszerelés előtt végezze el.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Mindkét kar kalibrálása

   Mozgassa az összes ízületet a tartományának közepére, nyomja meg az Entert, majd mozgassa végig mindegyiket a teljes tartományán. Az id lesz a profil fájlneve.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Távvezérlés felvétel előtt

   Az elfogadási teszt a fentiek mindegyikére. Ha a távvezérlés rángatózó, tükrözött, vagy egy ízület nem követi az utasításokat, a felvétel 50 epizódban megőrzi ezt.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

A kamerák határozzák meg, mit lát a policy

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Két nézet, és a helyük számít: egy rögzített jelenetkamera, amely lefedi a munkaterületet, és egy csuklókamera a végrehajtó közelében, amely megmutatja, mit készül megérinteni a megfogó. A LeRobot közösségi adatkészletek ellenőrzőlistája lehetőleg két nézetet kér 480x640 / 720p vagy jobb felbontásban, statikus hátteret, semleges, stabil világítást, valamint a vezető kar és az emberi végtagok képkockán kívülre helyezését. A felvételi útmutató hozzáteszi az ökölszabályt: képesnek kell lennie a feladat elvégzésére pusztán a kamera képeit nézve.

A record parancs és minden flag

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Az alábbi alapértelmezett értékek innen származnak: src/lerobot/configs/dataset.py a main ágról, nem egy oktatóanyagból. Több közülük nem az, amit az emberek feltételeznek.

Billentyűzetvezérlés egy munkamenet során

• Jobb nyíl vagy n: az epizód vagy a visszaállítási fázis korai befejezése. Ezt a billentyűt használja a leggyakrabban, mert egy tiszta fogás ritkán igényel 25 másodpercet.
• Bal nyíl vagy r: az epizód elvetése és újrakezdése. Egy rossz felvétel most semmibe sem kerül, később viszont sokat.
• Escape vagy q: a munkamenet leállítása, kódolás befejezése, feltöltés.
• Ezek működnek X11, Wayland és headless SSH környezetben: globális billentyűzet-háttér nélkül a lerobot-record ugyanazokat a billentyűket olvassa a vezérlő terminálról. A betűk túlélik a lassú SSH kapcsolatokat, ahol a nyíl billentyűk sorozatai szétesnek.
• A billentyűzetes távvezérlés más, és globális háttérre van szüksége: X11, Windows vagy macOS akadálymentesítéssel.

Hány epizód, és hogyan néz ki egy jó epizód

A felvételi útmutató legalább 50 epizódot javasol az első feladathoz, körülbelül 10-et tárgyhelyenként. Az irányelv oldalak felsorolnak egy minimumot modellenként, ami alatt egy futtatás nem éri meg a GPU idejét.

A jobb kérdés az, hogy miből mennyit. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) több mint 40 000 demonstrációt gyűjtött, és több mint 15 000 valós világú futtatást végzett. Az általánosítás nagyjából hatványtörvény szerinti összefüggést mutatott a environments and objects, és egy környezetenkénti vagy tárgyankénti küszöbérték után a további demonstrációknak minimális hatása volt. Egy tesztpadon: mozgassa a tárgyat, változtassa meg a világítást, cserélje ki a kockát, ahelyett, hogy egy felvételt ismételne.

Egy jó epizód unalmas: ismételhető kiinduló pozíció, egy dolog elvégezve, befejezve, amint az objektum a tárolóban van, a feladat string a ellenőrzőlista által javasolt 25-50 karakter között. Vedd fel a piros kockát és dobd a dobozba egy feladat string; task1 az az anti-minta, amit az ellenőrzőlista kifejezetten megnevez. A homályos annotációk vezetik a problémák listáját, és ezek a legfontosabbak a látás-nyelv-akció modellek, ahol a string egy modell bemenet, nem pedig egy fájlnév.

Hibák, amelyek csendben tönkretesznek egy adatkészletet

Egyik sem dob kivételt. Mindegyik túléli a betanítást, és egy jól kinéző veszteséggörbeként és egy semmit sem csináló robotként jelentkezik. Ellenőrizze, amíg a jelenet be van állítva.

Egy megjegyzés: a streaming-encoding útmutató táblázata az alapértelmezett értéket True, míg a fő ágon lévő adatosztályban ez áll: streaming_encoding: bool = False. A dokumentáció és a kód eltér, ezért állítsa be explicit módon; a lerobot naplóz egy tippet, amely ezt javasolja, valahányszor a jelző kikapcsolt állapotban indul.

Ellenőrizze az adatkészletet, mielőtt GPU-t bérelne

A dokumentációban szereplő elfogadási teszt: hasonlítsa össze a videó időtartamát a CLI által jelentett epizód időtartamával, és ellenőrizze, hogy a sorok száma megegyezik-e az fps szorozva az időtartammal. Epizódonként, nem az összesre vonatkozóan.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Ezután nézze meg. lerobot-dataset-viz lejátszik egy epizódot képkockáról képkockára, ízületi nyomvonalakkal a kamera nézetek mellett, Rerunban vagy Foxglove-ban. Felcserélt kamerák és befagyott képkockák tíz másodpercen belül megjelennek. Az emberek kihagyják ezt a lépést.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 vagy v3.0: döntsön a felvétel előtt

A v2.1 epizódonként egy parquet és egy MP4 fájlt írt. A v3.0 sok epizódot összefűz megosztott shardokba, és metaadatokból építi újra a határokat, így az info.json fájl útvonalsablonokat tartalmaz, mint például data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet egy epizódszám helyett. Az upstream indoklás kevesebb, nagyobb fájl: gyorsabb inicializálás és kisebb fájlrendszer-terhelés nagy léptékben.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Két út ugyanahhoz az adatkészlethez

Adatkészlettől az irányelvig

Ötven tiszta epizód táplálja az összes itt futó futtatást. Az a nulláról képzi magát a feladatára, körülbelül 80 millió paraméterrel, nagyjából 20 ms/akciólépés sebességgel, az öt közül ez az egyetlen, amely kényelmesen kezeli a gyors mozgást. A körülbelül 450 millió paramétert használ egy 24 GB-os kártyán. A egy körülbelül 3 milliárd paraméteres alapmodell, ahol a körülbelül 40 millió paramétert érint, A100 vagy H100 kártyát igényel, és a v2.1 adatkészletet kéri.

Ezután az útmutató az Ön kombinációjához: , vagy ; az első futtatáshoz a rövidebb. Ha az irányelv működik a tesztpadon, de összeomlik abban a pillanatban, amikor elmozdítja az asztalt, az adatprobléma: a és a mélyebben foglalkozik a diverzitással.