Taktu upp fyrsta LeRobot gagnasafnið þitt með SO-100

Einn SO-100 fylgjandi, leiðararmur af sömu hönnun og tvær USB myndavélar geta fínstillt stefnu á einum eftirmiðdegi. Sama prófunarbekkur getur jafn auðveldlega framleitt sextíu þætti sem líta vel út í skráavafra og sóað sex klukkustunda GPU keyrslu. Munurinn er sjaldan líkanið; það er það sem gerðist á milli servóanna og parquet skráarinnar.

Hér er handvirka leiðin, síðan sú styttri. Sérhver skipun er frá lerobot 0.6.1, gefin út 3. ágúst 2026 og núverandi á PyPI. Það færðist yfir í inngangspunkta fyrir stjórnborð, svo kennsluefni sem keyra python lerobot/scripts/control_robot.py lýsa skrá sem er ekki lengur til.

Hvað upptökulota fangar

Gagnasafn LeRobot gagnasafn er ekki mappa af myndböndum heldur tímasett tafla með myndbandi tengdu: hver stýrilásar-tíðni skrifar eina röð sem inniheldur skipaða aðgerð, ástandið sem fylgjandinn náði, einn ramma á hverja myndavél, tímastimpil og vísitölur. Stýringin sér aðeins þessar dálka. Skema lerobot/svla_so100_pickplace, lesið úr meta/info.json þess.

Liðirnir eru main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll og main_gripper: sex frelsisgráður SO-100. Aðgerð og ástand deila lögun vegna þess að leiðara-fylgjanda fjarstýring skráir markmið og staðsetningu sem náðist einu skrefi síðar. Þetta bil er upplýsingar: hvar armurinn barðist við þyngdarafl eða fastan hlut. Þessar strengir eru úr þessu gagnasafni. Fundur sem var skráður með 0.6.1 í dag skrifar shoulder_pan.pos í gegnum gripper.pos, auðkenni 1 til 6 á strætó: sömu sex liðir, mismunandi lyklar, sem skiptir máli þegar stilling vísar í eiginleika með nafni.

Hvað þú þarft á vinnubekknum

Ef armurinn er ekki smíðaður ennþá, þá er það sér kvöldverkefni: byrjaðu á SO-100 að byrja og fullkominni SO-100 uppsetningarleiðbeiningum. Ef þú hefur ekki keypt neitt, lestu SO-100 samanburðinum við SO-101 fyrst: SO-101 er nýrri útgáfan með bættri raflögn og engu gír-fjarlægingarskrefi, og upptökuferlið er eins.

Setja upp lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Aukaþættir valda oftast vandræðum. pip install lerobot setur aðeins upp kjarna ML-háðir, ekkert sem talar við vélmenni. Koch armar þurfa dynamixel í stað feetech. Ef skelin þín hefur aldrei heyrt um lerobot-record, þá er þetta ástæðan.

Portar, mótorauðkenni og kvörðun

Þrjú einu sinni skref standa á milli hluta og virkrar fjarstýringarlykkju. gerir stefnu sem þjálfuð er á þínum armi kleift að keyra á armi einhvers annars, og varpar hráum kóðarafjölda á sameiginlega liðamótareglu.

1. 1
   Finndu USB-port hvers arms

   Keyrðu það með báðum örmum tengdum, taktu úr sambandi þann sem þú ert að auðkenna þegar beðið er um það, og skráðu hvaða port hverfur. Á Linux gætirðu þurft sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Skrifaðu mótorauðkenni og baudhraða

   Auðkenni eru skrifuð einn mótor í einu, og leiðbeiningarnar eru strangar um hvernig: tengdu nákvæmlega einn mótor við stýriborðið, ekki enn tengdan í keðju við neinn annan. Skriftan gengur afturábak í keðjunni, biður fyrst um gripinn og gefur honum auðkenni 6, síðan wrist_roll sem 5, niður í shoulder_pan sem 1. Gerðu þetta fyrir samsetningu.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kvarðaðu báða arma

   Færðu hvern lið í miðju sviðs síns, ýttu á Enter, og færðu síðan hvern og einn í gegnum allt svið sitt. id verður heiti sniðskrárinnar.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Fjarstýrðu áður en nokkuð er tekið upp

   Viðtökuprófið fyrir allt ofangreint. Ef fjarstýringin er rykkjótt, spegluð, eða einn liður fylgir ekki, varðveitir upptaka það í 50 þáttum.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Myndavélar ákveða hvað stefnan sér

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Tvær sýnir, og staðsetning þeirra skiptir máli: föst sýnismyndavél sem nær yfir vinnusvæðið, og úlnliðsmyndavél nálægt griparmaenda sem sýnir hvað gripurinn er að fara að snerta. Gátlisti LeRobot samfélagsgagnasafna biður um helst tvær sýnir í 480x640 / 720p eða betri upplausn, kyrran bakgrunn, hlutlausa stöðuga lýsingu, og að leiðararminn og mannlegir útlimir séu utan ramma. Upptökuleiðbeiningarnar bæta við þumalputtareglunni: þú ættir að geta framkvæmt verkefnið sjálfur með því einu að horfa á myndirnar frá myndavélinni.

Skráningarskipan og hver fáni

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Sjálfgefnar stillingar hér að neðan koma frá src/lerobot/configs/dataset.py á aðalgreininni, ekki úr kennsluefni. Nokkrar eru ekki það sem fólk gerir ráð fyrir.

Lyklaborðsstýring meðan á lotu stendur

• Hægri ör eða n: ljúka þætti eða endurstilla fasa snemma. Lykillinn sem þú notar mest, því hreint grip þarf sjaldan 25 sekúndur.
• Vinstri ör eða r: farga þættinum og endurtaka hann. Slæm upptaka kostar ekkert núna en mikið síðar.
• Escape eða q: stöðva lotuna, ljúka kóðun, hlaða upp.
• Þetta virkar á X11, Wayland og höfuðlausum SSH: án alþjóðlegs lyklabakenda les lerobot-record sömu lykla frá stjórnunarstöðinni. Stafirnir lifa af seinar SSH tengingar, þar sem örvaröð brotnar.
• Lyklaborðs fjarstýring er öðruvísi og þarf alþjóðlegan bakenda: X11, Windows, eða macOS með aðgengi.

Hversu margir þættir, og hvernig góður þáttur lítur út

Upptökuleiðbeiningarnar benda til að minnsta kosti 50 þátta fyrir fyrsta verkefni, um 10 á hvern staðsetningu hlutar. The stefnusíðurnar lista upp lágmark á hverja gerð, undir því er keyrsla ekki virði GPU tímans.

Betri spurningin er hversu mikið af hverju. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin o.fl., 2024) söfnuðu yfir 40.000 sýnikennslum og keyrðu meira en 15.000 raunheims keyrslur. Alhæfing fylgdi u.þ.b. veldislögmáli í sambandi við fjölda umhverfa og hluta, og eftir ákveðinn þröskuld á hvert umhverfi eða hlut höfðu viðbótar sýnikennslur lágmarksáhrif. Á einum vinnubekk: færðu hlutinn, breyttu lýsingunni, skiptu um teninginn, frekar en að endurtaka eina töku.

Góður þáttur er leiðinlegur: endurtekin heimastelling, eitt verkefni klárað, lýkur þegar hluturinn er í ruslafötunni, verkefnisstrengur í 25 til 50 stöfum eins og gátlistinn mælir með. Taktu rauða teninginn og slepptu honum í kassann er verkefnisstrengur; task1 er andstæðan við það mynstur sem gátlistinn nefnir sérstaklega. Óljósar athugasemdir eru efst á lista yfir vandamál, og þær skipta mestu máli fyrir sjón-tungumál-aðgerðarlíkön, þar sem strengurinn er inntak líkans, ekki skráarnafn.

Gallar sem eyðileggja gagnasafn í hljóði

Enginn kastar undantekningu. Allir lifa af inn í þjálfun, koma fram sem tapferill sem lítur vel út og vélmenni sem gerir ekkert. Athugaðu á meðan sviðsmyndin er sett upp.

Eitt fyrirvari: taflan í leiðbeiningum um streymiskóðun sýnir sjálfgefna stillingu sem True, á meðan gagnaklasinn á aðalútgáfunni les streaming_encoding: bool = False. Skjöl og kóði eru ósammála, svo stilltu það skýrt; lerobot skráir vísbendingu sem mælir með því hvenær sem það byrjar með flaggið slökkt.

Athugaðu gagnasafnið áður en þú leigir GPU

Viðtökuprófið úr skjölunum: berðu saman lengd myndbands við lengd þáttar sem CLI tilkynnti, og staðfestu að fjöldi raða jafngildi fps sinnum lengd. Fyrir hvern þátt, ekki heildina.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Skoðaðu það síðan. lerobot-dataset-viz spilar þátt ramma fyrir ramma með liðsporum við hlið myndavélarsýna, í Rerun eða Foxglove. Skiptar myndavélar og frosnir rammar birtast á tíu sekúndum. Fólk sleppir þessu skrefi.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 eða v3.0: ákveðið áður en þið takið upp

v2.1 skrifaði eina parquet og eina MP4 á hvern þátt. v3.0 sameinar marga þætti í sameiginlegar skífur og endurbyggir mörk úr lýsigögnum, svo info.json inniheldur slóðasniðmát eins og data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet í stað þáttanúmers. Rökstuðningurinn er færri, stærri skrár: hraðari frumstilling og minna álag á skráakerfið í stórum skala.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Tvær leiðir að sama gagnasafni

Frá gagnasafni til stefnu

Fimmtíu hreinir þættir næra hvert sem keyrt er hér. þjálfar frá grunni á þínu verkefni einu, um 80 M færibreytur á um það bil 20 ms á hverju aðgerðarskrefi, sú eina af fimm sem er þægileg með hraðar hreyfingar. er um 450 M færibreytur á 24 GB korti. er um það bil 3 B færibreyta grunnlíkan þar sem snertir um 40 M færibreytur, þarf A100 eða H100, og vill þetta v2.1 gagnasafn.

Næst, leiðbeiningarnar fyrir þína samsetningu: , eða ; fyrir fyrstu keyrslu er styttra. Þegar stefnan virkar á prófunarbekknum en hrynur um leið og þú færir borðið, þá er það gagnavandamál: og fara dýpra í fjölbreytileika.