Ierakstiet savu pirmo LeRobot datu kopu ar SO-100

Kāds SO-100 sekotājs, tāda paša dizaina vadošā roka un divas USB kameras var precizēt politiku pēcpusdienā. Tas pats stends var tikpat viegli radīt sešdesmit epizodes, kas failu pārlūkprogrammā izskatās veselīgas un izniekot sešu stundu GPU darbību. Atšķirība reti ir modelī; tā ir tajā, kas notika starp servomotoriem un parketa failu.

Šeit ir manuālais ceļš, tad īsākais. Katra komanda ir no lerobot 0.6.1, kas tika izlaista 2026. gada 3. augustā un ir pašreizējā versija PyPI. Tā pārgāja uz konsoles ieejas punktiem, tāpēc apmācības, kas palaiž python lerobot/scripts/control_robot.py apraksta failu, kas vairs nepastāv.

Ko fiksē ierakstīšanas sesija

A LeRobot datu kopa nav video mape, bet gan laika indeksēta tabula ar pievienotu video: katra vadības cilpas takts ieraksta vienu rindu, kas satur komandēto darbību, stāvokli, ko sasniedzis sekotājs, vienu kadru no katras kameras, laika zīmogu un indeksus. Politika redz tikai šīs kolonnas. Shēma lerobot/svla_so100_pickplace, nolasīta no tās meta/info.json.

Savienojumi ir main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll un main_gripper: SO-100 sešas brīvības pakāpes. Darbībai un stāvoklim ir kopīga forma, jo vadošā-sekotāja tālvadība ieraksta mērķi un pozīciju, kas sasniegta vienu soli vēlāk. Šī atšķirība ir informācija: kur roka cīnījās ar gravitāciju vai iestrēgušu objektu. Šīs virknes pieder šai datu kopai. Sesija, kas šodien ierakstīta ar 0.6.1, raksta shoulder_pan.pos līdz gripper.pos, ID no 1 līdz 6 uz kopnes: tie paši seši savienojumi, dažādas atslēgas, kam ir nozīme brīdī, kad konfigurācija adresē funkciju pēc nosaukuma.

Kas nepieciešams uz darbagalda

Ja roka vēl nav uzbūvēta, tas ir atsevišķs vakars: sāciet ar SO-100 darba sākšana un pilnīgu SO-100 iestatīšanas rokasgrāmatu. Ja vēl neko neesat iegādājies, vispirms izlasiet SO-100 pret SO-101 salīdzinājumu vispirms: SO-101 ir jaunāka versija ar uzlabotu vadu sistēmu un bez zobratu noņemšanas soļa, un ierakstīšanas darbplūsma ir identiska.

Instalēt lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Papildinājumi visbiežāk rada problēmas. pip install lerobot instalē tikai galvenās ML atkarības, neko, kas sazinās ar robotu. Koch rokas prasa dynamixel nevis feetech. Ja jūsu čaula nekad nav dzirdējusi par lerobot-record, tas ir iemesls.

Porti, motoru ID un kalibrēšana

Trīs vienreizēji soļi atdala detaļas no funkcionējošas tālvadības cilpas. , ļaujot uz jūsu rokas apmācītai politikai darboties uz citas rokas, kartējot neapstrādātus kodētāja rādījumus kopīgā savienojumu konvencijā.

1. 1
   Atrodiet katras rokas USB portu

   Palaidiet to ar abām pievienotām rokām, atvienojiet to, kuru identificējat, kad tiek prasīts, un pierakstiet, kurš ports pazūd. Linux sistēmā jums var būt nepieciešams sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Ierakstiet motoru ID un datu pārraides ātrumus

   ID tiek rakstīti pa vienam motoram, un dokumentācija ir stingra par to, kā: pievienojiet tieši vienu motoru kontroliera platei, vēl nesavienotu ar citiem. Skripts iet atpakaļgaitā pa ķēdi, vispirms prasot satvērēju un piešķirot tam ID 6, tad plaukstas locītavas rullim ID 5, līdz pleca pannai ID 1. Dariet to pirms montāžas.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Kalibrējiet abas rokas

   Pārvietojiet katru savienojumu uz tā diapazona vidu, nospiediet Enter, pēc tam izvelciet katru cauri tā pilnam diapazonam. id kļūst par profila faila nosaukumu.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Veiciet tālvadību pirms jebkā ierakstīšanas

   Pieņemšanas tests visam iepriekš minētajam. Ja tālvadība ir saraustīta, spoguļota vai viens savienojums neseko, ierakstīšana to saglabā 50 epizodēs.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameras nosaka, ko redz politika

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Divi skati, un to novietojumam ir nozīme: fiksēta ainas kamera, kas aptver darba zonu, un plaukstas kamera netālu no gala izpildmehānisma rādot, kam satvērējs grasās pieskarties. LeRobot kopienas datu kopu kontrolsaraksts prasa vēlams divus skatus ar izšķirtspēju 480x640 / 720p vai labāku, statisku fonu, neitrālu stabilu apgaismojumu, un lai vadošā roka un cilvēka ekstremitātes būtu ārpus kadra. Ierakstīšanas ceļvedis piebilst īkšķa likumu: jums vajadzētu spēt veikt uzdevumu pats, skatoties tikai uz kameras attēliem.

Ierakstīšanas komanda un katrs karogs

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Zemāk norādītās noklusējuma vērtības nāk no src/lerobot/configs/dataset.py galvenajā zarā, nevis no pamācības. Vairākas nav tādas, kā cilvēki pieņem.

Tastatūras vadība sesijas laikā

• Labā bultiņa vai n: beigt epizodi vai agri atiestatīt fāzi. Šo taustiņu izmantosiet visbiežāk, jo tīrai satveršanai reti nepieciešamas 25 sekundes.
• Kreisā bultiņa vai r: atmest epizodi un atkārtot to. Slikts mēģinājums tagad neko nemaksā, bet vēlāk daudz.
• Escape vai q: apturēt sesiju, pabeigt kodēšanu, augšupielādēt.
• Tie darbojas X11, Wayland un bezgalvas SSH: bez globāla taustiņu aizmugursistēmas, lerobot-record nolasa tos pašus taustiņus no kontrolējošā termināļa. Burti saglabājas aizkavētās SSH saitēs, kur bultiņu secības sadalās.
• Tastatūras teleoperācija ir atšķirīga un tai ir nepieciešama globāla aizmugursistēma: X11, Windows vai macOS ar pieejamību.

Cik daudz epizožu un kā izskatās laba epizode

Ierakstīšanas ceļvedis iesaka vismaz 50 epizodes pirmajam uzdevumam, apmēram 10 katrai objekta atrašanās vietai. Politikas lapas uzskaita minimālo skaitu katram modelim, zem kura izpilde nav GPU laika vērta.

Labāks jautājums ir, cik daudz un kāda veida. Datu mērogošanas likumi imitācijas mācībās robotu manipulācijai (Lin et al., 2024) savāca vairāk nekā 40 000 demonstrāciju un veica vairāk nekā 15 000 reālās pasaules izpildes. Generalizācija aptuveni sekoja pakāpes likuma attiecībām ar vides un objektu skaitu, un, pārsniedzot slieksni katrai videi vai objektam, papildu demonstrācijām bija minimāla ietekme. Uz viena stenda: pārvietojiet objektu, mainiet apgaismojumu, nomainiet kubu, nevis atkārtojiet vienu pašu paņēmienu.

Labs labs ir garlaicīgs: atkārtojama sākuma poza, viena lieta paveikta, beidzas, kad objekts ir tvertnē, uzdevuma virkne 25 līdz 50 rakstzīmēs, ko iesaka kontrolsaraksts. Paņem sarkano kubu un iemet to kastē ir uzdevuma virkne; task1 ir pret-modelis, ko kontrolsaraksts skaidri nosauc. Neskaidras anotācijas ir tā problēmu saraksta augšgalā, un tās ir vissvarīgākās , kur virkne ir modeļa ievade, nevis faila nosaukums.

Defekti, kas klusi sabojā datu kopu

Neviens neizraisa izņēmumu. Visi saglabājas apmācībā, parādoties kā zaudējumu līkne, kas izskatās labi, un robots, kas neko nedara. Pārbaudiet, kamēr aina ir iestatīta.

Viens brīdinājums: straumēšanas-kodēšanas ceļveža tabulā noklusējuma vērtība ir norādīta kā True, savukārt galvenajā datu klasē ir norādīts streaming_encoding: bool = False. Dokumentācija un kods atšķiras, tāpēc iestatiet to skaidri; lerobot reģistrē ieteikumu, kad vien tas tiek palaists ar izslēgtu karogu.

Pārbaudiet datu kopu pirms GPU nomas

Pieņemšanas tests no dokumentācijas: salīdziniet video ilgumu ar epizodes ilgumu, ko ziņoja CLI, un apstipriniet, ka rindu skaits ir vienāds ar kadriem sekundē reiz ilgums. Katrā epizodē, nevis kopumā.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Pēc tam apskatiet to. lerobot-dataset-viz atkārto epizodi kadru pa kadram ar savienojumu pēdām blakus kameras skatiem, Rerun vai Foxglove. Samainītas kameras un iesaldēti kadri parādās desmit sekundēs. Cilvēki izlaiž šo soli.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 vai v3.0: izlemiet pirms ierakstīšanas

v2.1 katrai epizodei ierakstīja vienu parquet un vienu MP4 failu. v3.0 apvieno daudzas epizodes kopīgās daļās un atjauno robežas no metadatiem, tāpēc info.json satur ceļa veidnes, piemēram, data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet nevis epizodes numuru. Augšupējais pamatojums ir mazāk, lielāku failu: ātrāka inicializācija un mazāks failu sistēmas noslogojums mērogā.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Divi ceļi uz vienu un to pašu datu kopu

No datu kopas līdz politikai

Piecdesmit tīras epizodes nodrošina katru izpildi šeit. apmācās no nulles tikai jūsu uzdevumam, aptuveni 80 M parametri ar aptuveni 20 ms uz vienu darbības soli, vienīgais no pieciem, kas ir piemērots ātrai kustībai. ir aptuveni 450 M parametri uz 24 GB kartes. ir aptuveni 3 B parametru pamata modelis, kur skar aptuveni 40 M parametrus, nepieciešama A100 vai H100, un vēlas to v2.1 datu kopu.

Tālāk, ceļvedis jūsu kombinācijai: , vai ; pirmajai palaišanai, ir īsāks. Ja politika darbojas uz stenda, bet sabrūk brīdī, kad pārvietojat galdu, tā ir datu problēma: un iedziļinās daudzveidībā.