Rekodi Seti Yako ya Kwanza ya Data ya LeRobot Ukitumia SO-100

Kifuatiliaji cha SO-100, mkono kiongozi wa muundo uleule na kamera mbili za USB zinaweza kurekebisha sera kwa usahihi alasiri moja. Benchi hilohilo linaweza kutoa kwa urahisi vipindi sitini vinavyoonekana vizuri kwenye kivinjari cha faili na kupoteza muda wa saa sita wa kuendesha GPU. Tofauti mara chache siyo modeli; ni kile kilichotokea kati ya serva na faili ya parquet.

Huu hapa ni njia ya mwongozo, kisha ile fupi zaidi. Kila amri inatoka lerobot 0.6.1, iliyotolewa Agosti 3, 2026 na ya sasa kwenye PyPI. Imehamia kwenye sehemu za kuingilia za koni, kwa hivyo mafunzo yanayoendesha python lerobot/scripts/control_robot.py yanaelezea faili ambayo haipo tena.

Kile ambacho kipindi cha kurekodi kinanasa

Hifadhidata ya LeRobot si folda ya video bali ni jedwali lililopangwa kwa wakati na video iliyoambatishwa: kila tiki ya kitanzi cha udhibiti huandika safu moja yenye kitendo kilichoamriwa, hali ambayo mfuasi alifikia, fremu moja kwa kila kamera, muhuri wa muda na faharisi. Sera huona safu hizo tu. Mpangilio wa lerobot/svla_so100_pickplace, iliyosomwa kutoka meta/info.json yake.

Viungo ni main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll na main_gripper: sita za SO-100 viwango vya uhuru. Kitendo na hali hushiriki umbo kwa sababu teleoperesheni ya kiongozi-mfuasi hurekodi lengo na nafasi iliyofikiwa hatua moja baadaye. Pengo hilo ni habari: ambapo mkono ulipambana na mvuto au kitu kilichokwama. Nyongeza hizo ni za hifadhidata hiyo. Kipindi kilichorekodiwa na 0.6.1 leo huandika shoulder_pan.pos kupitia gripper.pos, vitambulisho 1 hadi 6 kwenye basi: viungo sita vile vile, funguo tofauti, jambo ambalo ni muhimu wakati usanidi unapotaja kipengele kwa jina.

Unachohitaji kwenye benchi

Ikiwa mkono haujajengwa bado, hiyo ni kazi ya jioni tofauti: anza na SO-100 kuanza kutumia na mwongozo kamili wa usanidi wa SO-100. Ikiwa haujanunua chochote, soma ulinganisho wa SO-100 dhidi ya SO-101 kwanza: SO-101 ni toleo jipya zaidi lenye nyaya zilizoboreshwa na hakuna hatua ya kuondoa gia, na mchakato wa kurekodi ni sawa.

Sakinisha lerobot 0.6.1

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Viongezeo huwachanganya watu zaidi. pip install lerobot husakinisha tu vitegemezi vya msingi vya ML, hakuna kinachozungumza na roboti. Mikono ya Koch inahitaji dynamixel badala ya feetech. Ikiwa shell yako haijawahi kusikia kuhusu lerobot-record, hii ndiyo sababu.

Bandari, Vitambulisho vya Motori na Usawazishaji

Hatua tatu za mara moja zinasimama kati ya sehemu na kitanzi cha teleop kinachofanya kazi. hufanya sera iliyefunzwa kwenye mkono wako iendeshwe kwenye mkono wa mtu mwingine, ikipanga hesabu za encoder ghafi kwenye makubaliano ya pamoja ya viungo.

1. 1
   Pata bandari ya USB ya kila mkono

   Iendeshe ikiwa na mikono yote miwili imechomekwa, chomoa ule unaoutambua unapoombwa, na uangalie ni bandari ipi inayopotea. Kwenye Linux unaweza kuhitaji sudo chmod 666 /dev/ttyACM0.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Andika vitambulisho vya motor na baudrates

   Vitambulisho huandikwa motor moja kwa wakati, na nyaraka ni kali kuhusu jinsi: unganisha motor moja tu kwenye bodi ya kidhibiti, bado haijaunganishwa kwa mnyororo na nyingine yoyote. Skripti inatembea mnyororo kinyume, ikiomba gripper kwanza na kuipa kitambulisho 6, kisha wrist_roll kama 5, hadi shoulder_pan kama 1. Ifanye kabla ya kuunganisha.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Sawazisha mikono yote miwili

   Sogeza kila kiungo katikati ya masafa yake, bonyeza Enter, kisha pitisha kila kimoja kupitia masafa yake kamili. id inakuwa jina la faili ya wasifu.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Endesha teleoperation kabla ya kurekodi chochote

   Jaribio la kukubalika kwa yote yaliyo hapo juu. Ikiwa teleoperation inatetemeka, imeakisiwa, au kiungo kimoja hakitafuata, kurekodi huhifadhi hilo katika vipindi 50.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kamera huamua sera inaona nini

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

Mitazamo miwili, na mahali inakokaa ni muhimu: kamera ya eneo isiyohamishika inayofunika nafasi ya kazi, na kamera ya mkono karibu na kiambato cha mwisho inayoonyesha kile kishikio kinakaribia kugusa. Orodha ya LeRobot ya hifadhidata za jamii inaomba ikiwezekana mitazamo miwili kwa 480x640 / 720p au bora zaidi, mandharinyuma tuli, mwangaza thabiti usioegemea upande wowote, na mkono wa kiongozi na viungo vya binadamu nje ya fremu. Mwongozo wa kurekodi unaongeza kanuni ya jumla: unapaswa kuweza kufanya kazi mwenyewe kwa kuangalia tu picha za kamera.

Amri ya kurekodi na kila bendera

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Mipangilio chaguomsingi iliyo hapa chini inatoka src/lerobot/configs/dataset.py kwenye tawi kuu, si mafunzo. Baadhi si kama watu wanavyodhani.

Udhibiti wa kibodi wakati wa kipindi

• Mshale wa kulia au n: maliza kipindi au weka upya awamu mapema. Ufunguo unaotumia zaidi, kwa sababu mshiko safi mara chache hauhitaji sekunde 25.
• Mshale wa kushoto au r: tupa kipindi na ukifanye upya. Jaribio baya haligharimu chochote sasa na litagharimu sana baadaye.
• Escape au q: simamisha kipindi, maliza usimbaji, pakia.
• Hizi hufanya kazi kwenye X11, Wayland na SSH isiyo na kichwa: bila backend ya funguo ya kimataifa, lerobot-record husoma funguo zile zile kutoka kwenye terminal inayodhibiti. Herufi huendelea kufanya kazi kwenye viungo vya SSH vyenye ucheleweshaji, ambapo mfuatano wa mishale hugawanyika.
• Teleoperation ya kibodi ni tofauti na inahitaji backend ya kimataifa: X11, Windows, au macOS yenye Accessibility.

Idadi ya vipindi, na jinsi kipindi kizuri kinavyoonekana

Mwongozo wa kurekodi unapendekeza angalau vipindi 50 kwa kazi ya kwanza, takriban 10 kwa kila eneo la kitu. Kurasa za sera zinaorodhesha kiwango cha chini kwa kila modeli, chini ya hapo utekelezaji haustahili muda wa GPU.

Swali bora ni ngapi za nini. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin et al., 2024) walikusanya zaidi ya maonyesho 40,000 na kufanya zaidi ya utekelezaji 15,000 wa ulimwengu halisi. Ujumlishaji ulifuata uhusiano wa sheria ya nguvu na idadi ya mazingira na vitu, na baada ya kizingiti kwa kila mazingira au kitu, maonyesho ya ziada yalikuwa na athari ndogo. Kwenye benchi moja: songesha kitu, badilisha mwangaza, badilisha mchemraba, badala ya kurudia zoezi moja.

Kipindi kizuri hakina msisimko: mkao wa nyumbani unaorudiwa, kitu kimoja kimekamilika, kimeisha mara tu kitu kikiwa kwenye pipa, mfuatano wa kazi wenye herufi 25 hadi 50 kama inavyopendekezwa na orodha ya ukaguzi. Pick the red cube and drop it in the box ni mfuatano wa kazi; task1 ndio kinyume cha muundo ambao orodha ya ukaguzi inautaja waziwazi. Maelezo yasiyo wazi yanaongoza orodha yake ya matatizo, na yana umuhimu mkubwa kwa mifumo ya kuona-lugha-vitendo, ambapo mfuatano huo ni ingizo la mfumo, sio jina la faili.

Kasoro zinazoharibu data seti kimyakimya

Hakuna inayotoa hitilafu. Zote huendelea hadi kwenye mafunzo, zikionekana kama mkunjo wa hasara unaoonekana sawa na roboti isiyofanya chochote. Angalia wakati eneo limewekwa tayari.

Tahadhari moja: jedwali la mwongozo wa usimbaji-utiririshaji linaorodhesha chaguo-msingi kama True, wakati dataclass kwenye main inasoma streaming_encoding: bool = False. Nyaraka na msimbo havikubaliani, kwa hivyo iweke wazi; lerobot huweka kidokezo kinachoipendekeza kila inapoanza na bendera imezimwa.

Kagua seti ya data kabla ya kukodisha GPU

Jaribio la kukubalika kutoka kwa nyaraka: linganisha muda wa video dhidi ya muda wa kipindi ulioripotiwa na CLI, na uthibitishe kuwa idadi ya safu inalingana na fps mara muda. Kwa kila kipindi, si kwa jumla.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Kisha kiangalie. lerobot-dataset-viz hurudia kipindi fremu kwa fremu na alama za viungo kando ya mitazamo ya kamera, katika Rerun au Foxglove. Kamera zilizobadilishwa na fremu zilizoganda huonekana ndani ya sekunde kumi. Watu huruka hatua hii.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 au v3.0: amua kabla ya kurekodi

v2.1 iliandika faili moja ya parquet na MP4 moja kwa kila kipindi. v3.0 huunganisha vipindi vingi kwenye shadi zilizoshirikiwa na hujenga upya mipaka kutoka kwa metadata, kwa hivyo info.json hubeba violezo vya njia kama data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet badala ya nambari ya kipindi. Sababu kuu ni faili chache, kubwa zaidi: uanzishaji wa haraka na shinikizo dogo la mfumo wa faili kwa kiwango kikubwa.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Njia mbili za kufikia hifadhidata ileile

Kutoka seti ya data hadi sera

Vipindi hamsini safi hulisha kila inayoendeshwa hapa. hufunzwa kuanzia mwanzo kwenye kazi yako pekee, takriban vigezo milioni 80 kwa takriban milisekunde 20 kwa kila hatua ya kitendo, ndiyo pekee kati ya tano inayostarehesha na mwendo wa haraka. ina takriban vigezo milioni 450 kwenye kadi ya GB 24. ni mfumo msingi wa takriban vigezo bilioni 3 ambapo hugusa takriban vigezo milioni 40, inahitaji A100 au H100, na inataka seti ya data ya v2.1.

Ifuatayo, mwongozo wa mchanganyiko wako: , au ; kwa mara ya kwanza, ni fupi zaidi. Wakati sera inafanya kazi kwenye benchi lakini inaporomoka mara tu unaposogeza meza, hilo ni tatizo la data: na huenda kwa undani zaidi kuhusu utofauti.