İlk LeRobot Veri Kümenizi Bir SO-100 ile Kaydedin

Bir SO-100 takipçi, aynı tasarıma sahip bir lider kol ve iki USB kamera, bir politikayı bir öğleden sonra ince ayar yapabilir. Aynı tezgah, bir dosya tarayıcısında sağlıklı görünen altmış bölümü kolayca üretebilir ve altı saatlik bir GPU çalışmasını boşa harcayabilir. Fark nadiren modeldir; fark, servolar ile parquet dosyası arasında olanlardır.

İşte manuel yol, ardından daha kısa olanı. Her komut, 3 Ağustos 2026'da yayınlanan ve PyPI'da güncel olan lerobot 0.6.1'dendir. Konsol giriş noktalarına taşındı, bu nedenle çalışan eğitimler python lerobot/scripts/control_robot.py artık mevcut olmayan bir dosyayı tanımlar.

Bir kayıt oturumu ne yakalar

Bir LeRobot veri kümesi bir video klasörü değil, videonun ekli olduğu zaman indeksli bir tablodur: her kontrol döngüsü vuruşu, komut verilen eylemi, takipçinin ulaştığı durumu, kamera başına bir kareyi, bir zaman damgasını ve indeksleri içeren bir satır yazar. Politika yalnızca bu sütunları görür. lerobot/svla_so100_pickplace şeması, meta/info.json dosyasından okunur.

Eklemler main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll ve main_gripper'dır: SO-100'ün altı serbestlik derecesi. Eylem ve durum aynı şekli paylaşır çünkü lider-takipçi teleoperasyonu bir hedefi ve bir adım sonra ulaşılan pozisyonu kaydeder. Bu boşluk bir bilgidir: kolun yerçekimiyle veya sıkışmış bir nesneyle nerede mücadele ettiği. Bu dizeler o veri kümesine aittir. Bugün 0.6.1 ile kaydedilen bir oturum, shoulder_pan.pos'tan gripper.pos'a kadar, veri yolunda 1'den 6'ya kadar kimliklerle yazar: aynı altı eklem, farklı anahtarlar; bu, bir yapılandırmanın bir özelliği adıyla ele aldığı anda önem kazanır.

Çalışma tezgahında ihtiyacınız olanlar

Kol henüz monte edilmediyse, bu ayrı bir akşam işidir: SO-100'e başlarken ve eksiksiz SO-100 kurulum kılavuzu ile başlayın. Henüz bir şey satın almadıysanız, önce SO-100 ile SO-101 karşılaştırması okuyun: SO-101, geliştirilmiş kablolama ve dişli çıkarma adımı olmayan daha yeni bir revizyondur ve kayıt iş akışı aynıdır.

lerobot 0.6.1'i yükleyin

conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec is the default video decoder and needs ffmpeg
conda install ffmpeg -c conda-forge

# core_scripts = dataset + hardware + viz extras (record, replay, calibrate)
# feetech     = SDK for the STS3215 bus servos in the SO-100
pip install 'lerobot[core_scripts,feetech]'

lerobot-info

Ekstralar çoğu zaman insanları yanıltır. pip install lerobot yalnızca temel ML bağımlılıklarını yükler, bir robotla iletişim kuran hiçbir şeyi yüklemez. Koch kolları dynamixel yerine feetech kullanır. Kabuğunuz lerobot-record'u hiç duymadıysa, nedeni budur.

Portlar, motor Kimlikleri ve kalibrasyon

Parçalar ve çalışan bir teleop döngüsü arasında üç tek seferlik adım bulunmaktadır. kolunuzda eğitilmiş bir politikayı başkasının kolunda çalıştırmayı, ham enkoder sayımlarını ortak bir eklem konvansiyonuna eşlemeyi sağlar.

1. 1
   Her kolun USB portunu bulun

   Her iki kol da takılıyken çalıştırın, istendiğinde tanımladığınızı çıkarın ve hangi portun kaybolduğunu not edin. Linux'ta sudo chmod 666 /dev/ttyACM0 komutuna ihtiyacınız olabilir.

   bash

   lerobot-find-port
   # Finding all available ports for the MotorsBus.
   # Ports before disconnecting: ['/dev/ttyACM0', '/dev/ttyACM1']
   # Remove the USB cable from your MotorsBus and press Enter when done.
   # The port of this MotorsBus is '/dev/ttyACM1'
   # Reconnect the USB cable.

2. 2
   Motor Kimliklerini ve baud hızlarını yazın

   Kimlikler her seferinde bir motora yazılır ve belgeler bu konuda katıdır: kontrol kartına henüz başka bir motora zincirlenmemiş tam olarak bir motor bağlayın. Komut dosyası zinciri geriye doğru yürür, önce tutucu için sorar ve ona 6 kimliğini verir, ardından wrist_roll için 5, shoulder_pan için 1'e kadar devam eder. Montajdan önce yapın.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

3. 3
   Her iki kolu da kalibre edin

   Her eklemi hareket aralığının ortasına getirin, Enter tuşuna basın, ardından her birini tam aralığı boyunca hareket ettirin. id, profil dosya adı olur.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader

4. 4
   Herhangi bir şey kaydetmeden önce teleoperasyon yapın

   Yukarıdaki her şey için kabul testi. Eğer teleoperasyon sarsıntılı, aynalı veya bir eklem takip etmiyorsa, kayıt bunu 50 bölümde korur.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_so100_follower \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_so100_leader \
       --display_data=true

Kameralar politikanın ne gördüğüne karar verir

lerobot-find-cameras opencv   # or: lerobot-find-cameras realsense

# --- Detected Cameras ---
# Camera #0:
#   Name: OpenCV Camera @ 0
#   Type: OpenCV
#   Id: 0
#   Backend api: AVFOUNDATION
#   Default stream profile:
#     Format: 16.0
#     Width: 1920
#     Height: 1080
#     Fps: 15.0

İki görünüm ve konumları önemlidir: çalışma alanını kapsayan sabit bir sahne kamerası ve uç-efektör yakınında, tutucunun neye dokunmak üzere olduğunu gösteren bir bilek kamerası. LeRobot topluluk veri kümeleri kontrol listesi, tercihen 480x640 / 720p veya daha iyi iki görünüm, statik bir arka plan, nötr sabit aydınlatma ve lider kol ile insan uzuvlarının kadraj dışında olmasını ister. Kayıt kılavuzu şu genel kuralı ekler: görevi yalnızca kamera görüntülerine bakarak kendiniz yapabilmelisiniz.

Kayıt komutu ve her bir bayrak

HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')

lerobot-record \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_so100_follower \
    --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
    --teleop.type=so100_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_so100_leader \
    --display_data=true \
    --dataset.repo_id=${HF_USER}/so100_pick_cube \
    --dataset.single_task="Pick the red cube and drop it in the box" \
    --dataset.num_episodes=50 \
    --dataset.fps=30 \
    --dataset.episode_time_s=25 \
    --dataset.reset_time_s=10 \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2

Aşağıdaki varsayılanlar şuradan gelmektedir: src/lerobot/configs/dataset.py ana dalından, bir eğitimden değil. Birkaçı insanların varsaydığı gibi değildir.

Bir oturum sırasında klavye kontrolü

• Sağ ok veya n: bölümü veya sıfırlama aşamasını erken bitirir. En çok kullandığınız tuş, çünkü temiz bir kavrama nadiren 25 saniye gerektirir.
• Sol ok veya r: bölümü atar ve yeniden yapar. Kötü bir çekim şimdi hiçbir şeye mal olmaz, ancak daha sonra çok şeye mal olur.
• Escape veya q: oturumu durdurur, kodlamayı bitirir, yükler.
• Bunlar X11, Wayland ve başsız SSH üzerinde çalışır: küresel bir anahtar arka ucu olmadan, lerobot-record aynı tuşları kontrol terminalinden okur. Ok dizilerinin bölündüğü gecikmeli SSH bağlantılarında harfler hayatta kalır.
• Klavye teleoperasyonu farklıdır ve küresel bir arka uç gerektirir: X11, Windows veya Erişilebilirlik özellikli macOS.

Kaç bölüm ve iyi bir bölüm nasıl görünür

Kayıt kılavuzu, ilk görev için en az 50 bölüm, nesne konumu başına yaklaşık 10 bölüm önermektedir. politika sayfaları her model için bir minimum listeler, bunun altında bir çalıştırma GPU zamanına değmez.

Daha iyi soru, neyden ne kadar olduğudur. Data Scaling Laws in Imitation Learning for Robotic Manipulation (Lin ve diğerleri, 2024) 40.000'den fazla gösteri topladı ve 15.000'den fazla gerçek dünya denemesi gerçekleştirdi. Genelleme, environments and objects sayısı ile kabaca bir güç yasası ilişkisi izledi ve ortam veya nesne başına bir eşiğin ötesinde, ek gösterilerin etkisi minimaldi. Bir tezgahta: bir çekimi tekrarlamak yerine nesneyi hareket ettirin, aydınlatmayı değiştirin, küpü değiştirin.

İyi bir bölüm sıkıcıdır: tekrarlanabilir başlangıç pozu, tek bir şeyin yapılması, nesne kutuya konulduğunda sona ermesi, kontrol listesinin önerdiği 25 ila 50 karakterlik görev dizisi. Kırmızı küpü al ve kutuya bırak bir görev dizisidir; task1 kontrol listesinin açıkça belirttiği bir anti-desendir. Belirsiz açıklamalar sorunlar listesinin başında yer alır ve bunlar en çok , burada dizi bir model girdisidir, dosya adı değil.

Bir veri kümesini sessizce mahveden kusurlar

Hiçbiri istisna fırlatmaz. Hepsi eğitime kadar hayatta kalır, iyi görünen bir kayıp eğrisi ve hiçbir şey yapmayan bir robot olarak ortaya çıkar. Sahne kurulurken kontrol edin.

Bir uyarı: akış-kodlama kılavuzunun tablosu varsayılanı True olarak listelerken, ana daldaki veri sınıfı ise streaming_encoding: bool = False olarak okur. Belgeler ve kod çelişiyor, bu yüzden açıkça ayarlayın; lerobot, bayrak kapalıyken başladığında bunu öneren bir ipucu kaydeder.

GPU kiralamadan önce veri setini kontrol edin

Belgelerdeki kabul testi: video süresini CLI'nin bildirdiği bölüm süresiyle karşılaştırın ve satır sayısının fps çarpı süreye eşit olduğunu doğrulayın. Toplamda değil, bölüm başına.

from lerobot.datasets import LeRobotDataset

ds = LeRobotDataset("your-user/so100_pick_cube_20260823_141530")
print("fps:", ds.fps, "frames:", ds.num_frames)

# In v3.0 the per-episode records live in meta/episodes/ as chunked parquet:
# lengths, tasks and offsets into the shared parquet and mp4 shards.
# They load through the datasets stack, so this is a datasets.Dataset --
# use .column_names and integer indexing, not pandas .columns / .head().
eps = ds.meta.episodes
print(eps.column_names)
print(eps[0])

# Global feature statistics, including per-joint min and max.
# A joint whose min equals its max never moved. A joint sitting at a
# hard limit for most of the run is the one that will stall the policy.
print(ds.meta.stats["observation.state"])

Sonra ona bakın. lerobot-dataset-viz bir bölümü kamera görünümlerinin yanında eklem izleriyle kare kare Rerun veya Foxglove'da oynatır. Değiştirilmiş kameralar ve donmuş kareler on saniye içinde ortaya çıkar. İnsanlar bu adımı atlar.

# Replay one episode with camera views and joint traces
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0

# Foxglove instead, for a seekable, scrubbable timeline
lerobot-dataset-viz \
    --repo-id your-user/so100_pick_cube_20260823_141530 \
    --episode-index 0 \
    --display-mode foxglove

# Drop the episodes that did not survive review
lerobot-edit-dataset \
    --repo_id your-user/so100_pick_cube_20260823_141530 \
    --new_repo_id your-user/so100_pick_cube_clean \
    --operation.type delete_episodes \
    --operation.episode_indices "[3, 17, 41]"

v2.1 veya v3.0: kaydetmeden önce karar verin

v2.1 her bölüm için bir parquet ve bir MP4 dosyası yazıyordu. v3.0 ise birçok bölümü paylaşılan parçalara birleştirir ve sınırları meta verilerden yeniden oluşturur, bu nedenle info.json, bölüm numarası yerine data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet gibi yol şablonları taşır. Üst akım gerekçesi, daha az ve daha büyük dosyalar olmasıdır: daha hızlı başlatma ve ölçekte daha az dosya sistemi baskısı.

# Upgrade an older v2.1 dataset to v3.0
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube

# By default it pushes the converted dataset back to the hub and tags it v3.0.
# To convert a local copy and keep it off the hub:
python -m lerobot.scripts.convert_dataset_v21_to_v30 \
    --repo-id=your-user/so100_pick_cube \
    --root=/path/to/dataset/directory \
    --push-to-hub=false

Aynı veri setine iki yol

Veri setinden politikaya

Buradaki her çalışması elli temiz bölümle beslenir. , yalnızca sizin göreviniz üzerinde sıfırdan eğitilir, yaklaşık 80 M parametreye sahiptir ve eylem adımı başına yaklaşık 20 ms sürer; hızlı hareketlere uyum sağlayabilen beş modelden tekidir. , 24 GB'lık bir kartta yaklaşık 450 M parametreye sahiptir. , yaklaşık 3 B parametreli bir temel modeldir; burada yaklaşık 40 M parametreye dokunur, bir A100 veya H100 gerektirir ve v2.1 veri setini ister.

Sıradaki, kombinasyonunuz için rehber: , veya ; ilk çalıştırma için, daha kısadır. Politika tezgahta çalışırken masayı hareket ettirdiğiniz anda çökerse, bu bir veri sorunudur: ve çeşitlilik konusunda daha derinlemesine bilgi verir.