자체 로봇 데이터로 Pi0.5 훈련하는 방법

Pi0.5는 정책이 한 번도 본 적 없는 방에서 작동해야 할 때 선택하는 모델입니다. 또한 여기 있는 다섯 가지 학습 가능한 정책 중에서 수동으로 미세 조정하기 가장 까다로운 모델입니다. 업스트림 저장소는 JAX 우선이며, LeRobot 포트는 0.6.0에서 lerobot-record에서 배포를 제외하여 기본 설치가 학습하기에는 너무 작아졌고, 전체 미세 조정은 4090에 맞지 않습니다. 아래: 플로우 매칭이 추론 시 얼마나 비용이 드는지, 두 가지 명령 경로, 그리고 결과의 사용 가능 여부를 결정하는 485 ms 숫자입니다.

Pi0.5의 실제 모습

Physical Intelligence는 2024년 10월에 pi0를 발표했습니다. 이는 사전 훈련된 VLM 기반의 플로우 매칭 시각-언어-동작 모델입니다. 30억 개의 매개변수를 가진 PaliGemma와 처음부터 초기화된 3억 개의 동작 전문가를 포함하여 총 33억 개의 매개변수를 가집니다. 이 논문은 7가지 로봇 구성과 68가지 작업에 걸쳐 10,000시간 이상의 로봇 데이터로 사전 훈련했다고 보고합니다. 더 자세한 내용은 pi0 문서에서 확인하십시오.

Pi0.5 (arXiv 2504.16054, 22 April 2025)는 그 골격을 유지하고 훈련 방식을 변경합니다: 웹 데이터, 객체 감지, 로봇을 코칭하는 인간의 구두 지시, 하위 작업 레이블, 여러 가정에 있는 로봇의 교차 구현 데이터. 그 결과는 훈련 세트에 없던 집의 주방을 청소하는 로봇입니다. openpi README는 제목에 없는 세부 사항을 추가합니다: 출시된 pi0.5는 지식 단열(arXiv 2505.23705)로 훈련되었습니다.

플로우 매칭이 훈련 및 추론에 대해 변경하는 사항

SO-100에서 훈련할 수 있는 정책은(는) 동작을 직접 회귀시키거나 (ACT) 또는 토큰화하여 자동회귀적으로 디코딩합니다 (pi0-FAST). 플로우 매칭은 둘 다 아닙니다. 노이즈를 깨끗한 액션 청크로 전달하는 벡터 필드를 학습한 다음, 이를 통합합니다. pi0 논문은 스텝 크기 0.1로 10단계 통합을 사용합니다. LeRobot의 pi05 설정도 동일한 num_inference_steps: int = 10을 포함합니다.

• 훈련: 손실은 노이즈가 추가된 액션 청크를 회귀시킵니다. 튜닝할 토크나이저도, 관절 각도의 이산화도 없습니다.
• 추론: 하나의 청크는 액션 전문가를 통해 10번의 순방향 패스를 필요로 합니다. 이는 구조적인 문제이지 튜닝 문제가 아닙니다.
• 출력: 내부적으로 패딩된 32차원 연속 동작이며, 로봇이 가진 차원에 대해 손실이 계산됩니다. 6-자유도 팔과 그리퍼는 7을 사용합니다.

# openpi/src/openpi/models/pi0_config.py - the defaults every pi05 config inherits
@dataclasses.dataclass(frozen=True)
class Pi0Config(_model.BaseModelConfig):
    dtype: str = "bfloat16"
    paligemma_variant: _gemma.Variant = "gemma_2b"
    action_expert_variant: _gemma.Variant = "gemma_300m"

    action_dim: int = 32
    action_horizon: int = 50
    max_token_len: int = None      # 200 if pi05 else 48

    pi05: bool = False             # flips discrete_state_input to True

PaliGemma 백본과 그 앞에 있는 게이트

PaliGemma (arXiv 2407.07726)는 Gemma-2B 언어 모델 기반의 SigLIP-So400m 비전 인코더로, 약 30억 개의 매개변수를 가집니다. Pi0.5는 이 토크나이저를 상속하며, 해당 토크나이저는 게이트된 저장소에 있습니다. 이는 첫 번째 학습 단계가 시작되기도 전에 첫 실행이 실패하는 가장 흔한 원인입니다.

시작하기 전에: 데이터셋 형식, 에피소드, 하드웨어

LeRobot의 Pi0.5는 LeRobot 데이터셋을 v3.0 레이아웃으로 읽습니다. 이 레이아웃은 2025년 10월 lerobot 0.4.0과 함께 도입되었으며, 에피소드당 하나의 파일 대신 Parquet 및 MP4 파일당 여러 에피소드를 포함하고, 파일 이름 대신 meta/episodes/에 경계가 정의됩니다. 데스크톱 클라이언트를 사용하여 기록하거나 첫 데이터셋 기록하기를 따르면 됩니다.

# v2.1 -> v3.0, run against a dataset already on the Hub
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>

# aggregates episode-0000.parquet, episode-0001.parquet, ... -> file-0000.parquet
# aggregates episode-0000.mp4, episode-0001.mp4, ...         -> file-0000.mp4
# rewrites meta/episodes/* with per-episode lengths, tasks and offsets

플랫폼은 Pi0.5에 대해 최소 50개의 에피소드를 요구하며, 이는 GR00T 및 ACT와 동일한 최소 요구치입니다. 사전 학습이 대부분의 작업을 수행하므로, 50개의 깔끔한 에피소드가 200개의 부실한 에피소드보다 낫습니다. 이 분야가 처음이신가요? 다음을 참고하여 시작하십시오: 데이터 수집 가이드.

경로 A: openpi 저장소를 사용하여 미세 조정

참조 구현: JAX 우선, Ubuntu 22.04에서만 테스트되었으며, 플래그 대신 구성 객체로 구동됩니다. PyTorch 경로는 2025년 9월에 출시되었으며 LIBERO에서 검증되었습니다. 세 가지 단계: 데이터 변환, 구성 정의, 훈련 및 서비스.

1. 1
   클론 및 설치

   openpi는 uv를 사용합니다. GIT_LFS_SKIP_SMUDGE는 LeRobot이 LFS blob 없이 종속성으로 포함될 수 있도록 합니다.

   bash

   git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
   cd openpi
   
   GIT_LFS_SKIP_SMUDGE=1 uv sync
   GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

2. 2
   데이터를 LeRobot 데이터셋으로 변환

   업스트림은 LIBERO 및 DROID용 변환기를 제공하며, 사용자가 하나를 개조하도록 예상합니다. 핵심 작업은 키 매핑입니다.

   bash

   uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

3. 3
   훈련 구성 추가

   구성은 src/openpi/training/config.py의 TrainConfig 항목입니다. 이 구성은 pi05_droid_finetune을 개조하며, 가중치 로더는 pi05_base를 가리킵니다.

   python

   TrainConfig(
       name="pi05_so100",
       model=pi0_config.Pi0Config(
           pi05=True,
           action_dim=32,        # pi05 is trained with 32-dim actions
           action_horizon=16,
       ),
       # Copy LeRobotLiberoDataConfig in the same file and rewrite the key
       # mapping for your camera names, then reference your copy here.
       data=LeRobotLiberoDataConfig(
           repo_id="your_hf_username/my_so100_dataset",
           base_config=DataConfig(prompt_from_task=True),
       ),
       weight_loader=weight_loaders.CheckpointWeightLoader(
           "gs://openpi-assets/checkpoints/pi05_base/params"
       ),
       batch_size=32,
       num_train_steps=20_000,
   )

4. 4
   정규화 통계 계산

   데이터셋이 아닌 구성 이름에 대해 실행됩니다. 이를 건너뛰는 것이 여기서 흔히 발생하는 첫 번째 실패입니다.

   bash

   uv run scripts/compute_norm_stats.py --config-name pi05_so100

5. 5
   훈련

   이 변수는 JAX가 기본 75% 대신 GPU 메모리의 90%를 사용하도록 합니다. 80GB 카드에서는 이 설정이 실행 성공 여부를 결정합니다.

   bash

   XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_so100 \
       --exp-name=my_experiment \
       --overwrite

6. 6
   서비스

   서버는 포트 8000에서 수신 대기하며 관측 쿼리에 응답합니다. 로봇 런타임이 클라이언트입니다.

   bash

   uv run scripts/serve_policy.py policy:checkpoint \
       --policy.config=pi05_so100 \
       --policy.dir=checkpoints/pi05_so100/my_experiment/20000

경로 B: lerobot pi05로 미세 조정

LeRobot 포트는 이미 사용 중인 CLI에서 동일한 가중치를 래핑합니다. ACT 및 SmolVLA. 아래의 모든 내용은 2026년 8월 3일 이후 릴리스된 lerobot 0.6.1과 2026년 8월 23일의 pi05 문서를 기준으로 확인되었습니다. 여기서는 버전이 중요합니다. v3.0 데이터셋은 2025년 10월 0.4.0과 함께 출시되었고, 2026년 3월 9일의 0.5.0 블로그는 pi0-FAST와 실시간 청킹을 소개하며, 2026년 7월 6일의 0.6.0은 기본 패키지를 경량화하고 배포를 lerobot-rollout으로 옮겼습니다.

한 가지는 변하지 않았습니다. lerobot-train 및 lerobot-record는 2025년 8월 0.3.2 버전에서 이미 진입점(entry point)이었습니다. 여전히 python -m lerobot.scripts.train을 호출하는 튜토리얼은 1년 전의 변경 사항을 반영하지 않으므로, 나머지 내용도 신뢰하기 어렵습니다.

1. 1
   올바른 추가 기능으로 설치

   0.6.0 버전부터 기본 설치에는 핵심 ML 종속성만 포함되며, pi 추가 기능은 데이터셋이나 훈련 코드를 추가하지 않으므로 미세 조정을 위해서는 훈련 추가 기능도 필요합니다. 이전의 한 줄 설치 명령어는 임포트 시점에 실패합니다.

   bash

   # policy dependencies plus the training stack
   pip install 'lerobot[pi,training]'
   
   # from a source checkout
   pip install -e ".[pi,training]"
   
   # driving an SO-100 afterwards needs the robot extras too
   pip install 'lerobot[core_scripts,feetech]'

2. 2
   인증

   브라우저에서 paligemma-3b-pt-224 라이선스를 수락한 다음, 훈련을 수행할 머신에 로그인합니다.

   bash

   hf auth login

3. 3
   분위수 통계 추가

   Pi0.5는 분위수를 사용하여 STATE와 ACTION을 정규화하므로, meta/stats.json 파일에 q01과 q99가 필요합니다. 이전 데이터셋에는 min, max, mean, std만 포함되어 있습니다.

   bash

   lerobot-edit-dataset \
       --repo_id your_dataset \
       --new_repo_id your_dataset \
       --operation.type recompute_stats \
       --operation.overwrite true

4. 4
   lerobot/pi05_base에서 미세 조정

   배치 크기는 사용 중인 카드에서 처리 가능한 값으로 설정하십시오. 문서에서는 80GB LIBERO에서 64를 사용합니다. bfloat16을 명시적으로 전달해야 합니다. 구성 기본값은 float32입니다.

   bash

   lerobot-train \
       --dataset.repo_id=${HF_USER}/my_so100_dataset \
       --policy.type=pi05 \
       --policy.pretrained_path=lerobot/pi05_base \
       --policy.gradient_checkpointing=true \
       --policy.dtype=bfloat16 \
       --policy.device=cuda \
       --policy.push_to_hub=false \
       --output_dir=./outputs/pi05_so100 \
       --job_name=pi05_so100 \
       --batch_size=4 \
       --num_workers=8 \
       --steps=30000 \
       --save_freq=5000 \
       --seed=1000

5. 5
   로봇 팔에서 실행

   0.6.x 버전에서는 `lerobot-rollout`을 사용합니다. `lerobot-record`는 정책을 거부하고 `eval_` 데이터셋 이름을 허용하지 않습니다. `base`는 로봇 팔을 구동하고, `sentry`는 롤아웃을 기록합니다.

   bash

   lerobot-rollout \
       --strategy.type=base \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
       --task="Put lego brick into the transparent box" \
       --duration=60
   
   # same run, recorded into an eval_ dataset
   lerobot-rollout \
       --strategy.type=sentry \
       --policy.path=${HF_USER}/my_policy \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM1 \
       --dataset.repo_id=${HF_USER}/eval_so100 \
       --dataset.single_task="Put lego brick into the transparent box" \
       --duration=600

세 가지 기본값 세트와 트레이너에 도달하는 기본값

openpi의 TrainConfig가 기준이며, LeRobot의 PI05Config는 아무것도 지정하지 않을 때 lerobot-train이 사용하는 설정이고, 여기 양식은 세 번째 설정을 보냅니다. 놀라운 점은 학습률입니다. 두 업스트림 기본값 모두 최대 2.5e-5이지만, openpi 자체의 pi05_libero 설정과 이 플랫폼은 이를 5e-5로 높입니다.

포트가 충실한가요? LeRobot 팀은 LIBERO 기본 모델을 6천 단계 더 미세 조정하고 openpi의 참조 수치와 네 가지 스위트에서 비교했습니다. 평균 97.5% 대 96.85%로, Libero 10에서는 앞섰고 Spatial에서는 뒤처졌습니다. 이 경로는 품질 선택이 아닌 도구 선택입니다.

485ms의 현실, 그리고 사용 불가능해지는 지점

이것이 프로젝트를 결정하므로, 비용 테이블보다 먼저 나옵니다. 은 Pi0.5에 대해 여기서 측정된 액션 단계당 485ms입니다. 다른 네 가지와 비교하면 다음과 같습니다:

업스트림에는 해답이 있으며, 그 절반은 이미 설치할 수 있는 릴리스에 포함되어 있습니다. 실시간 청킹(Real-Time Chunking)은 팔이 현재 청크를 실행하는 동안 다음 청크를 생성한 다음, 새 청크의 겹치는 단계가 이미 실행된 부분에 가깝게 유지되도록 안내하여 팔이 이음새에서 멈추거나 삐걱거리지 않도록 합니다. Pi0, Pi0.5 및 SmolVLA용 0.4.2 변경 로그에 포함된 추론 시간 형식은 재훈련이 아닌 롤아웃 플래그입니다:

lerobot-rollout \
    --strategy.type=base \
    --policy.path=${HF_USER}/my_policy \
    --inference.type=rtc \
    --inference.rtc.execution_horizon=10 \
    --inference.rtc.max_guidance_weight=10.0 \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM1 \
    --robot.cameras="{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}}" \
    --task="Put lego brick into the transparent box" \
    --duration=60

이것은 모델을 더 빠르게 만들지 않습니다. 이는 간격을 숨깁니다. 485ms는 여전히 소요되지만, 중요 경로에서 벗어나므로 청크 사이에 큐가 고갈되지 않습니다. arXiv 2512.05964의 훈련 시간 변형은 더 나아가 모델이 깨끗한 액션 접두사에 조건을 부여하는 방법을 학습하여 추론 시 오버랩이 안내되는 대신 액션별 흐름 타임스텝으로 하드 인페인팅되고 안내 역전파가 사라집니다. 훈련 중에는 예제당 접두사 길이를 샘플링하고 나머지 접미사에 대한 흐름 손실을 취합니다. 이 플래그는 0.6.1이 아닌 main에만 있으며, 훈련하는 지연 시간은 chunk_size보다 작아야 합니다.

Pi0.5 체크포인트를 얻는 두 가지 방법

lerobot-train \
    --dataset.repo_id=${HF_USER}/my_so100_dataset \
    --policy.type=pi05 \
    --policy.pretrained_path=lerobot/pi05_base \
    --policy.rtc_training_max_delay=10 \
    --policy.gradient_checkpointing=true \
    --policy.dtype=bfloat16 \
    --batch_size=4 --steps=30000 --seed=1000

작동하지 않을 때

• 데이터셋 거부됨: v3 필요
• 훈련 중 메모리 부족
• 손실은 감소하지만 정책이 아무것도 하지 않음
• 정책이 동작 중간에 멈춤
• 정책이 한 가지 설정에서만 작동함
• 훈련 작업이 대기열에 멈춤

한 번 실행 비용

Pi0.5는 80GB 카드가 필요하고 스팟 가격이 변동하기 때문에 비싼 티어에 속하며, 따라서 이 수치는 가격이라기보다는 범위입니다. 많은 SO-100 작업의 경우, SmolVLA 또는 24GB 티어에서 ACT를 먼저 훈련하여 작업이 학습 가능한지 확인한 다음 A100 시간을 투자하십시오. 첫 번째 정책 훈련하기는 더 저렴한 루프를 안내하며, 가격 책정에는 현재 티어가 포함되어 있습니다.

저녁 시간을 투자하기 전에: GR00T N1.7과 Pi0.5 비교 및 Pi0.5와 SmolVLA 비교에서 동일한 수치를 직접 비교합니다. 아레나에는 332개의 벤치마크 결과가 있는 85개의 VLA 모델이 있으며, 각 결과는 출처에 연결되어 있고, 해당 계열에 대한 배경 정보는 저희 VLA 개요에 있습니다.