SO-100에서 ACT를 처음부터 훈련하는 방법

ACT는 SO-100 정책 중 특이한 경우입니다. GR00T N1.7 및 N1.5는 nvidia/GR00T-N1.7-3B 및 nvidia/GR00T-N1.5-3B에서 시작하며, Pi0.5는 lerobot/pi05_base에서 시작합니다. ACT는 아무것도 없는 상태에서 시작합니다. 기반 모델이 아니기 때문에 기본 체크포인트가 없습니다. 이는 약 8천만 개의 매개변수를 가진 트랜스포머로, 특정 작업에 대해 사용자의 로봇 팔과 조명 환경에서 처음부터 훈련시킵니다.

이것이 바로 30억 개의 매개변수를 가진 VLA가 152~485ms를 필요로 하는 제어 단계를 20ms 만에 실행하고, 실행당 4~12 USD 대신 1~3 USD가 드는 이유입니다. 이 가이드는 lerobot를 사용하여 SO-100에서 수동 경로를 안내합니다: 기록, act 구성, chunk_size 및 n_action_steps가 제어하는 것, 100000단계 스케줄, 롤아웃. 그 다음 AY-Robots에서 동일한 작업을 수행하며, 플랫폼이 도움이 되지 않는 부분도 포함합니다.

ACT는 실제로 무엇인가

Action Chunking with Transformers는 ALOHA 논문, 저비용 하드웨어로 미세한 양손 조작 학습, Zhao, Kumar, Levine, Finn 공저, arXiv, 2023년 4월 23일에서 유래했습니다. 이 장비는 50Hz로 기록하며, 4개의 웹캠이 480x640 해상도로 30fps 스트리밍합니다. 웹캠은 그리퍼에 2개, 상단에 1개, 전면에 1개 설치되어 있습니다. 초록에서는 10분간의 시연을 통해 반투명 양념 컵 열기, 배터리 끼우기 등 6가지 기술에서 80~90%의 성공률을 주장합니다.

녹화 세션을 계획할 때 본문이 더 유용합니다. 각 작업당 50개의 시연이 필요하며, Thread Velcro는 100개입니다. 이는 10~20분의 데이터와 리셋 시간을 포함하면 30~60분의 실제 소요 시간입니다. 성공률도 균일하지 않습니다. Thread Velcro는 20%, Put On Shoe는 92%, Cup Open은 84%, Prep Tape는 64%입니다.

액션 청킹이 핵심 아이디어입니다

일반적인 행동 복제는 하나의 관측을 하나의 행동에 매핑하며, 오류가 누적됩니다. 편차가 팔을 분포에서 벗어나게 하여 더 나쁜 행동을 유발하고, 30단계 후에는 그리퍼가 객체 근처에도 가지 못하게 됩니다. 액션 청킹은 한 번에 k개의 행동을 예측하고 실행하여 유효한 예측 범위를 k배만큼 줄입니다. 또한 인간 데이터에 특정한 골칫거리도 처리합니다. 원격 조작자는 일시 정지하며, 단일 단계 마르코프 정책은 이전에 발생한 일에 따라 달라지는 일시 정지를 모델링할 수 없습니다.

해당 논문은 k를 단정하기보다는 제거합니다. 시간적 앙상블을 끈 상태에서 네 가지 설정에 걸쳐 평균을 냈을 때, 성공률은 k = 1일 때 1퍼센트에서 k = 100일 때 44퍼센트로 상승한 다음, 정책이 개방 루프 제어에 가까워지면서 200과 400에서 점차 감소합니다. 이 곡선이 기본값이 100인 이유입니다.

• chunk_size: 디코더가 한 번의 순방향 패스에서 예측하는 미래 액션의 수. 기본값 100.
• n_action_steps: 다시 쿼리하기 전에 실행하는 액션의 수. 기본값 100이므로 lerobot은 전체 청크를 개방 루프로 실행합니다.
• lerobot은 n_action_steps <= chunk_size를 검증하며, 반대로 설정하면 ValueError를 발생시킵니다.

운영상 중요한 것은 chunk_size를 프레임 속도로 나눈 값입니다. lerobot의 SO-100 예시에서 사용하는 30 fps에서는 100개의 청크가 하나의 관측에서 약 3.3초를 커밋합니다. 작업이 해당 창 내에서 수정이 필요한 경우, chunk_size가 아니라 n_action_steps를 낮추십시오. 이렇게 하면 긴 예측을 유지하고 더 자주 재관측할 수 있습니다.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

ACT가 기초 모델을 능가할 때

다섯 가지 훈련 가능한 정책을 나란히 비교하며, AY-Robots가 임대하는 GPU의 크기를 결정하기 위해 측정하고 사용하는 수치와 함께.

작업과 장면이 고정되어 있고 움직임이 빠르고 정밀해야 할 때 ACT를 선택하십시오. 하나의 체크포인트가 여러 지침을 포괄해야 할 때 을 선택하십시오. 두 페이지에서 이 결정을 직접 다룹니다: 및 . 공개된 벤치마크의 경우, 은 모든 숫자를 출처에 연결합니다.

시작하기 전에 필요한 것

하나의 팔로워 암, 을 위한 하나의 리더 암, 최소 하나의 카메라, 24GB GPU. ACT는 이미지와 조인트 위치만 읽습니다. 두 대의 카메라가 최적입니다: 사물의 위치를 위한 고정된 전면 뷰, 가 무엇을 만지려 하는지를 위한 손목 카메라(ALOHA와 같이).

맨 암에서 기록된 데이터셋까지

아래 흐름은 lerobot 0.6.x입니다. 보정된 암과 데이터셋이 있다면 건너뛰세요. 그렇지 않으면 SO-100 시작 가이드에서 조립을 다루고, 기록 워크스루에서 캡처를 다루며, 데이터셋 문서에서 형식을 다룹니다.

1. 1
   적절한 추가 기능으로 lerobot 설치

   녹화에는 core_scripts, 훈련에는 training, Feetech 서보에는 feetech가 필요합니다. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   각 암의 USB 포트 찾기

   두 암을 모두 연결한 상태에서 실행하고, 메시지가 표시되면 하나를 분리합니다. Linux에서는 노드 권한을 열어야 할 수도 있습니다.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   모터 ID 및 보드레이트 설정

   SO-100에서는 조립 전에 이 작업이 수행됩니다. SO-101과 달리 일단 조립되면 커넥터에 접근할 수 없습니다. 스크립트는 그리퍼부터 한 번에 하나의 모터씩 버스를 따라 이동하며 ID를 EEPROM에 기록합니다.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   두 암 모두 보정

   모든 조인트를 범위의 중간으로 설정하고 Enter를 누른 다음, 각 조인트를 전체 범위로 스윕합니다. 보정을 통해 한 암에서 훈련된 정책을 다른 암에서 실행할 수 있습니다. 동일한 id를 재사용하십시오.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   카메라를 켠 상태에서 한 번 원격 조작

   lerobot의 경험 법칙: 카메라 이미지만 보고 작업을 수행할 수 있어야 합니다. 할 수 없다면 ACT도 할 수 없습니다. 이는 나중에 디버깅하는 것보다 더 많은 불량 데이터셋을 잡아냅니다.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50개 에피소드 기록

   50은 AY-Robots의 최소값이며 ALOHA가 작업당 사용한 값입니다. lerobot은 객체 위치당 10개, 카메라 고정, 일관된 그립을 권장합니다. n은 에피소드를 종료하고, r은 다시 기록하며, q는 중지하고 인코딩합니다.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

훈련 전에 최소 5개 에피소드를 재생하십시오. 은 카메라 스트림, 조인트 상태 및 액션을 당 저장하며, 재생은 해당 액션을 암으로 다시 푸시합니다. 재생이 작업을 수행하지 않으면 데이터에 해당 내용이 포함되어 있지 않으며 훈련도 이를 만들어내지 못할 것입니다.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT 정책 훈련

이것이 전체 명령어입니다. ACT 관련 모든 것은 이미 기본값으로 설정되어 있으며, 이것이 lerobot ACT 페이지에서 이들을 시작점으로 삼으라고 하는 이유입니다.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act는 데이터셋에 기록된 모터 및 카메라 수에 맞춰 조정되는 ACTConfig를 로드하므로, 관측 형태를 선언할 필요가 없습니다. --wandb.enable=true는 선택 사항이지만 가치가 있습니다. 손실 곡선은 100000 스텝 실행에서 유일하게 저렴한 신호입니다. 스케줄은 ACTConfig가 아닌 lerobot의 훈련 설정에서 가져옵니다. 100000 스텝, 배치 8, 시드 1000, 20000 스텝마다 체크포인트, 200 스텝마다 로깅입니다.

전체 실행은 020000부터 100000까지 다섯 개의 체크포인트 디렉토리와 last 심볼릭 링크를 남깁니다. 이들을 모두 보관하십시오. 최적의 정책은 종종 마지막 정책이 아닐 수 있습니다.

기간: 논문에서는 11GB RTX 2080 Ti에서 약 5시간, lerobot의 ACT 페이지에서는 10만 스텝당 몇 시간, AY-Robots 24GB 티어에서는 2~5시간이 소요됩니다. 시간을 단축하지 마십시오. 참조 저장소의 README에 따르면, 불안정하거나 멈추는 정책은 일반적으로 더 많은 학습, 왜냐하면 손실이 안정화된 후에도 성공률과 부드러움은 계속 향상되기 때문입니다. 실제 데이터의 경우 최소 5000 에포크, 또는 안정화된 후에도 3~4배 더 긴 학습 기간이 필요합니다.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

학습된 정책을 로봇 팔에서 실행하기

배포는 lerobot-rollout을 사용합니다. 카메라 키는 기록된 것과 일치해야 합니다. front 및 wrist에서 학습된 정책은 cam0 및 cam1을 허용하지 않으며, rename_map은 사전 학습된 체크포인트가 필요하므로 도움이 되지 않습니다. 작업 문자열은 생략할 수 있습니다. lerobot 자체 예제에서는 ACT에 대해 건너뛸 수 있다고 표시합니다.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

최종 모델 대신 체크포인트를 고정하려면 다음을 추가하세요: --policy.pretrained_revision. 이를 위해서는 실행이 다음으로 시작되어야 합니다: --save_checkpoint_to_hub=true, 기본적으로 비활성화되어 있습니다. 이 옵션이 없으면 lerobot은 최종 모델만 푸시하고 다른 것은 푸시하지 않습니다. 이 옵션을 사용하면 각 체크포인트는 0으로 채워진 스텝으로 태그가 지정되므로 --policy.pretrained_revision=060000은 60000 스텝 체크포인트를 복구합니다. 실제 로봇 팔에서 100000 스텝과 비교하는 것이 가장 저렴하게 수행할 수 있는 실험입니다.

동일한 체크포인트에 도달하는 두 가지 경로

위의 모든 내용은 수동 경로이며 작동합니다. 플랫폼 경로는 GPU나 Python 환경을 소유하지 않는 대신 제어권을 포기합니다.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

실제로 무엇이 잘못되는가

훈련 명령어 자체에는 거의 어려움이 없습니다. 문제는 그 주변의 것들에 있으며, 처음 시도할 때 문제가 발생하는 빈도에 따라 정렬됩니다.

두 가지 항목은 강조할 가치가 있습니다. ACT는 LeRobot v3.0에서 훈련되지만, GR00T의 로더는 이 버전에서 충돌하여 v2.1이 필요하므로, ACT를 훈련하는 데이터셋이 GR00T 실행을 실패하게 할 수 있습니다. 그리고 마지막 항목에는 두 가지 해결책이 있습니다. ACT 개발자들은 불규칙한 움직임에 대해 더 많은 훈련으로 해결한다고 답했지만, n_action_steps 100으로 설정하면 실제 정지는 청크 경계에서 발생하며, 30fps에서 3.3초마다 눈에 띄는 일시 정지가 나타납니다. 추가로 알아야 할 두 가지: 단일 관절이 작동하지 않는 경우는 대개 한 번도 기록되지 않은 서보 ID, 그리고 접근하지만 닫히지 않는 그리퍼는 데모에서 그리퍼 범위가 너무 작다는 것을 의미합니다. 전체 색인: 실패 모드 페이지.

실행 비용

나중에 VLA를 원하더라도 ACT로 시작해야 하는 이유입니다. 실패한 ACT 실행은 커피 한 잔 값으로 몇 시간 내에 데이터셋에 해당 작업이 포함되어 있는지 알려줍니다. 실패한 GR00T 실행은 동일한 교훈을 얻는 데 4배의 비용이 듭니다. 다음으로 이동하는 것은 GR00T N1.7 또는 SmolVLA 이후에는 재구축이 아닌 형태 변경입니다. 배경: 비전-언어-액션 모델, SO-100 완전 가이드, 첫 번째 정책 훈련하기 및 모방 학습. 로봇 팔이 없나요? 라이브 페이지에 접속하면 가입 없이 실제 SO-100을 조종할 수 있습니다.