로봇 정책을 위한 합성 데이터: 시뮬레이션이 도움이 되는 곳

몇 달에 한 번씩 누군가는 50개의 에피소드를 수동으로 기록하는 것이 느리다는 것을 깨닫고, 시뮬레이터가 대신 생성할 수 있는지 묻습니다. 이는 타당한 질문입니다. 솔직한 답변은 세 가지로 나뉩니다: 생성된 데이터는 도움이 되지만, 실제 기록을 대체하지는 않으며, 이 두 사실 간의 비율은 어떤 종류의 합성 데이터를 의미하는지에 전적으로 달려 있습니다.

이 페이지에서는 발표된 연구가 실제로 무엇을 측정했는지, SO-100과 같은 저가형 암에서 오늘날 무엇을 실행할 수 있는지, 그리고 시뮬레이션-실제 간극이 이득을 잠식하는 지점을 다룹니다. 자세한 내용에 앞서 요약하자면: 가장 큰 배율을 보고하는 시스템은 소수의 실제 인간 시연을 증폭시킵니다. 이는 인간 시연의 필요성을 없애지 않습니다.

네 가지 다른 합성 데이터

숫자를 비교하기 전에 계열을 구분하는 것이 좋습니다. 100배의 승수를 보고하는 논문과 5점의 성공률 증가를 보고하는 논문은 종종 동일한 파이프라인을 다른 관점에서 설명하기 때문입니다. 공통점은 LeRobot 데이터셋의 무언가가 물리적 팔에서 기록된 것이 아니라 기계에 의해 생성되었다는 것입니다. 다른 점은 어떤 부분인지입니다.

이 글에서 의미하는 합성 데이터는 처음 세 가지뿐입니다. 네 번째는 같은 대화에 묶이고 목록에서 가장 저렴한 것이기 때문에 언급할 가치가 있습니다. 트레이너에 포함된 증강 기능을 아직 켜지 않았다면 시뮬레이터를 설치하기 전에 먼저 켜십시오.

공개된 수치들이 실제로 말하는 바

다음은 증거 기반입니다. 보도 자료가 요약한 방식이 아니라 출처가 명시한 그대로의 수치들을 담고 있습니다. 아래의 모든 행은 2026년 8월 23일에 읽은 논문 또는 프로젝트 페이지에서 가져온 것입니다.

모든 정직한 절제 연구에서 패턴은 동일합니다. 합성 데이터는 저렴하게 커버리지를 확장합니다. 이는 실제 시연 어딘가에 없었던 그리퍼, 서보 처짐, 조명 또는 테이블 높이에 대한 정보를 생성하지 않습니다. 만약 정책이 실패하는 이유는 말단 효과기가 0.5초 늦게 닫히기 때문이라면, 아무리 많은 시뮬레이션 변형도 이를 해결할 수 없습니다. 그것은 실제 녹화에서 발생한 그리퍼 타이밍 문제입니다.

MimicGen의 한 가지 발견은 일반적인 조언과 상반되기 때문에 여러분의 녹화 세션에 적용할 가치가 있습니다. 이 프로젝트는 Square D2에서 두 가지 데이터셋을 생성했습니다. 하나는 더 나은 품질의 인간 작업자로부터 얻은 10개의 데모로 시드되었고, 다른 하나는 더 낮은 품질의 작업자로부터 얻은 10개의 데모로 시드되었으며, 둘 다 robomimic 다중 인간 Square 데이터셋에서 가져왔습니다. 각각으로 훈련된 정책들은 유사한 결과를 달성했으며, 저자들은 이를 대규모 데이터 체제에서는 데이터 품질이 그리 중요하지 않을 수 있다는 신호로 해석했습니다. 주의 깊게 읽어보면, 이는 10개의 시드 데모에 대한 진술이지, 여러분의 50개 실제 에피소드에 대한 진술이 아닙니다. 이는 약간 허술한 시드 세트가 여러분과 사용 가능한 생성된 데이터셋 사이에 놓인 장애물이 아니라는 것을 의미합니다. 시뮬레이터가 가지고 있지 않은 정보를 담고 있는 것은 실제 에피소드이기 때문에, 공동 훈련하는 실제 에피소드가 허술해도 된다는 의미는 아닙니다.

시뮬레이션-실제 간극, 구체적으로

이 격차는 보통 단일 양으로 논의되는데, 이는 도움이 되지 않습니다. 이는 최소한 다섯 가지 별개의 불일치이며, 110에서 150 EUR의 취미용 로봇 팔에서는 Franka 로봇 팔에서와는 다른 크기를 가집니다.

• 접촉 및 마찰. Isaac Lab은 동일한 하드웨어와 동일한 Isaac Sim 및 PhysX 버전을 사용할 경우 시뮬레이션이 재현 가능하다고 명시하지만, 부동 소수점 정밀도 및 반올림 오류로 인해 하드웨어 구성에 따라 결과가 달라질 수 있으며, PhysX는 천이나 연체와 같은 비강체(non-rigid bodies)가 있는 장면에 대해 결정론(determinism)을 보장하지 않는다고 밝힙니다.
• 구동. 7.4 V에서 작동하는 Feetech STS3215 버스 서보는 부하 시 처지고, 백래시가 있으며, 가열됨에 따라 동작이 변합니다. SO-101의 MJCF 모델은 로봇 팔에서 모터 매개변수를 직접 식별하는 대신 관련 없는 프로젝트에서 가져옵니다.
• 렌더링. 카메라 노이즈, 롤링 셔터, 자동 노출, 그리고 테이블의 정확한 색조는 렌더링에 포함되지 않습니다. 이것은 Cosmos-Transfer1이 닫기 위해 만들어진 격차의 절반입니다. 이 로봇 공학 증강 워크플로는 하나의 로봇 공학 합성 예제를 분할, 깊이 또는 에지 조건화로부터 여러 현실적인 예제로 매핑합니다.
• 타이밍. 시뮬레이터는 고정된 속도로 스텝을 진행합니다. 실제 제어 루프는 그렇지 않으며, 선택한 모델에 따라 모델 자체는 액션 스텝당 20에서 485 ms가 소요됩니다. 추론 지연 시간을 참조하십시오.
• 객체 통계. 시뮬레이션된 장면은 누군가가 기록한 분포에서 샘플링됩니다. 당신의 주방 테이블은 그렇지 않습니다.

시뮬레이션된 SO-100이 로봇 팔에 대해 실제로 아는 것

이것은 위 내용 중 어떤 것이 주말을 투자할 가치가 있는지 결정하는 부분이며, 첫 번째 놀라운 점은 SO-100과 SO-101이 동등하게 제공되지 않는다는 것입니다. TheRobotStudio의 SO-ARM100 저장소는 시뮬레이션 자산을 다음 경로에 보관합니다: Simulation/. SO100 폴더에는 단일 URDF 파일만 포함되어 있습니다. SO101 폴더에는 URDF 및 MuJoCo 파일(scene.xml, so101_new_calib.xml, so101_old_calib.xml, 일치하는 URDF 및 joints_properties.xml)이 모두 포함되어 있습니다. 운동학적 체인(kinematic chain)이 아닌 물리 모델을 원한다면 SO-101 파일이 필요합니다.

이 파일들은 Onshape에서 설계된 CAD 모델로부터 onshape-to-robot 플러그인을 사용하여 생성되었으며, 이는 운동학과 시각적 메시가 CAD만큼 정확하다는 것을 의미합니다. 동역학은 다른 이야기이며, 저장소의 README는 세 가지 사항에 대해 솔직하게 언급합니다. 시뮬레이션 및 계획 중 문제가 있는 충돌 동작으로 인해 기본 충돌 메시가 제거되었습니다. STS3215 모터 속성은 SO-101에서 측정된 것이 아니라 Open Duck Mini 프로젝트에서 가져왔습니다. 그리고 LeRobot 그리퍼 규칙(0이 완전히 닫히고 100이 완전히 열림)은 URDF 및 MuJoCo 파일에 아직 명시적으로 반영되지 않았습니다. 이 모든 것은 해당 모델에서만 훈련된 정책이 실제 환경에서 다르게 동작할 수 있는 지점입니다.

도메인 무작위화, 그리고 그것이 해결하지 못하는 것

이러한 격차에 대한 표준적인 답변은 현실과 일치시키려는 노력을 멈추고 대신 현실이 그 안에 포함될 만큼 충분히 넓은 분포에 걸쳐 훈련하는 것입니다. Tobin과 동료들은 2017년에 이 강력한 버전을 보여주었습니다. 비현실적인 무작위 텍스처를 가진 시뮬레이션 이미지로만 훈련되고 실제 이미지에 대한 사전 훈련이 전혀 없는 객체 감지기가 실제 객체를 1.5 cm의 정확도로 지역화하고 방해물 및 부분적인 가려짐에 대해 견고함을 유지했습니다.

Isaac Lab은 환경 구성에 연결하는 이벤트 용어와 동일한 아이디어를 제공합니다. 다음은 실제 함수 이름으로 된 조정 가능한 매개변수입니다. isaaclab.envs.mdp, 따라서 추측하는 대신 직접 찾아 읽을 수 있습니다.

여기에 한계가 있으며, 사람들이 흔히 실수하는 부분입니다. 무작위화는 구축한 모델 내에서 정책이 본 분포를 넓힙니다. 시뮬레이터가 표현하지 않는 물리적 효과를 도입할 수는 없습니다. PhysX가 STS3215 서보의 백래시와 열 처짐을 모델링하지 않는다면, 서보의 강성을 무작위화하는 것은 정책에 백래시에 대해 아무것도 가르쳐주지 않습니다. 이것이 시뮬레이션으로 훈련된 정책 하에서 팔이 경련하다가 처지는 것은 무작위화 예산 문제가 아닙니다. 그것은 모델링 문제입니다.

수동 경로: Isaac Lab에서 데이터 생성

Isaac Gym은 레거시 소프트웨어입니다. NVIDIA 자체 페이지에는 "Isaac Gym - 이제 사용 중단됨"이라는 제목이 붙어 있으며, 개발자는 이를 다운로드하여 계속 사용할 수 있지만 더 이상 지원되지 않으며 대신 Isaac Lab을 가리킨다고 명시되어 있습니다. 역사를 알고 싶다면, 저희는 다음 두 가지를 다루었습니다: 및 . 2026년의 새로운 작업은 Isaac Lab에서 시작하십시오.

1. 1
   Isaac Sim 및 Isaac Lab 설치

   pip 설치 페이지에는 지침이 Python 3.11을 필요로 하는 Isaac Sim 5.X용이라고 명시되어 있습니다. 소스 클론은 다음 단계에 필요한 스크립트를 제공합니다.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   약 10개의 인간 데모 기록

   Isaac Lab 문서는 구체적입니다: 다음 단계가 성공하려면 약 10개의 성공적인 데모가 필요합니다. 팁 또한 구체적입니다. 데모를 짧게 유지하고, 임의의 축을 따라 이동하기보다는 직접적인 경로를 택하며, 정책이 언제 왜 일시 중지해야 하는지 명확하지 않으므로 일시 중지하지 마십시오.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   서브태스크 경계 주석 달기

   Mimic은 입력 데모를 서브태스크로 분할하여 세그먼트의 시간을 재조정하고 대상을 재설정할 수 있습니다. --auto 플래그는 자동 주석을 정의하는 태스크의 경우 사람의 개입 없이 이 작업을 수행합니다. 이 플래그가 없으면 B로 일시 중지하고, N으로 계속하며, S로 경계를 표시합니다. 태스크 ID에 -Mimic 접미사가 붙는다는 점에 유의하십시오.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   증가된 데이터셋 생성

   이것은 10을 1000으로 바꾸는 단계입니다. Mimic은 각 후보에 부울 성공 기준을 적용하고 작업을 완료한 후보만 유지하므로 출력 수는 시도 횟수보다 적습니다. 문서에 따르면 간단한 경우 후보 성공률은 최대 70%이며, 어려운 작업과 복잡한 로봇의 경우 1% 미만입니다. Franka 큐브 스택의 경우 약 50%, GR1T2 픽앤플레이스의 경우 65~80%이며, 1000개의 데모는 18~40분(RTX ADA 6000에서 80% 사용 시 19분)이 소요됩니다.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5를 LeRobot 데이터셋으로 변환

   위의 모든 것은 robomimic 형식의 HDF5를 생성하며, Isaac Lab 코어는 자체 LeRobot 변환기를 제공하지 않습니다. 문서에는 생성된 데이터셋을 LeRobot 형식으로 변환할 수 있다고만 명시되어 있습니다. 두 프로젝트가 실제 변환기를 제공합니다. IsaacLab-Arena는 YAML 구성으로 완전히 구동되는 GR00T 대상 변환기를 제공하며, LeIsaac은 SO-101 경로를 위한 자체 쌍을 제공합니다(아래 참조).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

생성 시도가 실패하는 이유와 변경할 사항

성공률이 70%에서 1% 미만으로 오르내리는 것은 미스터리가 아니며, Isaac Lab은 여러분이 추측하게 두는 대신 일반적인 함정들을 문서화합니다. 이 모든 함정은 녹화 시점에 여러분이 제어할 수 있는 것들이므로, 첫 번째 실망스러운 생성 실행 후에 읽는 것보다 10개의 시드 데모를 녹화하기 전에 이 목록을 읽는 것이 좋습니다.

• 데모가 너무 깁니다. 시간 범위가 길수록 정책이 학습하기 더 어렵습니다. 첫 번째 객체에 가깝게 시작하고 움직임을 최소화하십시오.
• 데모가 부드럽지 않습니다. 불규칙한 움직임은 정책이 해독하기 어렵고, 더 나은 원격 조작 하드웨어는 더 좋은 데이터를 제공합니다. 문서에는 SpaceMouse가 키보드보다 낫다고 명시되어 있습니다.
• 일시 정지. 일시 정지는 정책이 언제 왜 일시 정지해야 하는지 명확하지 않기 때문에 학습하기 어렵습니다. 움직임을 유연하게 유지하십시오.
• 너무 많은 하위 작업. 하위 작업이 많을수록 궤적 세그먼트 간의 연결이 많아져 움직임이 덜 부드러워지고 생성 성공률이 낮아집니다. 팔이 어떤 것과도 충돌할 가능성이 없는 경계를 주석 처리하십시오.
• 동작 노이즈 없음. 동작 노이즈는 결과 정책을 더 견고하게 만듭니다.
• 녹화가 너무 타이트하게 잘림. 성공 조건이 트리거되는 정확한 프레임에서 녹화가 중지되면 재생 중에 다시 트리거되지 않을 수 있습니다. 끝에 버퍼를 남겨두십시오.
• 비결정적 재생. Isaac Lab의 물리학은 env.reset 전반에 걸쳐 결정적으로 재현되지 않으므로 일부 인간 데모는 재생 시 실패합니다. 필요한 것보다 더 많이 수집하고 주석 처리를 통과한 것들을 유지하십시오. Mimic으로 생성된 HDF5 파일에 저장되는 모든 것은 성공적인 데모이며 나중에 재생이 실패하더라도 훈련에 사용할 수 있습니다.

연결된 하위 작업 세그먼트 간의 보간 단계에는 자체 튜닝 노브가 있으며, 필요한 보간 단계 수는 로봇이 움직이는 속도와 객체 재설정 분포의 폭에 따라 달라집니다. 재설정 분포가 큰 복잡한 작업은 세그먼트 사이에 더 큰 간격을 남기므로, 연속적인 움직임으로 나타나기 위해 더 많은 보간 단계가 필요합니다. 생성된 비디오에서 팔이 단계 사이에서 갑자기 움직이는 것을 보인다면, 시드 데모를 탓하기 전에 살펴봐야 할 매개변수입니다.

실제 리더 암을 사용하는 SO-101의 동일한 파이프라인

이 페이지를 읽는 모든 분들에게 흥미로운 부분입니다. 왜냐하면 이것은 을 Isaac Lab 안에 넣고 이미 소유하고 있는 물리적 리더 암으로 구동할 수 있는 유일한 오픈 파이프라인이기 때문입니다. 작성 시점 기준 버전 0.4.0인 LeIsaac은 LeRobot의 EnvHub에 통합된 공식 모방 학습 시뮬레이션 플레이그라운드입니다. 호환성 표에는 세 가지 작동 조합이 나열되어 있습니다. 최신 조합은 Isaac Sim 5.1과 Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 및 Python 3.11을 짝지으며, 문서는 50-시리즈 카드에 Isaac Sim 5.0 이상을 권장합니다.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

설치가 완료되면, /dev/ttyACM0의 리더 암이 시뮬레이션된 팔로워를 구동하고 HDF5에 직접 기록합니다. 이 루프는 실제 녹화에서 이미 알고 있는 것과 동일하며, 팔로워만 PhysX의 강체입니다.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

대부분의 ID는 다음으로도 존재합니다: -Direct-v0, 그리고 python scripts/environments/list_envs.py는 현재 목록을 출력합니다. 또한 HDF5 우회를 완전히 건너뛰고 세 가지 플래그를 추가하여 원격 조작 중에 LeRobot 형식으로 작성할 수 있습니다. 두 가지 주의사항은 문서 자체에서 비롯됩니다. 레코더는 초기 상태의 불안정성을 피하기 위해 각 에피소드의 첫 5프레임을 자동으로 건너뛰며, 이는 원격 조작에 약간의 지연을 유발할 수 있습니다. 이는 데모의 특성을 미묘하게 변화시키는 종류의 문제입니다. 또한 작업이 성공으로 표시된 에피소드만 플러시합니다.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

곱셈 단계는 해당 녹화본에서 실행됩니다. LeIsaac은 Isaac Lab Mimic을 네 가지 명령으로 래핑합니다. Mimic은 엔드 이펙터 및 객체 포즈에서 궤적을 일반화하기 때문입니다. 즉, 조인트 공간 동작을 IK 기반 동작으로 변환하고, 주석을 달고, 생성한 다음, 다시 조인트 공간으로 변환합니다.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

그 다음 LeRobot으로 변환합니다. 이 단계는 플랫폼의 형식 규칙이 적용되는 부분이며, LeIsaac은 필요한 두 가지 변환기를 정확히 제공합니다: isaaclab2lerobot.py는 GR00T 로더가 사용하는 LeRobot v2를 작성하고, isaaclab2lerobotv3.py는 Pi0.5, SmolVLA 및 ACT를 위한 v3를 작성합니다. 두 스크립트는 동일한 인수를 사용하지만 다른 lerobot 버전을 고정하며, 성공적인 에피소드만 변환됩니다.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

훈련된 정책을 얻는 두 가지 경로

비디오 월드 모델: 가장 새로운 계층이자 가장 적게 측정된

DreamGen의 아이디어는 대상 로봇 구현에 맞춰 조정된 비디오 생성 모델이 한 번도 방문하지 않은 장면에서 그럴듯한 에피소드를 상상할 수 있다는 것입니다. 파이프라인은 네 단계로 구성됩니다: 비디오 월드 모델 미세 조정, 사실적인 합성 로봇 비디오 생성, 잠재 액션 모델 또는 역동학 모델을 사용하여 의사 액션 시퀀스 복구, 그리고 그 결과로 로봇 정책 훈련. NVIDIA의 GR00T-dreams 저장소가 바로 이를 구현합니다.

헤드라인 결과는 실제이며 진지하게 받아들일 가치가 있습니다. 단일 환경에서 단 하나의 픽앤플레이스 작업에서 얻은 원격 조작 데이터가 알려진 환경과 알려지지 않은 환경 모두에서 휴머노이드 로봇에 22가지 새로운 행동을 생성했습니다. 단점 또한 실제이며 세 번째 단계에 있습니다.

코트레이닝은 실제로 이득을 보여주는 레시피입니다

문헌에서 한 가지 운영 교훈을 얻는다면, 이것을 기억하십시오. 시뮬레이션 및 실제 공동 훈련 연구(Maddukuri 외, 2025)는 로봇 팔과 휴머노이드라는 두 가지 도메인에 걸쳐 시뮬레이션 데이터를 사용하여 비전 기반 로봇 조작 작업을 해결하기 위한 간단한 방법을 찾고자 했으며, 그 결론은 혼합 데이터로 훈련해야 한다는 것입니다. 시뮬레이션 데이터는 실제 작업 성능을 평균 38% 향상시켰으며, 이 논문은 시뮬레이션과 실제 데이터 사이에 상당한 차이가 있었음에도 불구하고 이러한 결과가 유지되었다고 명시하고 있습니다.

마지막 문구는 38%보다 더 중요합니다. 이는 실제 데이터가 혼합되어 시뮬레이션을 고정하는 역할을 한다면, 시뮬레이션이 유용하기 위해 완벽한 디지털 트윈일 필요는 없다는 것을 의미합니다. 시뮬레이션 단독 전이는 비용이 많이 드는 경로입니다. 동일한 논문은 정책을 시뮬레이션에서만 훈련하고 실제 세계로 전이하는 것이 현실 격차를 해소하기 위해 상당한 인적 노력을 요구하는 경우가 많다고 명시합니다. 공동 훈련은 정책이 스스로 격차를 해소하도록 요구하지 않음으로써 대부분의 노력을 건너뜁니다.

실질적으로, 이 플랫폼에서 공동 훈련은 한 가지를 의미합니다: 두 에피소드 세트를 동일한 LeRobot dataset에 일관된 카메라 키, 일관된 조인트 순서 및 일관된 단위를 사용하여 넣은 다음, 일반적인 미세 조정을 실행하는 것입니다. 훈련 양식에는 혼합 가중치 조절기가 없습니다. 3:1의 시뮬레이션 대 실제 비율을 원한다면, 각 에피소드를 데이터셋에 얼마나 많이 넣는지로 표현합니다.

시뮬레이션에서 얻을 수 있는 가장 저렴한 이점은 훈련 데이터가 아닙니다

그것은 평가입니다. 두 가지를 비교하기 위해 작업당 수십 번의 실제 시험을 실행하는 것은 하루 종일 로봇 팔을 사용해야 하며, 로봇 팔은 시험마다 오차가 발생합니다. SIMPLER(Li 외, 2024)는 실제 정책을 훈련하는 대신 점수를 매기는 것을 목적으로 하는 시뮬레이션 환경을 구축했으며, 시뮬레이션 순위가 실제 순위를 얼마나 잘 예측하는지 측정했습니다. 단일 SIMPLER 환경은 소비자용 RTX 4090에서 640x512 해상도로 초당 3,500 시뮬레이션 단계를 렌더링하며, 이는 500Hz 시뮬레이션 주파수에서 실제 평가보다 7배 빠른 속도입니다.

이는 세 가지 Google Robot 작업 그룹에 대한 여섯 가지 일반적인 오픈 소스 체크포인트(서로 다른 훈련 단계의 세 가지 RT-1 체크포인트, RT-1-X, RT-2-X 및 Octo-Base)의 평균입니다. 실제 시험 횟수는 균일하지 않으며, 이를 인용하기 전에 알아둘 가치가 있습니다: 콜라 캔 집기 75회, 근처로 이동 60회, 서랍 열고 닫기 작업 54회, 더 긴 서랍-사과 작업 27회. 검증 MSE와의 비교가 유용한 부분입니다. 검증 손실에 의한 모델 선택은 이러한 체크포인트의 순위를 낮게 매기며, 시각적 매칭에서 Pearson r이 0.924라는 것은 체크포인트가 SIMPLER에서 더 좋은 점수를 얻으면 실제 벤치에서도 더 좋은 점수를 얻을 가능성이 매우 높다는 것을 의미합니다. 이는 반복 가능한 야간 스코어보드이며, 시뮬레이션-실제 훈련 전이에 대해 어떤 것도 믿을 필요가 없습니다.

이러한 벤치마크 수치가 시각-언어-행동 모델에 대해 무엇을 알려주고 무엇을 알려주지 않는지에 대한 더 넓은 맥락을 원하시면, 저희는 이를 VLA 개요에서 별도로 다루었습니다.

이 플랫폼이 도움이 되지 않는 경우

경계를 명확히 하는 것은 모두의 시간을 절약합니다. AY-Robots는 기록, 훈련 및 서빙 플랫폼입니다. 시뮬레이터는 포함되어 있지 않습니다.

• Isaac Lab, MimicGen, 월드 모델, 씬 저작 기능이 없습니다. 생성된 데이터가 필요하다면 다른 곳에서 생성하여 결과를 가져와야 합니다.
• 트레이너는 LeRobot 데이터셋만 사용합니다. 시뮬레이터 내보내기 파일은 입력으로 사용되기 전에 변환되어야 하며, 올바른 버전이어야 합니다: GR00T N1.5 및 N1.7의 경우 v2.0 또는 v2.1, Pi0.5, SmolVLA 및 ACT의 경우 v3.0.
• GR00T의 미세 조정 진입점은 시드를 노출하지 않는 tyro CLI이므로, GR00T 실행은 비트 단위로 재현 가능하지 않습니다. 신중한 시뮬레이션 대 실제 환경 비교 분석을 실행하는 경우 이는 실제적인 한계입니다. lerobot 자체의 기본 시드는 1000이며, ACT, SmolVLA 및 Pi0.5 형식은 시드 필드를 노출합니다.
• 그라디언트 누적은 두 GR00T 트레이너에만 실제로 적용됩니다. Pi0.5 및 SmolVLA의 경우 필드는 형식에 존재하지만 lerobot 0.5.1에는 그러한 플래그가 없으므로 아무것도 하지 않습니다.
• 빠른 작업을 위해서는 추론이 서보 옆에 있어야 합니다. 제어 루프는 모델에 따라 액션 단계당 20에서 485 ms이며, 공용 인터넷 왕복 시간을 추가하면 작동하는 정책이 주저하는 정책으로 변합니다. 원격 추론은 느린 픽앤플레이스에는 가능하지만 빠른 반응성 동작에는 적합하지 않습니다.

방어할 수 있는 예산

두 경로를 나란히 놓고 각 경로가 실제로 게시하는 숫자를 비교하면, 저비용 로봇 팔을 사용하는 단일 작업 프로젝트의 경우 결정이 저절로 내려지는 경우가 많습니다.

SO-100에 대한 첫 번째 정책의 경우, 기록하십시오. 과 을 통해 커피 한 잔 값으로 서비스되는 체크포인트를 얻을 수 있으며, 향후 모든 공동 훈련 혼합의 실제 절반을 갖게 될 것입니다. 작동하는 기준선과 다음과 같이 명확히 설명할 수 있는 특정 일반화 실패가 있을 때 시뮬레이터를 사용하십시오. .

증거를 존중하는 레시피

1. 1
   실제 기준선 먼저 기록

   SmolVLA는 30 에피소드, ACT는 50 에피소드, GR00T N1.7 및 Pi0.5는 50 에피소드입니다. 한 번 훈련합니다. 해당 정책이 실패하는 모든 것이 합성 데이터에 대한 사양입니다.

2. 2
   일반화 실패 명명

   객체 포즈? 조명? 테이블 높이? 방해물? 지시문의 다른 표현? 합성 데이터는 이 중 한 가지에만 정확히 능숙하며, 어떤 것인지 말할 수 없다면 쓸모가 없습니다.

3. 3
   이를 포괄하는 가장 저렴한 계열 선택

   포즈 및 레이아웃 변화: 궤적 증식. 조명 및 텍스처: 이미지 증강 우선, 월드 모델 다음. 완전히 새로운 장면: 물리 롤아웃, 그리고 모델링 비용 수용.

4. 4
   생성한 다음 과감하게 버리기

   생성 시도는 실패하며, Isaac Lab 자체의 후보 성공률은 작업에 따라 70퍼센트에서 1퍼센트 미만까지 다양합니다. 성공적이고 작업을 완료하는 궤적만 유지하고, 배치(batch)를 신뢰하기 전에 샘플을 비디오로 육안 검사하십시오.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   공동 훈련, 대체하지 않음

   생성된 에피소드를 실제 에피소드와 동일한 카메라 키와 조인트 순서로 단일 LeRobot 데이터셋에 병합합니다. 38퍼센트 수치는 공동 훈련 수치입니다.

6. 6
   실제 로봇 팔에서만 평가

   시뮬레이션 평가는 좋은 순위 신호이지만 (SIMPLER의 시각 매칭 설정에서 Pearson r 0.924) 합격 테스트는 아닙니다. 신뢰하기 전에 벤치에서 체크포인트를 실행하십시오.

실제 녹화 자체에 대한 체크리스트부터 시작하고 싶다면, 데이터 수집 가이드는 카메라 배치, 액션 청킹의 의미와 모방 학습 데이터셋을 사용할 수 없게 만드는 실패 모드를 다룹니다. 형식 자체에 대한 자세한 내용은 데이터셋 문서, 그리고 하이퍼파라미터 측면은 훈련 문서에 있습니다.