Dữ liệu tổng hợp cho các chính sách robot: Nơi mô phỏng hỗ trợ

Cứ vài tháng lại có người nhận ra rằng việc ghi lại năm mươi tập bằng tay thì chậm, và hỏi liệu một trình mô phỏng có thể tạo ra chúng thay thế được không. Đó là một câu hỏi hợp lý. Câu trả lời trung thực có ba phần: dữ liệu được tạo ra có ích, nó không thay thế các bản ghi thực tế, và tỷ lệ giữa hai sự thật đó hoàn toàn phụ thuộc vào loại dữ liệu tổng hợp mà bạn muốn nói.

Trang này sẽ trình bày những gì công trình đã công bố thực sự đo lường, những gì bạn có thể chạy hôm nay trên một cánh tay chi phí thấp như SO-100, và nơi khoảng cách từ mô phỏng đến thực tế làm mất đi những lợi ích. Phiên bản ngắn gọn, trước khi đi vào chi tiết: các hệ thống báo cáo các hệ số nhân lớn nhất thường nhân một tập hợp nhỏ các bản trình diễn thực tế của con người. Chúng không loại bỏ nhu cầu về những bản trình diễn đó.

Bốn điều khác nhau được gọi là dữ liệu tổng hợp

Trước khi so sánh các con số, điều đáng làm là phân loại các nhóm, bởi vì một bài báo báo cáo hệ số nhân 100x và một bài báo báo cáo mức tăng thành công 5 điểm thường mô tả cùng một quy trình từ các góc độ khác nhau. Điểm chung là một phần nào đó trong tập dữ liệu LeRobot được tạo ra bởi máy móc thay vì được ghi lại từ một cánh tay vật lý. Điều khác biệt là phần nào.

Chỉ ba loại đầu tiên là dữ liệu tổng hợp theo nghĩa mà bài viết này đề cập. Loại thứ tư đáng được nhắc đến vì nó được gộp vào cùng một cuộc trò chuyện và cho đến nay là thứ rẻ nhất trong danh sách. Nếu bạn chưa bật các tính năng tăng cường mà trình huấn luyện của bạn đi kèm, hãy làm điều đó trước khi bạn cài đặt một trình mô phỏng.

Những con số được công bố thực sự nói lên điều gì

Đây là cơ sở bằng chứng, với các con số được nêu ra từ các nguồn chứ không phải từ các bản thông cáo báo chí tóm tắt. Mỗi hàng dưới đây đều đến từ một bài báo hoặc trang dự án được đọc vào ngày 23 tháng 8 năm 2026.

Mô hình trên mọi thử nghiệm cắt bỏ (ablation) trung thực đều giống nhau. Dữ liệu tổng hợp mở rộng phạm vi bao phủ một cách rẻ tiền. Nó không tạo ra thông tin về kẹp gắp, độ võng servo, ánh sáng hoặc chiều cao bàn của bạn mà không có sẵn trong các bản trình diễn thực tế ở đâu đó. Nếu chính sách của bạn thất bại vì bộ phận cuối tay máy đóng trễ nửa giây, thì không có lượng biến thể mô phỏng nào có thể khắc phục được. Đó là một vấn đề thời gian kẹp gắp trong các bản ghi thực tế.

Một phát hiện của MimicGen đáng để áp dụng vào các buổi ghi hình của riêng bạn, vì nó đi ngược lại lời khuyên thông thường. Dự án đã tạo ra hai bộ dữ liệu trên Square D2, một bộ được gieo hạt với 10 bản demo từ một người vận hành chất lượng tốt hơn và một bộ với 10 bản demo từ một người vận hành chất lượng kém hơn, cả hai đều được lấy từ bộ dữ liệu robomimic multi-human Square. Các chính sách được huấn luyện trên mỗi bộ đều đạt được kết quả tương đương, điều mà các tác giả coi là dấu hiệu cho thấy trong chế độ dữ liệu quy mô lớn, chất lượng dữ liệu có thể không quan trọng đến vậy. Đọc kỹ, đó là một tuyên bố về mười bản trình diễn hạt giống, chứ không phải về năm mươi tập thực tế của bạn. Điều đó có nghĩa là một bộ hạt giống hơi lộn xộn không phải là thứ ngăn cách bạn với một bộ dữ liệu được tạo ra có thể sử dụng được. Nó không có nghĩa là các tập thực tế mà bạn đồng huấn luyện có thể lộn xộn, bởi vì đó là những tập mang thông tin mà trình mô phỏng không có.

Khoảng cách từ mô phỏng đến thực tế, một cách cụ thể

Khoảng cách này thường được thảo luận như một đại lượng duy nhất, điều này không hữu ích. Nó bao gồm ít nhất năm sự không khớp riêng biệt, và chúng có kích thước khác nhau trên một cánh tay robot nghiệp dư giá 110 đến 150 EUR so với trên một Franka.

• Tiếp xúc và ma sát. Isaac Lab tuyên bố rõ ràng rằng với cùng phần cứng và cùng phiên bản Isaac Sim và PhysX, mô phỏng có thể tái tạo được, nhưng kết quả thay đổi trên các cấu hình phần cứng khác nhau do độ chính xác dấu phẩy động và lỗi làm tròn, và PhysX không đảm bảo tính xác định cho bất kỳ cảnh nào có các vật thể không cứng nhắc như vải hoặc vật thể mềm.
• Truyền động. Một servo bus Feetech STS3215 chạy ở 7.4 V bị chùng dưới tải, có độ rơ, và thay đổi hành vi khi nóng lên. Mô hình MJCF cho SO-101 mượn các thông số động cơ từ một dự án không liên quan thay vì xác định chúng trên cánh tay robot của bạn.
• Kết xuất. Nhiễu camera, màn trập cuốn, tự động phơi sáng và màu sắc chính xác của bàn của bạn không có trong kết xuất. Đây là một nửa khoảng cách mà Cosmos-Transfer1 được xây dựng để thu hẹp: quy trình làm việc tăng cường robot của nó ánh xạ một ví dụ tổng hợp robot thành nhiều ví dụ thực tế từ phân đoạn, độ sâu hoặc điều kiện cạnh.
• Thời gian. Một bộ mô phỏng bước theo một tốc độ cố định. Một vòng điều khiển thực tế thì không, và bản thân mô hình tiêu tốn 20 đến 485 ms cho mỗi bước hành động tùy thuộc vào mô hình bạn chọn. Xem độ trễ suy luận.
• Thống kê đối tượng. Các cảnh mô phỏng được lấy mẫu từ một phân phối mà ai đó đã viết ra. Bàn bếp của bạn thì không.

Những gì một SO-100 mô phỏng thực sự biết về cánh tay robot của bạn

Đây là phần quyết định xem bất kỳ điều nào ở trên có đáng để bạn dành cuối tuần hay không, và điều ngạc nhiên đầu tiên là SO-100 và SO-101 không được phục vụ như nhau. Kho lưu trữ SO-ARM100 của TheRobotStudio giữ các tài sản mô phỏng của nó dưới Simulation/. Thư mục SO100 chứa một tệp URDF duy nhất và không có gì khác. Thư mục SO101 chứa cả tệp URDF và MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, các tệp URDF tương ứng và một joints_properties.xml. Nếu bạn muốn một mô hình vật lý thay vì một chuỗi động học, bạn sẽ cần các tệp SO-101.

Chúng được tạo ra bằng plugin onshape-to-robot từ một mô hình CAD được thiết kế trong Onshape, điều này có nghĩa là động học và lưới hình ảnh tốt như CAD. Động lực học lại là một câu chuyện khác, và README của kho lưu trữ thẳng thắn đề cập đến ba điều. Lưới va chạm cơ sở đã bị loại bỏ do hành vi va chạm có vấn đề trong quá trình mô phỏng và lập kế hoạch. Các thuộc tính động cơ STS3215 được điều chỉnh từ dự án Open Duck Mini thay vì được đo trên SO-101. Và quy ước kẹp của LeRobot, trong đó 0 là đóng hoàn toàn và 100 là mở hoàn toàn, vẫn chưa được phản ánh rõ ràng trong các tệp URDF và MuJoCo. Mỗi điều đó là một điểm mà một chính sách được huấn luyện thuần túy trong mô hình đó sẽ hoạt động khác trên bàn làm việc của bạn.

Ngẫu nhiên hóa miền, và những gì nó không khắc phục

Câu trả lời tiêu chuẩn cho khoảng cách này là ngừng cố gắng khớp với thực tế và thay vào đó huấn luyện trên một phân phối đủ rộng để thực tế nằm trong đó. Tobin và các đồng nghiệp đã trình bày phiên bản mạnh mẽ của điều này vào năm 2017: một bộ phát hiện đối tượng được huấn luyện chỉ trên hình ảnh mô phỏng với các kết cấu ngẫu nhiên không thực tế, không có bất kỳ huấn luyện trước nào trên hình ảnh thực, đã định vị các đối tượng thực với độ chính xác 1.5 cm và duy trì khả năng chống lại các yếu tố gây nhiễu và che khuất một phần.

Isaac Lab thể hiện cùng một ý tưởng như các thuật ngữ sự kiện bạn gắn vào cấu hình môi trường. Đây là các nút điều chỉnh, theo tên chức năng thực tế của chúng trong isaaclab.envs.mdp, để bạn có thể đọc chúng thay vì đoán.

Đây là giới hạn, và đây là điều mà mọi người thường mắc phải. Ngẫu nhiên hóa mở rộng phân phối mà chính sách đã thấy bên trong mô hình bạn xây dựng. Nó không thể đưa vào một hiệu ứng vật lý mà trình mô phỏng không thể hiện. Nếu PhysX không mô hình hóa độ rơ và sự sụt giảm nhiệt của động cơ servo STS3215 của bạn, việc ngẫu nhiên hóa độ cứng của chúng sẽ không dạy cho chính sách bất cứ điều gì về độ rơ. Đó là lý do tại sao một cánh tay mà giật rồi chùng xuống dưới một chính sách được huấn luyện bằng mô phỏng không phải là vấn đề về ngân sách ngẫu nhiên hóa. Đó là một vấn đề về mô hình hóa.

Đường dẫn thủ công: tạo dữ liệu trong Isaac Lab

Isaac Gym là phần mềm cũ. Trang của NVIDIA có tiêu đề "Isaac Gym - Hiện đã lỗi thời" và cho biết các nhà phát triển có thể tải xuống và tiếp tục sử dụng nhưng nó không còn được hỗ trợ, thay vào đó chỉ đến Isaac Lab. Nếu bạn muốn tìm hiểu lịch sử, chúng tôi đã đề cập cả hai: và . Đối với các dự án mới vào năm 2026, hãy bắt đầu với Isaac Lab.

1. 1
   Cài đặt Isaac Sim và Isaac Lab

   Trang cài đặt pip nêu rõ rằng các hướng dẫn dành cho Isaac Sim 5.X, yêu cầu Python 3.11. Bản sao mã nguồn cung cấp cho bạn các script mà các bước tiếp theo cần.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   Ghi lại khoảng mười bản demo của con người

   Tài liệu của Isaac Lab rất cụ thể: cần khoảng 10 bản demo thành công để các bước sau thành công. Các mẹo của nó cũng cụ thể không kém. Giữ các bản demo ngắn gọn, đi theo một đường thẳng thay vì di chuyển dọc theo các trục tùy ý và không tạm dừng, vì không rõ ràng đối với một chính sách tại sao và khi nào nên tạm dừng.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   Chú thích các ranh giới tác vụ con

   Mimic chia các bản demo đầu vào thành các tác vụ con để có thể điều chỉnh lại thời gian và mục tiêu của các phân đoạn. Cờ --auto thực hiện điều này mà không cần sự can thiệp của con người đối với các tác vụ định nghĩa chú thích tự động; nếu không có nó, bạn tạm dừng bằng B, tiếp tục bằng N và đánh dấu ranh giới bằng S. Lưu ý rằng ID tác vụ có thêm hậu tố -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   Tạo tập dữ liệu đã nhân lên

   Đây là bước biến 10 thành 1000. Mimic áp dụng tiêu chí thành công boolean cho mỗi ứng viên và chỉ giữ lại những ứng viên đã hoàn thành tác vụ, do đó số lượng đầu ra thấp hơn số lượng thử nghiệm. Tài liệu cho biết tỷ lệ thành công của ứng viên có thể cao tới 70 phần trăm trong các trường hợp đơn giản và dưới 1 phần trăm đối với các tác vụ khó và robot phức tạp: khoảng 50 phần trăm đối với việc xếp khối Franka, và 65 đến 80 phần trăm đối với việc nhặt và đặt GR1T2, trong đó 1000 bản demo mất 18 đến 40 phút (19 phút trên RTX ADA 6000 ở 80 phần trăm).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   Chuyển đổi HDF5 sang tập dữ liệu LeRobot

   Mọi thứ ở trên đều tạo ra HDF5 theo kiểu robomimic, và lõi Isaac Lab không tự cung cấp bộ chuyển đổi LeRobot nào: tài liệu của nó chỉ nói rằng bạn có thể chuyển đổi tập dữ liệu đã tạo sang định dạng LeRobot. Hai dự án cung cấp bộ chuyển đổi thực tế. IsaacLab-Arena cung cấp một bộ chuyển đổi nhắm mục tiêu GR00T được điều khiển hoàn toàn bằng cấu hình YAML, và LeIsaac cung cấp cặp riêng của nó cho tuyến SO-101 (xem bên dưới).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

Tại sao các nỗ lực tạo ra thất bại, và cần thay đổi gì

Tỷ lệ thành công của ứng viên dao động từ 70 phần trăm xuống dưới 1 phần trăm không phải là một điều bí ẩn, và Isaac Lab ghi lại những cạm bẫy phổ biến thay vì để bạn phải tự đoán. Mỗi cạm bẫy đều là thứ bạn có thể kiểm soát trong quá trình ghi hình, đó là lý do tại sao bạn nên đọc danh sách này trước khi ghi lại mười bản trình diễn hạt giống thay vì sau lần chạy tạo ra kết quả đáng thất vọng đầu tiên.

• Các bản trình diễn quá dài. Một khoảng thời gian dài hơn sẽ khó hơn để chính sách học hỏi. Bắt đầu gần đối tượng đầu tiên và giảm thiểu chuyển động.
• Các bản trình diễn không mượt mà. Chuyển động không đều rất khó để chính sách giải mã, và phần cứng điều khiển từ xa tốt hơn sẽ cung cấp dữ liệu tốt hơn: tài liệu nói rõ rằng SpaceMouse tốt hơn bàn phím.
• Tạm dừng. Việc tạm dừng rất khó học, vì chính sách không rõ tại sao và khi nào nên tạm dừng. Giữ chuyển động trôi chảy.
• Quá nhiều tác vụ phụ. Nhiều tác vụ phụ hơn có nghĩa là nhiều sự ghép nối hơn giữa các phân đoạn quỹ đạo, dẫn đến chuyển động kém mượt mà hơn và tỷ lệ thành công tạo ra thấp hơn. Đánh dấu các ranh giới nơi cánh tay ít có khả năng va chạm với bất cứ thứ gì.
• Không có nhiễu hành động. Nhiễu hành động làm cho các chính sách thu được mạnh mẽ hơn.
• Ghi hình bị cắt quá sát. Nếu ghi hình dừng đúng khung hình mà điều kiện thành công kích hoạt, nó có thể không kích hoạt lại trong quá trình phát lại. Để lại một vùng đệm ở cuối.
• Phát lại không xác định. Vật lý trong Isaac Lab không thể tái tạo một cách xác định trên các lần env.reset, vì vậy một số bản demo của con người thất bại khi phát lại. Thu thập nhiều hơn mức bạn cần và giữ lại những bản sống sót sau khi chú thích. Mọi thứ nằm trong tệp HDF5 do Mimic tạo ra đều là một bản demo thành công và có thể được sử dụng để đào tạo ngay cả khi phát lại sau đó thất bại.

Bước nội suy giữa các phân đoạn tác vụ phụ được ghép nối có nút điều chỉnh riêng, và số bước nội suy bạn cần tỷ lệ thuận với tốc độ di chuyển của robot và độ rộng của phân phối đặt lại đối tượng. Một tác vụ phức tạp với phân phối đặt lại lớn sẽ để lại khoảng trống lớn hơn giữa các phân đoạn, điều này cần nhiều bước nội suy hơn để tạo ra chuyển động liên tục. Nếu video được tạo của bạn cho thấy cánh tay giật cục giữa các pha, đó là tham số cần xem xét trước khi bạn đổ lỗi cho các bản demo hạt giống.

Cùng một quy trình trên SO-101, với cánh tay dẫn hướng thực

Đây là phần thú vị đối với bất kỳ ai đọc trang này, vì đây là đường ống mở duy nhất đặt một vào bên trong Isaac Lab và cho phép bạn điều khiển nó bằng cánh tay dẫn vật lý mà bạn đã sở hữu. LeIsaac, phiên bản 0.4.0 tại thời điểm viết bài, là sân chơi mô phỏng học tập bắt chước chính thức được tích hợp vào EnvHub của LeRobot. Bảng tương thích của nó liệt kê ba sự kết hợp hoạt động; phiên bản mới nhất ghép nối Isaac Sim 5.1 với Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 và Python 3.11, và tài liệu khuyến nghị Isaac Sim 5.0 hoặc mới hơn cho các card dòng 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

Với thiết lập đó, cánh tay dẫn trên /dev/ttyACM0 điều khiển cánh tay theo dõi mô phỏng và ghi trực tiếp vào HDF5. Vòng lặp giống như vòng lặp bạn đã biết từ ghi hình thực tế, chỉ khác là cánh tay theo dõi là một vật thể cứng trong PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

Hầu hết các ID đó cũng tồn tại dưới dạng -Direct-v0 biến thể, và python scripts/environments/list_envs.py in ra danh sách hiện tại. Bạn cũng có thể bỏ qua hoàn toàn việc chuyển đổi HDF5 và ghi định dạng LeRobot trong quá trình điều khiển từ xa bằng cách thêm ba cờ. Hai lưu ý đến từ chính tài liệu: trình ghi tự động bỏ qua 5 khung hình đầu tiên của mỗi tập để tránh sự bất ổn từ các trạng thái ban đầu, và nó có thể gây ra một chút chậm trễ trong quá trình điều khiển từ xa, đây chính xác là loại điều làm thay đổi một cách âm thầm tính chất của các bản trình diễn của bạn. Nó cũng chỉ ghi các tập mà nhiệm vụ được đánh dấu là thành công.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

Bước nhân sau đó chạy trên các bản ghi đó. LeIsaac gói Isaac Lab Mimic trong bốn lệnh, bởi vì Mimic tổng quát hóa các quỹ đạo từ tư thế của bộ phận cuối và vật thể: chuyển đổi các hành động trong không gian khớp thành các hành động dựa trên IK, chú thích, tạo, sau đó chuyển đổi trở lại không gian khớp.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

Sau đó chuyển đổi sang LeRobot. Đây là bước mà quy tắc định dạng của nền tảng gây khó khăn, và LeIsaac tình cờ cung cấp chính xác hai bộ chuyển đổi bạn cần: isaaclab2lerobot.py ghi LeRobot v2, đây là định dạng mà các bộ tải của GR00T sử dụng, và isaaclab2lerobotv3.py ghi v3 cho Pi0.5, SmolVLA và ACT.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

Hai lộ trình để có một chính sách được huấn luyện

Mô hình thế giới video: lớp mới nhất và ít được đo lường nhất

Ý tưởng đằng sau DreamGen là một mô hình tạo video, được điều chỉnh cho hình thái robot mục tiêu, có thể tưởng tượng ra các tập hợp lý trong những cảnh bạn chưa từng ghé thăm. Quy trình này có bốn giai đoạn: tinh chỉnh mô hình thế giới video, tạo video robot tổng hợp chân thực, khôi phục chuỗi hành động giả với mô hình hành động tiềm ẩn hoặc mô hình động lực học nghịch đảo, sau đó huấn luyện chính sách robot dựa trên kết quả. Kho lưu trữ GR00T-dreams của NVIDIA triển khai chính xác điều đó.

Kết quả chính là có thật và đáng được xem xét nghiêm túc: dữ liệu điều khiển từ xa từ chỉ một nhiệm vụ nhặt và đặt trong một môi trường đã tạo ra 22 hành vi mới trên một người máy hình người, trong cả môi trường đã thấy và chưa thấy. Lưu ý cũng có thật và nằm ở giai đoạn thứ ba.

Đồng huấn luyện là công thức thực sự mang lại lợi ích

Nếu bạn rút ra một bài học vận hành từ tài liệu, hãy ghi nhớ điều này. Nghiên cứu đồng huấn luyện mô phỏng và thực tế (Maddukuri và cộng sự, 2025) đã đặt ra mục tiêu tìm kiếm một công thức đơn giản để sử dụng dữ liệu mô phỏng nhằm giải quyết các nhiệm vụ thao tác robot dựa trên thị giác, trên hai lĩnh vực, một cánh tay robot và một người máy hình người, và kết luận của nó là bạn huấn luyện trên một hỗn hợp. Dữ liệu mô phỏng đã nâng cao hiệu suất nhiệm vụ trong thế giới thực trung bình 38 phần trăm, và bài báo nêu rõ rằng điều này vẫn đúng ngay cả khi có sự khác biệt đáng kể giữa dữ liệu mô phỏng và dữ liệu thế giới thực.

Điều khoản cuối cùng đó quan trọng hơn con số 38 phần trăm. Nó có nghĩa là mô phỏng không cần phải là một bản sao kỹ thuật số hoàn hảo để hữu ích, miễn là dữ liệu thực tế có trong hỗn hợp để làm điểm tựa. Chuyển giao chỉ bằng mô phỏng là con đường tốn kém: cùng một bài báo nêu rõ rằng việc huấn luyện một chính sách chỉ trong mô phỏng và chuyển giao nó sang thế giới thực thường đòi hỏi nỗ lực đáng kể của con người để thu hẹp khoảng cách thực tế. Đồng huấn luyện bỏ qua hầu hết nỗ lực đó bằng cách không bao giờ yêu cầu chính sách tự mình thu hẹp khoảng cách.

Trên thực tế, trên nền tảng này, đồng huấn luyện có nghĩa là một điều: đặt cả hai tập hợp các tập trong cùng một tập dữ liệu LeRobot với các khóa camera nhất quán, thứ tự khớp nhất quán và đơn vị nhất quán, sau đó chạy một tinh chỉnh thông thường. Không có nút điều chỉnh trọng số hỗn hợp trong biểu mẫu huấn luyện. Nếu bạn muốn tỷ lệ mô phỏng-thực tế là 3:1, bạn thể hiện điều đó bằng số lượng tập của mỗi loại mà bạn đưa vào tập dữ liệu.

Lợi ích dễ đạt được nhất từ mô phỏng không phải là dữ liệu huấn luyện

Đó là đánh giá. Chạy hàng chục thử nghiệm thực tế cho mỗi tác vụ để so sánh hai tốn một ngày làm việc của cánh tay robot, và cánh tay có thể bị lệch giữa các lần thử nghiệm. SIMPLER (Li và cộng sự, 2024) đã xây dựng các môi trường mô phỏng với mục đích đánh giá các chính sách thực tế thay vì huấn luyện chúng, sau đó đo lường mức độ dự đoán của xếp hạng mô phỏng so với xếp hạng thực tế. Một môi trường SIMPLER duy nhất có thể hiển thị ở tốc độ 3.500 bước mô phỏng mỗi giây trên card đồ họa tiêu dùng RTX 4090 ở độ phân giải 640 x 512, với tần số mô phỏng 500 Hz, đạt tốc độ nhanh hơn 7 lần so với đánh giá thực tế.

Đây là các giá trị trung bình trên ba nhóm tác vụ Google Robot cho sáu điểm kiểm tra mã nguồn mở phổ biến: ba điểm kiểm tra RT-1 ở các giai đoạn huấn luyện khác nhau, RT-1-X, RT-2-X và Octo-Base. Phía thực tế không có số lượng thử nghiệm đồng đều, điều này đáng để biết trước khi bạn trích dẫn: 75 thử nghiệm cho tác vụ nhặt lon coca, 60 cho tác vụ di chuyển gần, 54 cho các tác vụ mở và đóng ngăn kéo và 27 cho tác vụ ngăn kéo và táo dài hơn. So sánh với MSE xác thực là phần hữu ích. Việc lựa chọn mô hình bằng cách sử dụng validation loss xếp hạng các điểm kiểm tra này kém, và hệ số Pearson r là 0.924 trong điều kiện khớp hình ảnh có nghĩa là nếu một điểm kiểm tra đạt điểm tốt hơn trong SIMPLER, thì rất có thể nó cũng đạt điểm tốt hơn trên thực tế. Đó là một bảng điểm có thể lặp lại qua đêm, và nó không yêu cầu bạn phải tin bất cứ điều gì về việc chuyển giao huấn luyện từ mô phỏng sang thực tế.

Nếu bạn muốn có bối cảnh rộng hơn về những gì các con số benchmark này cho bạn biết và không cho bạn biết về một , chúng tôi đã viết riêng về điều đó trong .

Nơi nền tảng này không giúp ích cho bạn

Việc làm rõ ranh giới giúp mọi người tiết kiệm thời gian. AY-Robots là một nền tảng ghi lại, huấn luyện và phục vụ. Nó không có trình mô phỏng nào.

• Không có Isaac Lab, không có MimicGen, không có mô hình thế giới, không có công cụ tạo cảnh. Nếu bạn muốn dữ liệu được tạo, bạn tạo nó ở nơi khác và mang kết quả đến.
• Các bộ huấn luyện chỉ tiêu thụ tập dữ liệu LeRobot và không có gì khác. Một bản xuất từ trình mô phỏng phải được chuyển đổi trước khi trở thành đầu vào, và nó phải là phiên bản đúng: v2.0 hoặc v2.1 cho GR00T N1.5 và N1.7, v3.0 cho Pi0.5, SmolVLA và ACT.
• Điểm vào tinh chỉnh của GR00T là một CLI tyro không hiển thị seed, vì vậy các lần chạy GR00T không thể tái tạo từng bit. Nếu bạn đang thực hiện một phép loại bỏ cẩn thận giữa mô phỏng và thực tế, đó là một hạn chế thực sự. Seed mặc định của lerobot là 1000, và các dạng ACT, SmolVLA và Pi0.5 có hiển thị trường seed.
• Tích lũy gradient chỉ thực sự được áp dụng cho hai bộ huấn luyện GR00T. Đối với Pi0.5 và SmolVLA, trường này tồn tại trong biểu mẫu nhưng lerobot 0.5.1 không có cờ như vậy, vì vậy nó không làm gì cả.
• Suy luận phải nằm cạnh các servo cho các tác vụ nhanh. Vòng lặp điều khiển là 20 đến 485 ms cho mỗi bước hành động tùy thuộc vào mô hình, và việc thêm các chuyến đi khứ hồi qua internet công cộng biến một chính sách hoạt động thành một chính sách do dự. Suy luận từ xa khả thi cho các tác vụ nhặt và đặt chậm, không phải cho chuyển động phản ứng nhanh.

Một ngân sách bạn có thể bảo vệ

Đặt hai con đường cạnh nhau với các con số mà mỗi con đường thực sự công bố, và quyết định thường tự đưa ra cho một dự án đơn nhiệm vụ trên một cánh tay robot chi phí thấp.

Đối với chính sách đầu tiên trên SO-100, hãy ghi lại. , và sẽ đưa bạn đến một điểm kiểm tra đã được phục vụ với giá một ly cà phê, và bạn sẽ có một nửa thực tế của bất kỳ hỗn hợp huấn luyện chung nào trong tương lai. Hãy tìm đến trình mô phỏng khi bạn có một đường cơ sở hoạt động và một lỗi tổng quát hóa cụ thể mà bạn có thể gọi tên, chẳng hạn như một chính sách mà .

Một công thức tôn trọng bằng chứng

1. 1
   Ghi lại đường cơ sở thực tế trước

   30 tập cho SmolVLA, 50 tập cho ACT, GR00T N1.7 và Pi0.5. Huấn luyện một lần. Bất cứ điều gì mà chính sách đó thất bại sẽ là đặc tả của bạn cho dữ liệu tổng hợp.

2. 2
   Đặt tên cho lỗi khái quát hóa

   Tư thế vật thể? Ánh sáng? Chiều cao bàn? Các yếu tố gây nhiễu? Một cách diễn đạt khác của hướng dẫn? Dữ liệu tổng hợp chỉ tốt ở một trong số này tại một thời điểm, và vô dụng nếu bạn không thể nói rõ là cái nào.

3. 3
   Chọn nhóm giải pháp rẻ nhất bao gồm nó

   Biến thể tư thế và bố cục: nhân rộng quỹ đạo. Ánh sáng và kết cấu: tăng cường hình ảnh trước, mô hình thế giới sau. Toàn bộ cảnh mới: mô phỏng vật lý, và chấp nhận chi phí mô hình hóa.

4. 4
   Tạo ra, sau đó loại bỏ mạnh mẽ

   Các nỗ lực tạo ra thất bại, và tỷ lệ thành công ứng cử viên của Isaac Lab dao động từ 70 percent xuống dưới 1 percent tùy thuộc vào nhiệm vụ. Chỉ giữ lại các quỹ đạo thành công, hoàn thành nhiệm vụ, và xem xét kỹ một mẫu dưới dạng video trước khi bạn tin tưởng vào lô dữ liệu.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   Đồng huấn luyện, không thay thế

   Hợp nhất các tập đã tạo với các tập thực tế vào một bộ dữ liệu LeRobot duy nhất với các khóa camera và thứ tự khớp giống hệt nhau. Con số 38 percent là một con số đồng huấn luyện.

6. 6
   Đánh giá trên cánh tay robot thực, và chỉ ở đó

   Đánh giá mô phỏng là một tín hiệu xếp hạng tốt (Pearson r 0.924 trong thiết lập khớp hình ảnh của SIMPLER) nhưng nó không phải là bài kiểm tra chấp nhận. Chạy điểm kiểm tra trên bàn thử trước khi bạn tin tưởng nó.

Nếu bạn muốn bắt đầu từ một danh sách kiểm tra cho các bản ghi thực tế, bao gồm vị trí camera, hàm ý và các chế độ lỗi khiến một bộ dữ liệu không thể sử dụng được. Chi tiết về định dạng nằm trong , và khía cạnh siêu tham số trong .