Cách huấn luyện ACT trên SO-100 từ đầu

ACT là một trường hợp đặc biệt trong số các chính sách SO-100. GR00T N1.7 và N1.5 bắt đầu từ nvidia/GR00T-N1.7-3B và nvidia/GR00T-N1.5-3B, Pi0.5 từ lerobot/pi05_base. ACT bắt đầu từ con số 0: không có điểm kiểm tra cơ sở nào, vì nó không phải là một mô hình nền tảng. Đó là một bộ biến đổi khoảng 80 triệu tham số mà bạn huấn luyện từ đầu cho một tác vụ, trên cánh tay robot của bạn, dưới điều kiện ánh sáng của bạn.

Đó cũng là lý do tại sao nó thực hiện một bước điều khiển trong 20 ms trong khi một VLA 3 tỷ tham số cần 152 đến 485 ms, và chi phí 1 đến 3 USD mỗi lần chạy thay vì 4 đến 12. Hướng dẫn này sẽ đi theo lộ trình thủ công với lerobot trên một SO-100: ghi lại, cấu hình act config, những gì chunk_size và n_action_steps điều khiển, lịch trình 100000 bước, quá trình triển khai. Sau đó là cùng một công việc trên AY-Robots, bao gồm cả những trường hợp nền tảng không hỗ trợ.

ACT thực sự là gì

Action Chunking with Transformers đến từ bài báo ALOHA, Học thao tác hai tay chi tiết với phần cứng chi phí thấp, của Zhao, Kumar, Levine và Finn, arXiv, ngày 23 tháng 4 năm 2023. Thiết bị ghi hình ở tần số 50 Hz với bốn webcam truyền phát 480x640 ở 30 khung hình/giây: hai trên bộ kẹp, một trên đỉnh, một phía trước. Tóm tắt tuyên bố sáu kỹ năng đạt tỷ lệ thành công từ 80 đến 90 phần trăm, trong đó có mở một cốc đựng gia vị trong mờ và lắp pin, từ 10 phút trình diễn.

Phần thân bài hữu ích hơn khi lập kế hoạch một buổi ghi hình: 50 lần trình diễn cho mỗi nhiệm vụ, ngoại trừ Thread Velcro là 100 lần, tương đương 10 đến 20 phút dữ liệu và 30 đến 60 phút thời gian thực tế sau khi tính cả các lần đặt lại. Tỷ lệ thành công cũng không đồng đều: Thread Velcro kết thúc ở 20 phần trăm, Put On Shoe ở 92, Cup Open 84, Prep Tape 64.

Phân đoạn hành động là toàn bộ ý tưởng

Kỹ thuật nhân bản hành vi thông thường ánh xạ một quan sát tới một hành động, và các lỗi tích lũy: một sai lệch khiến cánh tay lệch khỏi phân phối, tạo ra một hành động tồi tệ hơn, và ba mươi bước sau đó kẹp gắp không còn ở gần vật thể nữa. Phân đoạn hành động dự đoán k hành động cùng một lúc và thực hiện chúng, giảm tầm nhìn hiệu quả đi một hệ số k. Nó cũng xử lý một vấn đề phiền toái đặc trưng của dữ liệu con người: người điều khiển từ xa tạm dừng, và một chính sách Markovian một bước không thể mô hình hóa một sự tạm dừng phụ thuộc vào những gì đã xảy ra trước đó.

Bài báo phân tích k thay vì khẳng định nó. Với tính năng tập hợp theo thời gian bị tắt, trung bình trên bốn thiết lập, tỷ lệ thành công tăng từ 1 percent ở k = 1 lên 44 percent ở k = 100, sau đó giảm dần ở 200 và 400 khi chính sách tiến gần đến điều khiển vòng hở. Đường cong đó là lý do tại sao giá trị mặc định là 100.

• chunk_size: số lượng hành động tương lai mà bộ giải mã dự đoán trên mỗi lần chuyển tiếp. Mặc định là 100.
• n_action_steps: số lượng hành động bạn thực hiện trước khi truy vấn lại. Mặc định là 100, vì vậy lerobot chạy toàn bộ khối theo vòng lặp mở.
• lerobot xác thực n_action_steps <= chunk_size và đưa ra ValueError nếu bạn thiết lập ngược lại.

Điều quan trọng về mặt vận hành là chunk_size chia cho tốc độ khung hình. Với 30 khung hình/giây mà các ví dụ SO-100 của lerobot sử dụng, một khối 100 hành động cam kết khoảng 3.3 giây từ một lần quan sát. Nếu tác vụ cần điều chỉnh trong khoảng thời gian đó, hãy giảm n_action_steps, không phải chunk_size: bạn giữ dự đoán dài và quan sát lại thường xuyên hơn.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Khi ACT vượt trội hơn một mô hình nền tảng

Năm chính sách có thể huấn luyện được đặt cạnh nhau, cùng với các số liệu mà AY-Robots đo lường và sử dụng để định cỡ GPU mà họ thuê.

Chọn ACT khi tác vụ và cảnh cố định và chuyển động phải nhanh và chính xác. Chọn một khi một điểm kiểm tra phải bao gồm nhiều hướng dẫn. Hai trang so sánh trực tiếp quyết định: và . Đối với các điểm chuẩn đã công bố, liên kết mọi con số với nguồn của nó.

Những gì bạn cần trước khi bắt đầu

Một cánh tay theo dõi, một cánh tay dẫn đầu cho , ít nhất một camera, một GPU 24 GB. ACT chỉ đọc hình ảnh và vị trí khớp. Hai camera là điểm tối ưu: một góc nhìn phía trước cố định để biết vị trí của mọi thứ, một camera cổ tay để biết sắp chạm vào, như trên ALOHA.

Từ cánh tay robot trần đến tập dữ liệu đã ghi

Quy trình dưới đây là lerobot 0.6.x. Bỏ qua nếu bạn đã có cánh tay robot được hiệu chỉnh và một tập dữ liệu. Nếu không, hướng dẫn bắt đầu với SO-100 bao gồm lắp ráp, hướng dẫn ghi dữ liệu bao gồm thu thập và tài liệu về tập dữ liệu định dạng.

1. 1
   Cài đặt lerobot với các gói bổ sung phù hợp

   Để ghi hình cần core_scripts, để huấn luyện cần training, servo Feetech cần feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Tìm cổng USB của từng cánh tay robot

   Chạy nó với cả hai cánh tay robot được cắm vào, rút một cái khi được nhắc. Trên Linux, bạn có thể cần mở quyền truy cập nút.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Đặt ID động cơ và tốc độ truyền

   Trên SO-100, việc này diễn ra trước khi lắp ráp: không giống như SO-101, các đầu nối không thể tiếp cận được sau khi đã lắp. Script sẽ quét bus từng động cơ một từ bộ kẹp, ghi ID vào EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Hiệu chuẩn cả hai cánh tay robot

   Đặt mỗi khớp vào giữa phạm vi của nó, nhấn Enter, sau đó quét từng khớp qua toàn bộ phạm vi của nó. Hiệu chuẩn cho phép một chính sách được huấn luyện trên một cánh tay robot chạy trên một cánh tay khác. Tái sử dụng cùng một id.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Điều khiển từ xa một lần với camera bật

   Quy tắc chung của lerobot: bạn phải có khả năng thực hiện nhiệm vụ chỉ bằng cách nhìn vào hình ảnh camera. Nếu bạn không thể, ACT cũng không thể. Điều này giúp phát hiện nhiều bộ dữ liệu kém chất lượng hơn là gỡ lỗi sau này.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Ghi lại 50 tập

   50 là số lượng tối thiểu của AY-Robots và là số lượng ALOHA đã sử dụng cho mỗi tác vụ. lerobot khuyến nghị 10 cho mỗi vị trí đối tượng, camera cố định, cách nắm nhất quán. n kết thúc một tập, r ghi lại, q dừng và mã hóa.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Trước khi huấn luyện, hãy phát lại ít nhất năm tập. Định dạng bộ dữ liệu LeRobot lưu trữ luồng camera, trạng thái khớp và hành động cho mỗi tập, và phát lại sẽ đẩy các hành động đó trở lại cánh tay robot. Nếu quá trình phát lại không thực hiện được nhiệm vụ, dữ liệu không chứa nó và quá trình huấn luyện sẽ không thể tự tạo ra nó.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Huấn luyện chính sách ACT

Đây là toàn bộ lệnh. Mọi thứ dành riêng cho ACT đã là mặc định, đó là lý do tại sao trang ACT của lerobot khuyên nên bắt đầu với chúng.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act tải ACTConfig, cấu hình này tự điều chỉnh theo số lượng động cơ và camera mà tập dữ liệu của bạn đã ghi lại, vì vậy bạn không bao giờ phải khai báo hình dạng quan sát. --wandb.enable=true là tùy chọn và đáng giá: đường cong mất mát là tín hiệu rẻ tiền duy nhất trong một lần chạy 100000 bước. Lịch trình đến từ cấu hình huấn luyện của lerobot, không phải ACTConfig: 100000 bước, lô 8, hạt giống 1000, một điểm kiểm tra sau mỗi 20000 bước, ghi nhật ký sau mỗi 200 bước.

Một lần chạy hoàn chỉnh để lại năm thư mục điểm kiểm tra, từ 020000 đến 100000, cộng với một liên kết tượng trưng last. Hãy giữ tất cả chúng: chính sách tốt nhất thường không phải là chính sách cuối cùng.

Thời lượng: khoảng 5 giờ trên RTX 2080 Ti 11 GB trong bài báo, vài giờ cho 100k bước theo trang ACT của lerobot, 2 đến 5 giờ trên gói 24 GB của AY-Robots. Đừng cắt ngắn quá trình này. README của kho lưu trữ tham chiếu cho biết một chính sách giật cục hoặc tạm dừng thường chỉ cần thêm huấn luyện, vì thành công và độ mượt mà tiếp tục được cải thiện sau khi mất mát đạt đến mức ổn định: đối với dữ liệu thực tế, nó cần ít nhất 5000 epoch, hoặc dài hơn 3 đến 4 lần sau khi đạt đến mức ổn định.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Chạy chính sách đã huấn luyện trên cánh tay robot

Triển khai sử dụng lerobot-rollout. Các khóa camera phải khớp với các khóa đã ghi: một chính sách được huấn luyện trên front và wrist sẽ không chấp nhận cam0 và cam1, và rename_map không giúp ích gì, vì nó cần một điểm kiểm tra đã được huấn luyện trước. Chuỗi tác vụ có thể được bỏ qua; ví dụ của lerobot đánh dấu nó có thể bỏ qua cho ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Để ghim một checkpoint thay vì mô hình cuối cùng, hãy thêm --policy.pretrained_revision. Điều đó yêu cầu quá trình chạy phải bắt đầu với --save_checkpoint_to_hub=true, mặc định là tắt: nếu không có nó, lerobot chỉ đẩy mô hình cuối cùng và không có gì khác. Với nó, mỗi checkpoint được gắn thẻ với bước được đệm bằng số 0 của nó, vì vậy --policy.pretrained_revision=060000 khôi phục checkpoint bước 60000. So sánh nó với 100000 trên cánh tay robot thực tế là thử nghiệm rẻ nhất hiện có.

Hai cách để đến cùng một checkpoint

Mọi thứ ở trên là cách thủ công và nó hoạt động. Cách sử dụng nền tảng đánh đổi quyền kiểm soát để không phải sở hữu GPU hoặc môi trường Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Điều gì thực sự sai

Hầu như không có vấn đề gì nằm ở lệnh huấn luyện. Vấn đề nằm ở những thứ xung quanh nó, được sắp xếp theo tần suất chúng gây lỗi lần đầu.

Hai hàng đáng được nhấn mạnh. ACT huấn luyện trên LeRobot v3.0 trong khi bộ nạp của GR00T bị lỗi với nó và cần v2.1, do đó một tập dữ liệu huấn luyện ACT có thể làm hỏng một lần chạy GR00T. Và hàng cuối cùng có hai cách khắc phục: các tác giả ACT giải quyết chuyển động giật cục bằng cách huấn luyện thêm, trong khi với n_action_steps ở 100, một sự kẹt thực sự xảy ra ở ranh giới khối, một khoảng dừng rõ ràng cứ sau 3.3 giây ở 30 fps. Hai điều nữa cần biết: một khớp chết đơn lẻ thường là một id servo chưa bao giờ được ghi, và một bộ kẹp tiếp cận nhưng không bao giờ đóng có nghĩa là phạm vi kẹp quá nhỏ trong các bản trình diễn. Mục lục đầy đủ: các trang về chế độ lỗi.

Chi phí của một lần chạy

Đây là lý do để bắt đầu với ACT ngay cả khi bạn muốn VLA sau này. Một lần chạy ACT thất bại chỉ tốn bằng giá một ly cà phê và cho bạn biết trong vài giờ liệu tập dữ liệu của bạn có chứa nhiệm vụ đó hay không. Một lần chạy GR00T thất bại tốn gấp bốn lần cho cùng một bài học. Chuyển sang GR00T N1.7 hoặc SmolVLA sau đó là một sự thay đổi về hình thức, không phải là xây dựng lại. Bối cảnh: mô hình hành động-ngôn ngữ-thị giác, hướng dẫn SO-100 đầy đủ, huấn luyện chính sách đầu tiên của bạn và học bắt chước. Không có cánh tay robot? Trang trực tiếp phát trực tiếp một SO-100 thực để điều khiển mà không cần đăng ký.