Huấn luyện policy

Huấn luyện mà không cần GPU của riêng bạn

Huấn luyện một policy thao tác là một khối lượng công việc GPU, và các mô hình vision-language-action hiện đại cần nhiều VRAM hơn một trạm làm việc thông thường có. Trên AY-Robots, việc huấn luyện chạy trên các GPU cloud được nền tảng quản lý: bạn chọn một dataset và một loại policy, bắt đầu chạy, và theo dõi tiến trình từ trình duyệt. Không cần thiết lập CUDA, không cần khớp driver, và không cần bảo trì môi trường.

Đầu vào luôn là một dataset cloud từ Dashboard > Datasets. Bất cứ thứ gì bạn đã ghi qua các phiên điều khiển từ xa hoặc đã tải lên theo định dạng LeRobot đều đủ điều kiện, kể cả các dataset đã gộp. Hãy chọn lọc trước khi huấn luyện: các episode được gắn nhãn Failure thường nên loại khỏi tập huấn luyện, và mười phút xem lại trong trình duyệt episode tiết kiệm hàng giờ thời gian GPU dành cho việc học từ những minh họa xấu.

Các policy được hỗ trợ

Bốn họ policy được hỗ trợ. Chúng khác nhau về kích thước, chi phí huấn luyện, và mức độ chúng có thể hấp thụ từ dữ liệu của bạn, vì vậy lựa chọn đúng phụ thuộc vào nhiệm vụ và dataset của bạn nhiều hơn bất kỳ xếp hạng chung nào.

Bắt đầu một lần chạy

1. 1
   Chọn dataset

   Mở Dashboard > Training và chọn dataset để huấn luyện. Số lượng episode và loại robot được hiển thị để bạn có thể xác nhận đã chọn đúng.

2. 2
   Chọn policy

   Chọn một trong các loại policy được hỗ trợ. Nếu bạn không chắc chắn, hãy bắt đầu với ACT: đây là cách rẻ nhất để biết liệu dataset của bạn có đủ tốt để huấn luyện bất cứ điều gì hay không.

3. 3
   Khởi chạy

   Bắt đầu chạy. Nó nhận một job id và trang chạy riêng, và bạn có thể đóng trình duyệt: việc huấn luyện tiếp tục ở phía server và trang hiển thị trạng thái trực tiếp bất cứ khi nào bạn quay lại.

Trang chạy huấn luyện

Mỗi lần chạy có một trang riêng trả lời hai câu hỏi bạn thực sự có trong khi huấn luyện: nó có đang học không, và máy có khỏe mạnh không. Tiến trình học được hiển thị dưới dạng biểu đồ của loss, lịch trình learning rate, và chuẩn gradient. Một loss ổn định ngay lập tức hoặc một chuẩn gradient bùng nổ sẽ báo cho bạn sớm rằng lần chạy này không đáng chờ đợi.

Sức khỏe của máy được hiển thị bên cạnh: mức sử dụng GPU và bộ nhớ, cùng với các chỉ số host của máy huấn luyện. Một dòng thời gian giai đoạn cho thấy lần chạy hiện đang ở đâu, từ chuẩn bị môi trường qua tải dữ liệu, vòng lặp huấn luyện chính, và tải lên checkpoint. Khi có gì đó trông không ổn, trình xem log tích hợp sẵn cung cấp cho bạn log huấn luyện thô mà không cần bất kỳ quyền truy cập SSH nào, thường đủ để thấy liệu một lỗi là do dataset của bạn hay do chính lần chạy.

Checkpoint và tiếp tục

Checkpoint được lưu trữ theo từng lần chạy, không phải trong một kho chung, vì vậy các checkpoint được liệt kê trên một trang chạy luôn thuộc chính xác về lần chạy đó và cấu hình của nó. Điều này quan trọng hơn vẻ ngoài của nó: việc trộn lẫn checkpoint giữa các lần chạy với cài đặt khác nhau là một nguồn gốc kinh điển của các policy bị hỏng một cách âm thầm.

Nếu một lần chạy bị gián đoạn, bạn có thể tiếp tục từ checkpoint mới nhất của nó thay vì bắt đầu lại từ đầu. Các checkpoint trung gian cũng hữu ích tự thân: khi một lần chạy dài bắt đầu overfitting gần cuối, một checkpoint trước đó thường chạy tốt hơn trên cánh tay thật so với checkpoint cuối cùng.

Chạy policy đã huấn luyện trên cánh tay của bạn

Một policy đã hoàn thành có thể được triển khai thẳng trở lại robot của bạn. Trong cockpit, chọn policy đã huấn luyện cho cánh tay đã kết nối của bạn và bắt đầu inference: policy giờ đây tạo ra các lệnh khớp mà trước đây bạn tạo ra thông qua điều khiển từ xa. Cánh tay phải là cùng loại robot mà dataset đã được ghi trên đó, và cảnh nên giống với các cảnh huấn luyện, kể cả vị trí đặt camera.

Hãy coi những lần chạy inference đầu tiên như các thí nghiệm, không phải bản demo. Giữ emergency stop trong tầm với, bắt đầu từ một trạng thái ban đầu gần với những gì bạn đã minh họa, và mong đợi policy nhạy cảm với những thứ bạn có thể không để ý: một camera bị di chuyển, ánh sáng khác biệt, hoặc một đối tượng mà dataset chưa từng chứa.

Bạn cần bao nhiêu episode

Sai lầm huấn luyện phổ biến nhất trên nền tảng không phải là một siêu tham số sai, mà là huấn luyện trên quá ít dữ liệu và kết luận rằng loại policy đó không hoạt động. Như một nguyên tắc thực tế cho một nhiệm vụ trên mặt bàn duy nhất: khoảng 50 episode cho bạn một policy có khả năng khái quát hẹp thành công từ các trạng thái ban đầu gần với những gì bạn đã minh họa. Khoảng 100 đến 200 episode cho độ vững chắc hữu dụng trên toàn bộ không gian làm việc cho nhiệm vụ đó, miễn là bạn đã thay đổi vị trí đối tượng giữa các episode.

Các loại policy mạnh hơn không thay đổi điều này. Một fine-tune GR00T trên 20 episode vẫn sẽ khái quát kém; những gì các mô hình lớn hơn mang lại là một trần cao hơn khi dữ liệu đã sẵn sàng. Nếu ngân sách của bạn có hạn, hãy chi cho nhiều episode đa dạng hơn trước khi chi cho một mô hình lớn hơn.

Câu hỏi thường gặp