DAgger Giải thích: Tại sao Behavior Cloning Trôi Dạt và Dataset Aggregation Thực sự Chứng minh Điều gì

Có một sự cố cụ thể mà ai đó huấn luyện policy điều khiển thao tác đều gặp sớm hay muộn. Policy tiếp cận khối, tới trong hai centimet, do dự, trôi sang một bên, rồi làm điều gì đó không liên quan đến nhiệm vụ. Xác thực mất mát rất tốt. Phát lại vòng lặp mở so với các tập dữ liệu nắm giữ rất tốt. Và tuy nhiên, cánh tay kết thúc ở một tư thế không xuất hiện ở bất kỳ nơi nào trong dữ liệu huấn luyện, và từ đó nó không có gì hợp lý để nói.

Sự cố đó có một cái tên và một bài viết lý thuyết được giải quyết phía sau nó. Đây là bài viết đầu tiên trong bốn bài viết về DAgger, và nó bao gồm lập luận chính nó: tại sao điều chỉnh policy trên các quỹ đạo riêng của người trình diễn lại tạo ra một lỗi có thể phát triển với bình phương độ dài tập, dataset aggregation thay đổi gì, và bằng chứng không hối tiếc không hứa gì. Vòng lặp trên phần cứng thực được đề cập trong chạy vòng lặp DAgger trên một SO-100, biến thể được gated bởi con người trong HG-DAgger và các can thiệp được gated bởi con người, và câu hỏi đo lường trong đo lường một vòng lặp DAgger.

Giả định mà behavior cloning im lặng tạo ra

Một dataset bản trình diễn là một đống cặp quan sát-hành động. Behavior cloning điều chỉnh một hàm cho đống đó với học có giám sát thông thường và dừng lại ở đó. Đó là ý tưởng cũ nhất trong lĩnh vực. ALVINN của Pomerleau, vào năm 1988, là một mạng lan truyền ngược ba lớp lấy hình ảnh từ máy ảnh và máy dò tìm khoảng cách laser và tạo ra hướng mà xe phải đi; nó được huấn luyện trên hình ảnh đường xá mô phỏng và làm theo đường thực trong một số điều kiện thực tế. Công thức không thay đổi nhiều; các mạng lưới thì có.

Điều được bỏ qua là kiểm tra xem những cặp đó đến từ đâu. Mỗi một cặp nằm trên quỹ đạo mà người trình diễn tạo ra. Policy mà bạn triển khai tạo ra chính nó. Ngay khi nó lệch hướng, nó được hỏi về các trạng thái không nằm trong phân phối huấn luyện, và câu trả lời của nó di chuyển nó ra xa hơn. Ross, Gordon và Bagnell mở bài viết DAgger chính xác với cái này: dự đoán tuần tự vi phạm giả định i.i.d. dưới học thống kê, vì các dự đoán riêng của người học xác định các đầu vào mà nó nhìn thấy tiếp theo.

Minh họa rõ ràng nhất trong bài viết đó không phải là một robot ở tất cả. Sao chép một bộ lập kế hoạch gần như tối ưu cho Super Mario Bros. đã tạo ra một policy mà liên tục bị kẹt lại chống lại một chướng ngại vật thay vì nhảy qua nó. Lý do là toàn bộ lập luận trong một câu: chuyên gia luôn nhảy từ một khoảng cách thoải mái, vì vậy dataset không chứa bất kỳ trạng thái nào mà Mario bị ép sát vào chướng ngại vật, và do đó không có nhãn cho những gì cần làm khi anh ta được.

Thay đổi Mario bằng một SO-100 arm và cấu trúc giống hệt nhau. Các bản trình diễn của bạn cho thấy một cách tiếp cận sạch sẽ và nắm sạch sẽ, không phải gripper đóng lại hai centimet ngắn - vì vậy policy không có ý tưởng để làm gì từ đó, và bất cứ điều gì nó đoán cũng đưa nó ra xa hơn. Covariate shift là một tính chất của data collection procedure, không phải của kiến trúc mạng.

Nơi mà thuật ngữ bình phương đến từ đâu

Bài viết AISTATS năm 2010 của Ross và Bagnell, Efficient Reductions for Imitation Learning, làm cho compounding chính xác. Hãy để T là task horizon, hãy để task cost bị ràng buộc trong khoảng thời gian đơn vị, và hãy để epsilon là surrogate loss được đo lường dưới phân phối trạng thái của expert - số mà tập xác thực của bạn báo cáo. Sau đó, chi phí bổ sung khi chạy policy đó cho T bước, liên quan đến chuyên gia, bị ràng buộc bởi T bình phương lần epsilon. Ross, Gordon và Bagnell phát biểu lại điều này là Định lý 2.1 trong bài viết DAgger và thêm câu mà nó quan trọng: giới hạn chặt chẽ. Những vấn đề tồn tại nơi mà một policy có lỗi epsilon trên phân phối của chuyên gia thực sự phát sinh chi phí bổ sung phát triển bậc hai trong T.

Chặt chẽ không có nghĩa là điển hình. Thuật ngữ bình phương là trường hợp xấu nhất trên một lớp vấn đề, không phải dự đoán về nhiệm vụ pick-and-place của bạn. Điều nó thiết lập là bản trình diễn chuyên gia thêm không thể loại bỏ vấn đề: nó chỉ làm sắc nét ước tính epsilon trên phân phối mà policy sẽ không được kiểm tra.

Tuyến đường thoát ra ngoài nằm trong cùng một bài viết, phát biểu lại như Định lý 2.2. Nếu một policy đạt lỗi epsilon dưới its own phân phối trạng thái, và một hành động sai lầm chi phí nhiều nhất là u trong cost-to-go dưới chuyên gia, chi phí bổ sung bị ràng buộc bởi u lần T lần epsilon - tuyến tính trong horizon. Hằng số u là đại lượng thú vị: nhiều nhất là 1 cho bất đồng 0-1 với chuyên gia, và O(1) bất cứ khi nào chuyên gia có thể phục hồi trong vòng vài bước. Trong trường hợp xấu nhất, đó là O(T), và giới hạn tuyến tính thì không tốt hơn cái xấu nhất.

Hai nỗ lực đến trước DAgger

Forward training là câu trả lời trung thực nhưng không thực tế. Huấn luyện một policy riêng biệt cho mỗi timestep, theo thứ tự, mỗi cái trên phân phối trạng thái gây ra bởi các policies đã được khắc phục cho các bước trước đó, vì vậy mọi policy nhìn thấy chính xác phân phối mà nó sẽ phải đối mặt. Cái bắt là trong mô tả: T policies, được huấn luyện tuần tự, không dừng sớm. Đối với một episode ở 30 khung hình mỗi giây, T nằm trong hàng trăm.

SMILe, từ cùng một bài viết, và SEARN, từ công việc của Daume, Langford và Marcu về dự đoán có cấu trúc, lấy tuyến đường khác: một policy đứng yên, nhưng stochastic. Mỗi lần lặp lại huấn luyện một thành phần và thêm nó vào một hỗn hợp, dịch chuyển khối lượng xác suất ra khỏi chuyên gia. Kết quả là một hỗn hợp trong đó một số thành phần xấu hơn những thành phần khác - trên một cánh tay vật lý, một bộ điều khiển có thể lấy mẫu một thành phần xấu trong giữa chuyển động. Đó là động lực đã nêu để muốn một deterministic policy thay vì.

DAgger: một ý tưởng, một hộp

Dataset Aggregation giữ policy xác định và di chuyển bản sửa chữa vào bộ sưu tập dữ liệu. Mỗi round: triển khai policy hiện tại, ghi lại các trạng thái mà nó truy cập, yêu cầu chuyên gia những hành động đúng sẽ là gì trong mỗi cái, thêm những cặp đó vào dataset bạn đã có, huấn luyện lại trên liên kết. Cái tên là thuật toán - bạn tổng hợp, bạn không bao giờ loại bỏ.

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

Ba chi tiết mang lại trọng lượng hơn cách nhìn của họ. Các nhãn là cho các trạng thái được ghé thăm bởi policy hỗn hợp, nhưng các hành động đến từ chuyên gia - policy cung cấp các câu hỏi, chuyên gia những câu trả lời. Huấn luyện lại nằm trên tổng hợp toàn bộ, điều này làm cho mỗi round một bước Follow-The-Leader: ở round n bạn chọn policy tốt nhất trong hậu kiến trên mọi quỹ đạo cho đến nay. Khuôn khổ đó là những gì bằng chứng treo trên. Và thuật toán kết thúc bằng cách trả lại policy tốt nhất trong chuỗi được chọn trên một tập xác thực, bởi vì các định lý bảo đảm rằng some policy trong chuỗi tốt, không phải cái cuối cùng là.

Beta schedule, và tại sao nó không phải là một nút điều chỉnh

Policy hỗn hợp là beta_i lần chuyên gia cộng với một trừ beta_i lần người học. Điểm là thực tế: những policy học đầu tiên được huấn luyện trên rất ít dữ liệu, mắc nhiều sai lầm, và sẽ khác cách khác dùng rollout trong các trạng thái mà trở nên không liên quan khi policy cải thiện.

Lý thuyết áp đặt chính xác một điều kiện: trung bình chạy của các betas phải về không. Phân tích hoạt động với beta_i bị ràng buộc bởi (1 - alpha) cho power i-1, cho một hằng số alpha độc lập của T.

Khoảng cách giữa 2980 và 3030 trên một tỷ lệ chạy đến khoảng 4300 là nhỏ, nhưng giải thích của bài viết về nó là ghi chú thực tế hữu ích nhất trong phần. Với lịch biểu không có tham số, Mario bị kẹt ở cùng một chỗ sớm và tạo ra một khối dữ liệu gần như trùng lặp từ một vị trí; cho phép chuyên gia lái một phần thời gian cả unstuck anh ta và mở rộng sự đa dạng của các trạng thái. Lịch biểu là về ít tỷ lệ trộn hơn liệu bộ sưu tập dữ liệu của bạn có tiếp tục sản xuất trạng thái mới hay cùng một lỗi.

Bảo đảm: một giảm xuống không hối tiếc học trực tuyến

Đây là bước đưa bài viết vào những gì nó là. Coi mỗi round DAgger là một ví dụ trong một bài toán học trực tuyến, nơi mà mất mát ở round i là surrogate loss dưới phân phối trạng thái của policy được sử dụng ở round i. Người học cam kết một policy trước khi nhìn thấy mất mát đó, và chuỗi là không cố định vì nó phụ thuộc vào các policies được tạo ra cho đến nay.

Một thuật toán là no-regret nếu mất mát trung bình của nó trên N rounds tiếp cận mất mát của policy đơn lẻ tốt nhất trong hậu kiến. Follow-The-Leader trên mất mát mạnh mẽ lồi là thuật toán như vậy, với tiêu chuẩn trung bình giảm theo thứ tự 1/N - và huấn luyện lại trên tổng hợp toàn bộ chính xác Follow-The-Leader. Bất kỳ learner no-regret nào khác sẽ phục vụ cũng tốt: phân tích là một giảm xuống, không phải một tính chất của một tối ưu hóa.

Một bổ đề cầu nối khoảng cách giữa policy hỗn hợp thu thập dữ liệu và policy đã học sẽ được triển khai: Bổ đề 4.1 ràng buộc khoảng cách L1 giữa các phân phối trạng thái của chúng bởi 2 T beta_i. Đây là lý do tại sao các betas phải phân rã - trong khi chuyên gia vẫn nắm quyền kiểm soát đáng kể, các trạng thái bạn thu thập không phải là các trạng thái mà policy sẽ tạo ra. Kết hợp bổ đề với giới hạn regret và kết quả chính theo sau: sau khoảng T lần lặp lại, một số policy trong chuỗi có surrogate loss dưới phân phối của riêng nó trong O(1/T) của epsilon_N. Cấp vào giới hạn tuyến tính và bạn hạ cánh ở Định lý 3.2.

Phía thực nghiệm là khiêm tốn theo tiêu chuẩn hiện tại. Trong Super Tux Kart, đường cơ sở được giám sát không cải thiện mất mát trung bình mỗi vòng khi dữ liệu đến, DAgger tiếp cận một policy mà không bao giờ ngã khỏi đường sau mười lăm lần lặp lại, và SMILe sau hai mươi vẫn ngã khoảng hai lần mỗi vòng. Trên tiêu chí viết tay, độ chính xác ký tự chạy 82 phần trăm mà không có cấu trúc, 83,6 phần trăm được giám sát, 85,5 phần trăm với DAgger. Không ai trong số này là một kết quả thao tác.

Những gì bằng chứng không hứa gì

Các phát biểu định lý là có điều kiện, và các điều kiện là load-bearing.

Một kết quả khác thường được trích dẫn như một bác bỏ và không phải. Rajaraman, Yang, Jiao và Ramachandran nghiên cứu các giới hạn minimax của imitation learning trong MDPs episodic có không gian trạng thái hữu hạn S và horizon H, và chứng minh giới hạn dưới non-tối ưu về thứ tự |S| H bình phương trên N mà nắm giữ ngay cả khi người học có thể chủ động truy vấn chuyên gia ở các trạng thái được ghé thăm. Đó là tốc độ trường hợp xấu nhất trên một lớp MDPs ở một ngân sách tập cố định, và những gì nó loại trừ là ý tưởng rằng tương tác cải thiện tốc độ minimax; định lý của DAgger là một phát biểu khác, ràng buộc policy được triển khai liên quan đến những gì lớp policy của riêng nó có thể đạt được.

Swamy, Choudhury, Bagnell và Wu sau đó phân loại các thuật toán này theo những khoảnh khắc nào của hành vi chuyên gia mà họ khớp, và giới thiệu một khái niệm về khả năng phục hồi thời điểm phân định cách tốt như thế nào mỗi gia đình giảm bớt compounding error. Các cuộc khảo sát của Osa và của Celemin bao gồm cảnh quan thuật toán và các giao diện phản hồi của con người.

Hóa đơn: ghi nhãn các trạng thái mà chuyên gia không bao giờ tạo ra

Mọi thứ ở trên giả định một chuyên gia có thể được truy vấn ở bất kỳ nơi nào. Trong mô phỏng với một bộ lập kế hoạch gần như miễn phí - các thí nghiệm Mario sử dụng một bộ lập kế hoạch gần như tối ưu với quyền truy cập đầy đủ vào trạng thái trò chơi. Với một con người trên một robot nó là chi phí chiếm ưu thế, và một chi phí kỳ lạ: con người phải sản xuất một hành động chính xác trong một cấu hình rằng yêu cầu riêng của họ sẽ không bao giờ tạo ra.

Kelly, Sidrane, Driggs-Campbell và Kochenderfer nêu ra sự phản đối trực tiếp trong bài viết HG-DAgger. Vanilla DAgger yêu cầu chuyên gia cung cấp nhãn hành động trong khi không được hoàn toàn kiểm soát hệ thống. Điều này giảm an toàn, và với các chuyên gia con người, nó có khả năng giảm chất lượng của các nhãn được thu thập, mà họ đặt xuống độ trễ của bộ chuyển đổi nhận thức. Nhãn bạn nhận được không phải là nhãn mà thuật toán giả định.

Laskey và các đồng nghiệp tấn công vấn đề từ phía bên kia với DART, và khung của họ là rõ ràng: các kỹ thuật on-policy rất tẻ nhạt cho các giám sát viên con người, thêm gánh nặng tính toán, và có thể ghé thăm các trạng thái nguy hiểm trong suốt đào tạo. Thay thế của họ tiêm nhiễu hiệu chỉnh vào bản trình diễn riêng của người giám sát, vì vậy phục hồi được trình diễn mà không có robot khi nào chạy một policy không đáng tin cậy. Trên MuJoCo Humanoid, họ báo cáo DART giảm phần thưởng tích lũy của người giám sát 5 phần trăm trong suốt thời gian đào tạo, trong khi DAgger thực thi các policies với 80 phần trăm ít phần thưởng tích lũy hơn người giám sát; về cơm trong lộn xộn với một Toyota HSR, một mức tăng trung bình 62 phần trăm so với behavior cloning.

SafeDAgger của Zhang và Cho coi các truy vấn đến chính sách tham chiếu là tài nguyên hiếm: một chính sách an toàn riêng biệt dự đoán, mà không truy vấn, liệu chính sách chính có sắp lệch khỏi tham chiếu vượt quá ngưỡng hay không, và chỉ những trạng thái đó được bàn giao. Cả ba đều phản ứng với cùng một sự thật - phân tích DAgger không tính phí cho các nhãn chuyên gia, và thực tế tính phí rất nhiều.

Điều này có nghĩa gì cho một SO-100 trên bàn của bạn

Dịch horizon thành các đơn vị của bạn. Một tập 20 giây ở 30 khung hình mỗi giây là 600 bước quyết định, và T trong mọi ràng buộc ở trên là số đó. Ở T = 600, sự khác biệt giữa một thuật ngữ chia tỷ lệ với T và một thuật ngữ chia tỷ lệ với T bình phương là sự khác biệt giữa một policy phục hồi từ một cách tiếp cận tồi tệ và một không phải.

Đây là một phần của lý do tại sao action chunking giúp: khi một policy phát ra một chuỗi hành động ngắn cho mỗi bước suy luận, số điểm quyết định giảm, và cũng như là cơ hội để compound. Zhao, Kumar, Levine và Finn đặt tên compounding error là động lực cho Action Chunking với Transformers, và báo cáo 80 đến 90 phần trăm thành công trên sáu nhiệm vụ thế giới thực khó khăn, trên phần cứng bimanual chi phí thấp, từ mười phút đáng giá của bản trình diễn. Chunking không loại bỏ covariate shift - các trạng thái vẫn là policy riêng của nó - nhưng nó rút ngắn horizon hiệu quả. Xem action chunking và SO-100 imitation learning guide.

Dịch thứ hai là chỉ số tiến độ. Bạn không thể đo epsilon dưới phân phối riêng của policy trực tiếp - điều đó cần hành động chuyên gia sự thật cơ bản cho mọi trạng thái được ghé thăm, điều bạn đang cố gắng tránh sản xuất. Những gì một vòng lặp được gated bởi con người cung cấp cho bạn thay vì là tỷ lệ can thiệp: phần của khung hình trong một chạy trong đó con người đã tiếp quản. Nó là một proxy, và nó di chuyển vì những lý do không liên quan đến policy - một nhà điều hành bệnh nhân can thiệp ít hơn. Sử dụng nhất quán, nó là số duy nhất nói liệu một round có đáng giá chiều tối hay không.

Dịch thứ ba là một cảnh báo chất lượng dữ liệu mà phân tích không bao gồm. Mandlekar và các đồng nghiệp nghiên cứu sáu thuật toán học offline trên năm nhiệm vụ thao tác đa giai đoạn mô phỏng và ba thế giới thực, và báo cáo một độ nhạy đối với lựa chọn thiết kế thuật toán, một sự phụ thuộc vào chất lượng của các bản trình diễn, và sự biến đổi do tiêu chí dừng. Belkhale, Cui và Sadigh tranh luận rằng chất lượng dataset nên được chính thức hóa thông qua divergence hành động và đa dạng chuyển tiếp, và lưu ý rằng sự đa dạng của trạng thái không phải lúc nào cũng có lợi. Một round DAgger thêm các trạng thái mà không ai chọn cố ý: một số là dữ liệu phục hồi bạn cần, một số là robot vung vẩy trong khi bạn vấp phía trên điều khiển tiếp quản.

Cơ học một round là sáu bước: chạy suy luận với ghi lại trên, tiếp quản khi policy hoạt động sai, xem lại chạy và lưu trữ mỗi tập, đồng bộ hóa các sửa chữa, soạn một dataset hỗn hợp từ bản gốc cộng với sửa chữa với lựa chọn tập được thực hiện rõ ràng cho mỗi nguồn, và tiếp tục huấn luyện từ trước đây checkpoint hơn là mô hình cơ sở. Trên ay-robots, các bước đó tồn tại dưới dạng các nút, điều này loại bỏ ống dẫn nhưng không phải là sự phán xét. Hai cảnh báo: tiếp tục từ một checkpoint khởi tạo trọng lượng và không phải lần tiếp theo của bộ tối ưu hóa, và bước di chuyển liên kết cánh tay lãnh đạo vẫn còn được kiểm tra nhẹ trên phần cứng. Xem training và datasets.

Cây gia đình, trong một bảng

Các câu hỏi thường gặp

Nơi để đi từ đây

Nếu bạn chưa huấn luyện một policy, lý thuyết này là sớm: ghi lại một dataset trước tiên, bắt đầu từ training your first policy và desktop client. Nếu bạn cân bằng một trăm bản trình diễn sạch sẽ khác chống lại các sửa chữa bắt đầu: bản trình diễn sạch sẽ không khắc phục vấn đề phân phối. Đối với cơ học, tiếp tục với the human-gated variant và sau đó the SO-100 walkthrough.