DAgger อธิบาย: ทำไม Behavior Cloning ถึงเบี่ยงเบน และ Dataset Aggregation พิสูจน์อะไรได้จริง

มีความล้มเหลวแบบหนึ่งที่ทุกคนซึ่งเทรนพอลิซีสำหรับงานหยิบจับต้องเจอไม่ช้าก็เร็ว พอลิซีเอื้อมไปหาลูกบาศก์ เข้าใกล้ในระยะสองเซนติเมตร แล้วลังเล เบี่ยงไปด้านข้าง จากนั้นก็ทำอะไรบางอย่างที่ไม่เกี่ยวกับงานเลย ค่า validation loss ก็ปกติดี การเล่นซ้ำแบบ open-loop กับเอพิโซดที่กันไว้ก็ปกติดี แต่กลับกลายเป็นว่าแขนกลจบลงในท่าทางที่ไม่ปรากฏในข้อมูลเทรนเลยสักที่ และจากจุดนั้นมันก็ไม่มีอะไรที่สมเหตุสมผลจะทำต่อ

ความล้มเหลวนั้นมีชื่อเรียกและมีทฤษฎีที่ลงตัวรองรับอยู่เบื้องหลัง นี่คือบทความแรกในสี่บทความเกี่ยวกับ DAgger ซึ่งครอบคลุมข้อโต้แย้งหลักโดยตรง: เหตุใดการปรับพอลิซีให้เข้ากับวิถี (trajectory) ของผู้สาธิตเองจึงก่อให้เกิดข้อผิดพลาดที่โตขึ้นได้ตามกำลังสองของความยาวเอพิโซด Dataset Aggregation เปลี่ยนแปลงอะไร และข้อพิสูจน์แบบ no-regret ไม่ได้รับประกันอะไรไว้ ส่วนลูปบนฮาร์ดแวร์จริงอยู่ใน การรัน DAgger loop บน SO-100, ตัวแปรแบบมนุษย์ควบคุมประตูอยู่ใน HG-DAgger และการเข้าแทรกแซงแบบมนุษย์ควบคุมประตู และประเด็นเรื่องการวัดผลอยู่ใน การวัดผล DAgger loop.

สมมติฐานที่ behavior cloning แอบตั้งไว้โดยไม่พูดถึง

ชุดข้อมูลสาธิตคือกองคู่ของ observation-action จำนวนมาก Behavior cloning เพียงปรับฟังก์ชันให้เข้ากับกองข้อมูลนั้นด้วย supervised learning ธรรมดาแล้วก็จบแค่นั้น มันคือแนวคิดที่เก่าแก่ที่สุดในสาขานี้ ALVINN ของ Pomerleau ในปี 1988 เป็นเครือข่าย back-propagation สามชั้นที่รับภาพจากกล้องและเครื่องวัดระยะด้วยเลเซอร์ แล้วให้ผลลัพธ์เป็นทิศทางที่รถควรเคลื่อนที่ไป มันถูกเทรนด้วยภาพถนนจำลองและสามารถขับตามถนนจริงได้ในบางสภาพการณ์ภาคสนาม สูตรนี้แทบไม่เปลี่ยนเลย ที่เปลี่ยนไปคือเครือข่าย

สิ่งที่ถูกข้ามไปคือการตรวจสอบว่าคู่ข้อมูลเหล่านั้นมาจากไหน ทุกคู่ล้วนอยู่บนวิถีที่ผู้สาธิตเป็นคนสร้างขึ้น ส่วนพอลิซีที่คุณนำไปใช้งานจะสร้างวิถีของมันเอง เมื่อใดที่มันเบี่ยงเบนออกไป มันก็จะถูกถามคำถามเกี่ยวกับสถานะที่ไม่อยู่ในการกระจายตัวของข้อมูลเทรน และคำตอบของมันก็จะพาให้มันออกไปไกลกว่าเดิม Ross, Gordon และ Bagnell เปิดเปเปอร์ DAgger ด้วยประเด็นนี้โดยตรง: การทำนายแบบต่อเนื่อง (sequential prediction) ละเมิดสมมติฐาน i.i.d. ที่รองรับ statistical learning อยู่ เพราะคำทำนายของตัวผู้เรียนเองเป็นตัวกำหนดอินพุตที่มันจะเห็นในลำดับถัดไป

ตัวอย่างที่ชัดเจนที่สุดในเปเปอร์นั้นไม่ใช่หุ่นยนต์เลยด้วยซ้ำ การโคลนแผนการที่ใกล้เคียงเหมาะสมที่สุด (near-optimal planner) สำหรับเกม Super Mario Bros. ได้พอลิซีที่ติดค้างอยู่หน้าสิ่งกีดขวางซ้ำแล้วซ้ำเล่าแทนที่จะกระโดดข้ามมันไป เหตุผลคือข้อโต้แย้งทั้งหมดในประโยคเดียว: ผู้เชี่ยวชาญกระโดดจากระยะที่สบายเสมอ ชุดข้อมูลจึงไม่มีสถานะใดเลยที่มาริโอถูกดันชิดกับสิ่งกีดขวาง และด้วยเหตุนี้จึงไม่มีป้ายกำกับว่าควรทำอะไรเมื่ออยู่ในสถานการณ์นั้น

ลองเปลี่ยนจากมาริโอเป็นแขน SO-100 แล้วโครงสร้างก็เหมือนกันทุกประการ การสาธิตของคุณแสดงการเข้าใกล้ที่สะอาดและการหยิบจับที่สะอาด ไม่ใช่ตอนที่ gripper ปิดพลาดไปสองเซนติเมตร ดังนั้นพอลิซีจึงไม่รู้เลยว่าต้องทำอะไรต่อจากจุดนั้น และไม่ว่ามันจะเดาอะไรก็ตามก็จะพาให้มันออกไปไกลยิ่งขึ้น Covariate shift เป็นคุณสมบัติของขั้นตอนการเก็บข้อมูล ไม่ใช่ของสถาปัตยกรรมเครือข่าย

พจน์กำลังสองมาจากไหน

เปเปอร์ AISTATS ปี 2010 ของ Ross และ Bagnell ที่ชื่อว่า Efficient Reductions for Imitation Learning ทำให้การสะสมข้อผิดพลาดนี้ชัดเจนขึ้นอย่างเป็นรูปธรรม ให้ T เป็นขอบฟ้าของงาน (task horizon) ให้ต้นทุนของงานถูกจำกัดอยู่ในช่วงหน่วย [0,1] และให้ epsilon เป็น surrogate loss ที่วัดภายใต้การกระจายตัวของสถานะของผู้เชี่ยวชาญ - ตัวเลขที่ชุด validation ของคุณรายงานออกมานั่นเอง จากนั้นต้นทุนส่วนเกินของการรันพอลิซีนั้นเป็นเวลา T สเต็ป เทียบกับผู้เชี่ยวชาญ จะถูกจำกัดขอบเขตไว้ที่ T ยกกำลังสองคูณ epsilon Ross, Gordon และ Bagnell กล่าวซ้ำสิ่งนี้ในรูป Theorem 2.1 ของเปเปอร์ DAgger และเพิ่มประโยคที่สำคัญเข้าไป: ขอบเขตนี้แน่น (tight) มีปัญหาบางอย่างที่พอลิซีซึ่งมี epsilon loss บนการกระจายตัวของผู้เชี่ยวชาญ ต้องเสียต้นทุนส่วนเกินที่โตขึ้นแบบกำลังสองใน T จริงๆ

Tight ไม่ได้แปลว่าเกิดขึ้นเป็นปกติ พจน์กำลังสองคือกรณีเลวร้ายที่สุด (worst case) เหนือกลุ่มปัญหาหนึ่ง ไม่ใช่คำทำนายเกี่ยวกับงาน pick-and-place ของคุณ สิ่งที่มันชี้ให้เห็นคือ การสาธิตจากผู้เชี่ยวชาญที่มากขึ้นไม่สามารถขจัดปัญหานี้ได้ มันเพียงทำให้การประมาณค่า epsilon แม่นยำขึ้นบนการกระจายตัวที่พอลิซีจะไม่ถูกทดสอบด้วยเท่านั้น

ทางออกอยู่ในเปเปอร์เดียวกัน กล่าวซ้ำเป็น Theorem 2.2 ถ้าพอลิซีหนึ่งมี loss เท่ากับ epsilon ภายใต้การกระจายตัวของสถานะของตัวมันเอง และการกระทำที่ผิดหนึ่งครั้งมีต้นทุนไม่เกิน u ในรูป cost-to-go ภายใต้ผู้เชี่ยวชาญ ต้นทุนส่วนเกินจะถูกจำกัดขอบเขตไว้ที่ u คูณ T คูณ epsilon ซึ่งเป็นเชิงเส้นตาม horizon ค่าคงที่ u คือปริมาณที่น่าสนใจ: ไม่เกิน 1 สำหรับกรณีความไม่ตรงกันแบบ 0-1 กับผู้เชี่ยวชาญ และเป็น O(1) เมื่อใดก็ตามที่ผู้เชี่ยวชาญสามารถกู้คืนสถานการณ์ได้ภายในไม่กี่สเต็ป ในกรณีเลวร้ายที่สุดมันคือ O(T) ซึ่งในกรณีนั้นขอบเขตเชิงเส้นก็ไม่ได้ดีไปกว่าขอบเขตกำลังสองเลย

สองความพยายามที่มาก่อน DAgger

Forward training คือคำตอบที่ตรงไปตรงมาแต่ใช้งานจริงไม่ได้ เทรนพอลิซีแยกกันสำหรับแต่ละ timestep ตามลำดับ แต่ละตัวเทรนบนการกระจายตัวของสถานะที่เกิดจากพอลิซีที่ถูกกำหนดไว้แล้วในสเต็ปก่อนหน้า เพื่อให้พอลิซีแต่ละตัวเห็นการกระจายตัวที่มันจะต้องเจอจริงๆ พอดิบพอดี ข้อเสียอยู่ในคำอธิบายนั่นเอง: พอลิซี T ตัว เทรนตามลำดับ ไม่มี early stopping สำหรับเอพิโซด การหยิบจับที่ 30 เฟรมต่อวินาที T จะอยู่ในระดับหลักร้อย

SMILe จากเปเปอร์เดียวกัน และ SEARN จากงานของ Daume, Langford และ Marcu เรื่อง structured prediction เลือกเส้นทางอื่น: พอลิซีเดียวที่คงที่ (stationary) แต่เป็นแบบสุ่ม (stochastic) แต่ละรอบเทรน component หนึ่งตัวแล้วเพิ่มเข้าไปใน mixture โดยเลื่อนมวลความน่าจะเป็นออกจากผู้เชี่ยวชาญ ผลลัพธ์คือ mixture ที่บาง component แย่กว่า component อื่น - บนแขนกลจริง หมายถึงตัวควบคุมที่อาจสุ่มเลือก component ที่แย่ขึ้นมาระหว่างการเคลื่อนไหวได้ นี่คือแรงจูงใจที่ระบุไว้สำหรับการต้องการพอลิซีที่คงที่และกำหนดแน่นอน (deterministic) แทน

DAgger: หนึ่งไอเดีย หนึ่งกล่อง

Dataset Aggregation ยังคงใช้พอลิซีแบบกำหนดแน่นอนไว้ แต่ย้ายจุดแก้ไขไปไว้ที่ขั้นตอนการเก็บข้อมูลแทน แต่ละรอบ: รันพอลิซีปัจจุบัน บันทึกสถานะที่มันเข้าเยี่ยม ถามผู้เชี่ยวชาญว่าการกระทำที่ถูกต้องในแต่ละสถานะนั้นควรเป็นอะไร เพิ่มคู่ข้อมูลเหล่านั้นเข้าไปในชุดข้อมูลที่มีอยู่แล้ว แล้วเทรนใหม่บนชุดรวมทั้งหมด ชื่อของมันก็คือตัวอัลกอริทึมเองอยู่แล้ว - คุณรวมข้อมูลไปเรื่อยๆ ไม่เคยทิ้งข้อมูลเก่า

D            <- {}                      # the aggregate dataset
pi_hat_1     <- any policy in Pi

for i = 1 .. N:
    pi_i  = beta_i * expert  +  (1 - beta_i) * pi_hat_i
    roll out pi_i for T steps, record every visited state s
    D_i   = { (s, expert(s))  for every visited state s }
    D     = D  union  D_i               # aggregate, do not replace
    pi_hat_{i+1} = train on all of D

return the best pi_hat_i on a validation set

รายละเอียดสามอย่างมีน้ำหนักมากกว่าที่มันดูเป็น ป้ายกำกับนั้นสำหรับสถานะที่พอลิซีแบบผสม (mixed policy) เข้าเยี่ยม แต่การกระทำมาจากผู้เชี่ยวชาญ - พอลิซีเป็นผู้ตั้งคำถาม ผู้เชี่ยวชาญเป็นผู้ตอบ การเทรนใหม่ทำบนชุดข้อมูลรวมทั้งหมด ซึ่งทำให้แต่ละรอบเป็นสเต็ปแบบ Follow-The-Leader: ที่รอบที่ n คุณเลือกพอลิซีที่ดีที่สุดเมื่อมองย้อนกลับไปตลอดทุกวิถีที่ผ่านมา กรอบความคิดนี้แหละคือสิ่งที่ข้อพิสูจน์ทั้งหมดพึ่งพาอยู่ และอัลกอริทึมจบลงด้วยการคืนค่าพอลิซีที่ดีที่สุดในลำดับตามที่เลือกด้วยชุด validation เพราะทฤษฎีบทรับประกันเพียงว่าบาง พอลิซีในลำดับนั้นดี ไม่ใช่ว่าตัวสุดท้ายจะดี

ตารางเบตา และทำไมมันจึงไม่ใช่ปุ่มปรับแต่ง

พอลิซีแบบผสมคือ beta_i คูณผู้เชี่ยวชาญ บวกกับ หนึ่งลบ beta_i คูณตัวเรียนรู้ ประเด็นนี้เป็นเรื่องเชิงปฏิบัติ: พอลิซีที่เรียนรู้แล้วในช่วงแรกๆ ถูกเทรนด้วยข้อมูลน้อยมาก ทำผิดพลาดเยอะ และถ้าไม่มีกลไกนี้ก็จะใช้เวลาส่วนใหญ่ของการรันไปกับสถานะที่จะไม่เกี่ยวข้องอีกต่อไปเมื่อพอลิซีพัฒนาขึ้น

ทฤษฎีกำหนดเงื่อนไขไว้เพียงข้อเดียว: ค่าเฉลี่ยเคลื่อนที่ของเบตาต้องเข้าใกล้ศูนย์ การวิเคราะห์ใช้ beta_i ที่ถูกจำกัดขอบเขตด้วย (1 - alpha) ยกกำลัง i-1 โดย alpha เป็นค่าคงที่ที่ไม่ขึ้นกับ T

ช่องว่างระหว่าง 2980 และ 3030 บนสเกลที่ไปได้ถึงราว 4300 นั้นเล็กน้อย แต่คำอธิบายของเปเปอร์เกี่ยวกับเรื่องนี้คือข้อสังเกตเชิงปฏิบัติที่มีประโยชน์ที่สุดในส่วนนี้ ด้วยตารางเวลาแบบไร้พารามิเตอร์ มาริโอติดอยู่ที่จุดเดิมตั้งแต่ช่วงต้นและสร้างข้อมูลที่แทบซ้ำกันจำนวนมากจากตำแหน่งนั้นเพียงจุดเดียว การให้ผู้เชี่ยวชาญขับเป็นสัดส่วนหนึ่งของเวลาช่วยทั้งปลดล็อกให้มาริโอหลุดออกจากจุดติดขัดและขยายความหลากหลายของสถานะไปพร้อมกัน ตารางเวลานี้จึงเกี่ยวกับอัตราส่วนผสมน้อยกว่าที่มันเกี่ยวกับว่าการเก็บข้อมูลของคุณยังคงสร้างสถานะใหม่ๆ อยู่หรือสร้างความล้มเหลวแบบเดิมซ้ำๆ

การรับประกัน: การลดรูปไปสู่การเรียนรู้ออนไลน์แบบ no-regret

นี่คือจุดเปลี่ยนที่ทำให้เปเปอร์นี้เป็นสิ่งที่มันเป็น มองแต่ละรอบของ DAgger เป็นตัวอย่างหนึ่งในปัญหาการเรียนรู้ออนไลน์ โดยที่ loss ที่รอบ i คือ surrogate loss ภายใต้การกระจายตัวของสถานะของพอลิซีที่ใช้ในรอบ i ตัวเรียนรู้ต้องตัดสินใจเลือกพอลิซีก่อนที่จะเห็น loss นั้น และลำดับนี้ไม่คงที่ (non-stationary) เพราะมันขึ้นอยู่กับพอลิซีทั้งหมดที่สร้างมาก่อนหน้า

อัลกอริทึมหนึ่งเรียกว่า no-regret ถ้า loss เฉลี่ยของมันตลอด N รอบเข้าใกล้ loss ของพอลิซีตัวเดียวที่ดีที่สุดเมื่อมองย้อนกลับ Follow-The-Leader บน loss ที่เป็น strongly convex คืออัลกอริทึมแบบนั้น โดยมี regret เฉลี่ยที่หดตัวลงในระดับ 1/N - และการเทรนใหม่บนชุดข้อมูลรวมทั้งหมดก็คือ Follow-The-Leader โดยตรง ตัวเรียนรู้แบบ no-regret ตัวอื่นก็ใช้ได้ผลเช่นกัน: การวิเคราะห์นี้เป็นการลดรูป ไม่ใช่คุณสมบัติเฉพาะของ optimizer ตัวใดตัวหนึ่ง

มีเล็มมาหนึ่งข้อที่เชื่อมช่องว่างระหว่างพอลิซีแบบผสมที่ใช้เก็บข้อมูลกับพอลิซีที่เรียนรู้แล้วซึ่งจะถูกนำไปใช้งานจริง: Lemma 4.1 จำกัดขอบเขตระยะทาง L1 ระหว่างการกระจายตัวของสถานะทั้งสองไว้ที่ 2 คูณ T คูณ beta_i นี่คือเหตุผลที่เบตาต้องลดลง - ตราบใดที่ผู้เชี่ยวชาญยังถืออำนาจควบคุมอยู่มาก สถานะที่คุณเก็บมาก็ไม่ใช่สถานะที่พอลิซีของคุณจะสร้างขึ้นจริง เมื่อรวมเล็มมานี้เข้ากับขอบเขตของ regret ผลลัพธ์หลักก็ตามมา: หลังจากผ่านไปประมาณ T รอบ จะมีพอลิซีบางตัวในลำดับที่มี surrogate loss ภายใต้การกระจายตัวของตัวเองอยู่ในระยะ O(1/T) ของ epsilon_N นำสิ่งนี้ไปใส่ในขอบเขตเชิงเส้นแล้วก็จะได้ Theorem 3.2

ด้านผลการทดลองนั้นค่อนข้างเรียบง่ายเมื่อเทียบกับมาตรฐานปัจจุบัน ใน Super Tux Kart เส้นฐานแบบ supervised ไม่ได้ปรับปรุงจำนวนครั้งที่ตกเฉลี่ยต่อรอบสนามให้ดีขึ้นแม้ข้อมูลจะมากขึ้น DAgger ได้พอลิซีที่ไม่เคยตกออกนอกลู่เลยหลังจากสิบห้ารอบ ส่วน SMILe หลังจากยี่สิบรอบยังคงตกประมาณสองครั้งต่อรอบสนาม บนเบนช์มาร์กลายมือ ความแม่นยำของตัวอักษรอยู่ที่ 82 เปอร์เซ็นต์แบบไม่มีโครงสร้าง 83.6 เปอร์เซ็นต์แบบ supervised และ 85.5 เปอร์เซ็นต์ด้วย DAgger ไม่มีผลลัพธ์ใดในนี้ที่เป็นงานหยิบจับเลย

สิ่งที่ข้อพิสูจน์ไม่ได้รับประกัน

ข้อความของทฤษฎีบทเป็นเงื่อนไข และเงื่อนไขเหล่านั้นก็สำคัญมาก

มีผลลัพธ์อีกชิ้นหนึ่งที่มักถูกอ้างว่าเป็นการหักล้าง แต่จริงๆ แล้วไม่ใช่ Rajaraman, Yang, Jiao และ Ramachandran ศึกษาขีดจำกัดแบบ minimax ของการเรียนรู้เชิงเลียนแบบใน episodic MDP ที่มีพื้นที่สถานะจำกัด S และ horizon H และพิสูจน์ขอบเขตล่างของ suboptimality ในระดับ |S| คูณ H ยกกำลังสองหารด้วย N ซึ่งเป็นจริงแม้เมื่อตัวเรียนรู้สามารถถามผู้เชี่ยวชาญเชิงรุกได้ในสถานะที่เข้าเยี่ยม นั่นคืออัตราแบบ worst-case เหนือกลุ่มของ MDP ที่งบประมาณเอพิโซดคงที่ และสิ่งที่มันตัดออกไปคือแนวคิดที่ว่าการโต้ตอบช่วยปรับปรุงอัตรา minimax ได้ ทฤษฎีบทของ DAgger เป็นข้อความที่ต่างออกไป โดยจำกัดขอบเขตพอลิซีที่นำไปใช้งานจริงเทียบกับสิ่งที่คลาสพอลิซีของมันเองสามารถทำได้

Swamy, Choudhury, Bagnell และ Wu ต่อมาได้จัดหมวดหมู่อัลกอริทึมเหล่านี้ตามว่าโมเมนต์ใดของพฤติกรรมผู้เชี่ยวชาญที่พวกมันจับคู่ได้ และนำเสนอแนวคิดเรื่อง moment recoverability ที่บ่งชี้ว่าแต่ละตระกูลอัลกอริทึมบรรเทาข้อผิดพลาดสะสมได้ดีเพียงใด บทสำรวจของ Osa และของ Celemin ครอบคลุมภาพรวมของอัลกอริทึมและอินเทอร์เฟซการป้อนกลับจากมนุษย์

บิลที่ต้องจ่าย: การติดป้ายกำกับสถานะที่ผู้เชี่ยวชาญไม่เคยสร้างขึ้นมาเอง

ทุกอย่างข้างต้นสมมติว่ามีผู้เชี่ยวชาญที่สามารถถามได้ทุกที่ ในการจำลอง (simulation) ที่ใช้ planner ซึ่งแทบไม่มีต้นทุน - การทดลองกับมาริโอใช้ planner ที่ใกล้เคียงเหมาะสมที่สุดซึ่งเข้าถึงสถานะของเกมได้เต็มที่ แต่เมื่อมีมนุษย์อยู่บนหุ่นยนต์ มันคือต้นทุนหลัก และเป็นต้นทุนที่แปลกประหลาด: มนุษย์ต้องสร้างการกระทำที่ถูกต้องในสถานการณ์ที่ความสามารถของตัวเองไม่มีวันสร้างขึ้นมาได้เลย

Kelly, Sidrane, Driggs-Campbell และ Kochenderfer ระบุข้อคัดค้านนี้โดยตรงในเปเปอร์ HG-DAgger DAgger แบบดั้งเดิมต้องการให้ผู้เชี่ยวชาญป้อนป้ายกำกับการกระทำในขณะที่ไม่ได้ควบคุมระบบอย่างเต็มที่ สิ่งนี้ลดความปลอดภัยลง และสำหรับผู้เชี่ยวชาญที่เป็นมนุษย์ มีแนวโน้มที่จะทำให้คุณภาพของป้ายกำกับที่เก็บมาลดลง ซึ่งพวกเขาให้เหตุผลว่าเกิดจาก actuator lag ที่รับรู้ได้ ป้ายกำกับที่คุณได้กลับมาจึงไม่ใช่ป้ายกำกับที่อัลกอริทึมสันนิษฐานไว้

Laskey และคณะเข้าจัดการปัญหานี้จากอีกด้านหนึ่งด้วย DART และกรอบความคิดของพวกเขาก็ตรงไปตรงมา: เทคนิคแบบ on-policy น่าเบื่อหน่ายสำหรับผู้ควบคุมที่เป็นมนุษย์ เพิ่มภาระการคำนวณ และอาจพาไปสู่สถานะที่อันตรายระหว่างการเทรนได้ ทางเลือกของพวกเขาคือฉีดสัญญาณรบกวนที่ถูกปรับเทียบแล้วเข้าไปในการสาธิตของผู้ควบคุมเอง เพื่อให้การกู้คืนสถานการณ์ถูกสาธิตโดยที่หุ่นยนต์ไม่เคยต้องรันพอลิซีที่ยังไม่น่าเชื่อถือเลย บน MuJoCo Humanoid พวกเขารายงานว่า DART ทำให้ cumulative reward ของผู้ควบคุมลดลง 5 เปอร์เซ็นต์ระหว่างการเทรน ในขณะที่ DAgger รันพอลิซีที่มี cumulative reward ต่ำกว่าผู้ควบคุมถึง 80 เปอร์เซ็นต์ ส่วนงานหยิบจับท่ามกลางสิ่งของระเกะระกะด้วย Toyota HSR ได้ผลดีขึ้นเฉลี่ย 62 เปอร์เซ็นต์เมื่อเทียบกับ behavior cloning

SafeDAgger ของ Zhang และ Cho มองว่าคำถามที่ถามไปยัง reference policy เป็นทรัพยากรที่หายาก: safety policy แยกต่างหากจะทำนายโดยไม่ต้องถาม ว่าพอลิซีหลักกำลังจะเบี่ยงเบนออกจาก reference เกินขีดจำกัดหรือไม่ และมีเพียงสถานะเหล่านั้นเท่านั้นที่จะถูกส่งต่อให้ผู้เชี่ยวชาญ ทั้งสามแนวทางล้วนตอบสนองต่อข้อเท็จจริงเดียวกัน - การวิเคราะห์ของ DAgger ไม่คิดต้นทุนใดๆ สำหรับป้ายกำกับจากผู้เชี่ยวชาญเลย ในขณะที่ความเป็นจริงคิดต้นทุนมหาศาล

สิ่งนี้หมายความว่าอย่างไรสำหรับ SO-100 บนโต๊ะของคุณ

แปลงค่า horizon ให้เป็นหน่วยของคุณเอง เอพิโซดยี่สิบวินาทีที่ 30 เฟรมต่อวินาทีคือ 600 สเต็ปการตัดสินใจ และ T ในทุกขอบเขตด้านบนก็คือตัวเลขนี้ ที่ T = 600 ความแตกต่างระหว่างพจน์ที่สเกลตาม T กับพจน์ที่สเกลตาม T ยกกำลังสอง คือความแตกต่างระหว่างพอลิซีที่กู้คืนได้จากการเข้าใกล้ที่ผิดพลาด กับพอลิซีที่กู้คืนไม่ได้

นี่คือส่วนหนึ่งของเหตุผลที่ action chunking ช่วยได้: เมื่อพอลิซีปล่อยลำดับการกระทำสั้นๆ ออกมาต่อหนึ่ง inference step จำนวนจุดตัดสินใจก็ลดลง และจำนวนโอกาสที่จะสะสมข้อผิดพลาดก็ลดลงตามไปด้วย Zhao, Kumar, Levine และ Finn ระบุข้อผิดพลาดสะสมเป็นแรงจูงใจของ Action Chunking with Transformers และรายงานอัตราความสำเร็จ 80 ถึง 90 เปอร์เซ็นต์บนงานจริงที่ยากหกงาน บนฮาร์ดแวร์สองแขนราคาประหยัด จากการสาธิตเพียงสิบนาที Chunking ไม่ได้ขจัด covariate shift ออกไป - สถานะเหล่านั้นยังคงเป็นของพอลิซีเองอยู่ดี - แต่มันย่น horizon ที่มีผลจริงให้สั้นลง ดูaction chunking และคู่มือการเรียนรู้เชิงเลียนแบบสำหรับ SO-100.

การแปลความหมายที่สองคือตัวชี้วัดความก้าวหน้า คุณไม่สามารถวัด epsilon ภายใต้การกระจายตัวของพอลิซีเองได้โดยตรง - นั่นต้องการการกระทำจริงจากผู้เชี่ยวชาญ (ground truth) สำหรับทุกสถานะที่เข้าเยี่ยม ซึ่งเป็นสิ่งที่คุณพยายามจะหลีกเลี่ยงไม่ให้ต้องสร้างขึ้นมาตั้งแต่แรก สิ่งที่ลูปแบบมนุษย์ควบคุมประตูให้คุณแทนคืออัตราการเข้าแทรกแซง: สัดส่วนของเฟรมในการรันหนึ่งครั้งที่มนุษย์เข้าควบคุมแทน มันเป็นตัวแทน (proxy) และมันเปลี่ยนแปลงได้ด้วยเหตุผลที่ไม่เกี่ยวกับตัวพอลิซีเลย - ผู้ควบคุมที่ใจเย็นจะเข้าแทรกแซงน้อยกว่า หากใช้อย่างสม่ำเสมอ มันคือตัวเลขเดียวที่บอกได้ว่ารอบนั้นคุ้มค่ากับเวลาที่เสียไปหรือไม่

การแปลความหมายที่สามคือคำเตือนเรื่องคุณภาพข้อมูลที่การวิเคราะห์นี้ไม่ได้ครอบคลุมไว้ Mandlekar และคณะศึกษาอัลกอริทึม offline learning หกตัวบนงานหยิบจับหลายขั้นตอนห้าตัวในสภาพจำลองและสามตัวในโลกจริง และรายงานว่ามีความอ่อนไหวต่อทางเลือกในการออกแบบอัลกอริทึม ขึ้นอยู่กับคุณภาพของการสาธิต และมีความแปรปรวนที่เกิดจากเกณฑ์การหยุด Belkhale, Cui และ Sadigh โต้แย้งว่าคุณภาพของชุดข้อมูลควรถูกจัดรูปแบบอย่างเป็นทางการผ่าน action divergence และ transition diversity และตั้งข้อสังเกตว่าความหลากหลายของสถานะไม่ได้เป็นประโยชน์เสมอไป รอบหนึ่งของ DAgger เพิ่มสถานะที่ไม่มีใครเลือกโดยตั้งใจ: บางส่วนคือข้อมูลกู้คืนสถานการณ์ที่คุณต้องการ บางส่วนคือหุ่นยนต์ที่ดิ้นรนสับสนในขณะที่คุณกำลังคลำหาปุ่มเข้าควบคุม

ในทางกลไก หนึ่งรอบประกอบด้วยหกขั้นตอน: รัน inference พร้อมเปิดการบันทึกไว้ เข้าควบคุมเมื่อพอลิซีทำงานผิดปกติ ตรวจสอบการรันแล้วจัดเก็บแต่ละเอพิโซด ซิงค์การแก้ไข ประกอบชุดข้อมูลแบบผสมจากข้อมูลต้นฉบับบวกกับการแก้ไข โดยเลือกเอพิโซดอย่างชัดเจนตามแหล่งที่มาแต่ละแหล่ง และเทรนต่อจากcheckpoint ก่อนหน้า แทนที่จะเริ่มจากโมเดลฐาน บน ay-robots ขั้นตอนเหล่านี้มีอยู่ในรูปของปุ่มกด ซึ่งช่วยตัดงานเชิงระบบออกไป แต่ไม่ได้ตัดเรื่องการตัดสินใจออกไปด้วย มีข้อควรระวังสองอย่าง: การเทรนต่อจาก checkpoint เป็นเพียงการตั้งค่าน้ำหนักเริ่มต้น ไม่ใช่การ resume optimizer และการจัดตำแหน่ง leader-arm ก็ยังผ่านการทดสอบบนฮาร์ดแวร์เพียงเบาบาง ดูการเทรน และชุดข้อมูล.

แผนภูมิตระกูล ในตารางเดียว

คำถามที่พบบ่อย

จะไปต่อจากตรงนี้อย่างไร

ถ้าคุณยังไม่ได้เทรนพอลิซีเลย ทฤษฎีนี้ยังเร็วเกินไปสำหรับคุณ: ให้บันทึกชุดข้อมูลก่อน โดยเริ่มจาก การเทรนพอลิซีตัวแรกของคุณ และ Desktop Client. หากคุณกำลังชั่งใจระหว่างการสาธิตที่สะอาดอีกร้อยครั้งกับการเริ่มเก็บการแก้ไข: การสาธิตที่สะอาดไม่ได้แก้ปัญหาเรื่องการกระจายตัว สำหรับรายละเอียดเชิงกลไก ให้ต่อด้วย ตัวแปรแบบมนุษย์ควบคุมประตู แล้วจึงตาม คู่มือ SO-100 แบบทีละขั้นตอน.