การวัดผลลูป DAgger: อัตราการแทรกแซง โพรโทคอลการประเมิน และกับดักระหว่างทาง

รอบ DAgger รอบหนึ่งให้ความรู้สึกว่ามีความคืบหน้าในขณะที่คุณกำลังทำมันอยู่ คุณขับโพลิซี เข้าควบคุมเมื่อมันทำท่าจับพลาด บันทึกข้อมูลแก้ไข ฝึกใหม่ แล้วการรันครั้งถัดไปก็ดูเหมือน - คุณกล้าสาบานได้เลย - ราบรื่นขึ้นนิดหน่อย สองรอบผ่านไปคุณกลับบอกไม่ได้ว่ามีอะไรเปลี่ยนแปลงจริงหรือไม่ เพราะ "ราบรื่นขึ้นนิดหน่อย" ไม่ใช่ปริมาณที่วัดได้

ลูปนี้ต้องการตัวเลขหนึ่งค่าต่อหนึ่งรอบ และในลูปแบบมีมนุษย์คอยกำกับ ตัวเลขนั้นแทบไม่มีต้นทุนเลย: สัดส่วนของการรันที่คุณเป็นผู้ควบคุมแทนที่จะเป็นโพลิซี บทความนี้นิยามค่านี้ให้คนสองคนคำนวณได้ค่าเดียวกัน บันทึกค่า อ่านกราฟที่ได้ และไล่เรียงสี่วิธีที่มันจะทำให้เข้าใจผิดหากใช้เพียงลำพัง สำหรับทฤษฎีที่บทความนี้อ้างอิงถึง ดูที่ คำอธิบาย DAgger และ รูปแบบที่มีมนุษย์คอยกำกับ; ส่วนคู่มือปฏิบัติจริงคือ การรันลูป DAgger บน SO-100.

ทำไมแต่ละรอบจึงต้องมีตัวเลขกำกับ

DAgger เกิดขึ้นเพราะปัญหาการกระจายของข้อมูล (distribution problem) และปัญหาแบบนี้มองด้วยตาเปล่าไม่เห็น Ross และ Bagnell แสดงให้เห็นว่า การเรียนรู้เลียนแบบ (imitation learning) บนชุดสาธิตที่ตายตัวนำไปสู่ความผิดพลาดที่สะสมพอกพูนและขอบเขตของ regret ที่เพิ่มขึ้นแบบกำลังสองตามช่วงเวลา เมื่อตัวเรียนรู้หลุดออกจากสเตตที่ผู้สาธิตเคยไปถึง ก็ไม่มีอะไรในข้อมูลบอกได้ว่าจะกลับมาอย่างไร DAgger แก้ปัญหานี้ด้วยการวนซ้ำ - รันโพลิซี ติดป้ายกำกับสเตตที่มันไปถึง รวมข้อมูล แล้วฝึกใหม่ - ซึ่ง Ross, Gordon และ Bagnell จัดกรอบให้เป็นการลดรูปไปเป็นการเรียนรู้ออนไลน์แบบไม่มี regret (no-regret online learning)

การจัดกรอบแบบนี้มีข้อสรุปที่คนมักมองข้าม การรับประกันนั้นพูดถึงลำดับของโพลิซีตลอดการวนซ้ำ ไม่ใช่การรันครั้งใดครั้งหนึ่ง มันไม่ได้บอกอะไรเลยว่า ของคุณ รอบที่สามช่วยได้จริงหรือไม่ วิธีเดียวที่จะรู้ได้คือการวัดผลทุกรอบการวนซ้ำ Kelly และคณะเสนอ HG-DAgger ขึ้นมาเพราะ DAgger แบบดั้งเดิมขอให้ผู้เชี่ยวชาญติดป้ายกำกับแอ็กชันในขณะที่ผู้เรียนยังควบคุมอยู่ ซึ่งบทความชี้ว่าอาจลดความปลอดภัยลง และเมื่อใช้ผู้เชี่ยวชาญที่เป็นมนุษย์ ก็มีแนวโน้มที่จะทำให้คุณภาพของป้ายกำกับแย่ลงเพราะการรับรู้ความหน่วงของแอกชูเอเตอร์ (actuator lag) ที่คลาดเคลื่อน HG-DAgger ยังเรียนรู้เกณฑ์ความปลอดภัยสำหรับตัวชี้วัดความเสี่ยงที่อิงความไม่แน่นอนของโมเดล และรายงานว่าให้ประสิทธิภาพดีกว่าทั้ง DAgger และ behavioral cloning ในงานขับรถ บทความไม่ได้เผยแพร่ตัวเลขการแทรกแซง ตัวเลขนั้นคุณต้องสร้างขึ้นเอง

นิยามอัตรานี้ให้คนสองคนได้ตัวเลขเดียวกัน

นิยามมีอยู่บรรทัดเดียว: จำนวนเฟรมที่แทรกแซงหารด้วยจำนวนเฟรมของการรัน ความยากทั้งหมดซ่อนอยู่ในคำถามว่าอะไรนับเป็น "เฟรม" และอะไรนับเป็น "การรัน"

นับเป็นเฟรม ไม่ใช่เอพิโซด

การนับเอพิโซดที่มีการแทรกแซงอย่างน้อยหนึ่งครั้งนั้นไม่มีประโยชน์: สิบเอพิโซดที่มีการสะกิดเบา ๆ ครั้งเดียว กับสิบเอพิโซดที่คุณขับเองแปดสิบเปอร์เซ็นต์ ต่างก็ได้ค่า "10/10" เหมือนกัน การนับเป็นเฟรมจะแยกทั้งสองกรณีออกจากกันได้ และนี่คือระดับความละเอียดที่การบันทึกมีอยู่แล้ว - ในรูปแบบชุดข้อมูลของ LeRobot ทุกช่วงเวลา (timestep) คือหนึ่งแถว ดังนั้นแฟล็กการแทรกแซงจึงเป็นคอลัมน์บูลีนหนึ่งคอลัมน์ที่อยู่ข้าง state และ action ในที่นี้ค่านี้จะถูกเขียนต่อเฟรมทันทีที่เริ่มเข้าควบคุม และล้างค่าเมื่อคืนการควบคุมกลับ

ตัวหารรวมส่วนที่เป็นการแก้ไขด้วย

ตัวหารที่สมเหตุสมผลมีอยู่สองแบบ - จำนวนเฟรมทั้งหมดของการรัน หรือจำนวนเฟรมที่โพลิซีขับเองโดยอิสระ - และทั้งสองแบบจะเบี่ยงเบนออกจากกันมากเมื่อระดับการแทรกแซงสูง หากเข้าควบคุม 400 จาก 1000 เฟรม แบบแรกจะได้ 40 เปอร์เซ็นต์ ส่วนแบบที่สองจะได้ 67 เปอร์เซ็นต์ การเปรียบเทียบรอบหนึ่งที่วัดด้วยวิธีแรกกับอีกรอบที่วัดด้วยวิธีที่สองคือวิธีที่ทำให้การพัฒนาที่แท้จริงหายไปจากสายตา ให้ใช้จำนวนเฟรมทั้งหมดเสมอ และอย่าเปลี่ยนวิธีเลือกกลางคันในชุดการวัดผล

ตัดสินใจไว้ล่วงหน้าครั้งเดียวว่าจะจัดการเฟรมช่วงส่งต่อการควบคุม (handover) อย่างไร

จะมีรอยต่อเสมอ เมื่อการควบคุมถูกส่งต่อ บางเฟรมไม่ได้เป็นของฝ่ายใดฝ่ายหนึ่งเลย: แขนถูกยึดค้างไว้ ลีดเดอร์อาร์มกำลังปรับตำแหน่งให้ตรงกัน การบันทึกหยุดนิ่ง ในไปป์ไลน์นี้ เฟรมช่วงส่งต่อเหล่านั้นจะยังอยู่ในสตรีมข้อมูลดิบ และไม่ถูกนำเข้าสู่เอพิโซดที่ผ่านการคัดกรองแล้ว เพราะมันไม่ใช่ทั้งพฤติกรรมของโพลิซีและไม่ใช่การแก้ไขที่ควรนำไปฝึก ให้นับรอยต่อด้วยวิธีเดียวกันทุกรอบ: ที่ 30 Hz การเข้าควบคุมหกครั้ง โดยแต่ละครั้งมีรอยต่อสองวินาที คิดเป็น 360 เฟรม ซึ่งมากพอที่จะขยับตัวเลขไปหนึ่งเปอร์เซ็นต์

บันทึกค่าไว้ให้ตัวเลขอยู่รอดแม้เซสชันจะจบลง

ตัวชี้วัดที่แสดงอยู่บนแผงสถานะของโพรเซสที่กำลังรันอยู่นั้นเป็นเพียงค่าที่อ่านได้ชั่วคราว: มันจะหายไปเมื่อรีสตาร์ท และนำไปพล็อตกราฟไม่ได้ การบันทึกหนึ่งบรรทัดแบบต่อท้ายอย่างเดียว (append-only) ต่อการรันหนึ่งครั้งจะครอบคลุมทั้งชุดข้อมูล - รวมถึงว่า เช็คพอยต์ไหนที่คุณขับ เพราะสิ่งนี้เปลี่ยนไปทุกรอบ และการสับสนระหว่างเช็คพอยต์จะทำให้ผลลัพธ์ที่ตามมาทั้งหมดใช้ไม่ได้

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

มีสองฟิลด์ที่สำคัญที่สุด train_mix คือข้อมูลที่คุณป้อนให้งานฝึกครั้งถัดไป หากไม่มีฟิลด์นี้ก็ไม่สามารถระบุที่มาของผลลัพธ์ได้เลย eval_protocol ระบุชื่อของชุดทดสอบที่ตายตัวซึ่งคุณรันในภายหลัง และเป็นฟิลด์ที่มักถูกปล่อยว่างมากที่สุด ในค็อกพิตของ ay-robots สถานะการเข้าควบคุม (takeover) จะรายงานจำนวนเฟรมที่แทรกแซงของเซสชันที่กำลังรันอยู่ ดังนั้นการบันทึกจึงเป็นเพียงการคัดลอกตัวเลข ไม่ใช่การวัดผลใหม่; เอกสารประกอบชุดข้อมูลอธิบายว่าคอลัมน์ระดับเฟรมเหล่านั้นไปอยู่ที่ไหน

การอ่านกราฟ: สามรอบ หนึ่งบทสรุป

สามรอบคือขั้นต่ำที่จะอ่านผลได้ เพราะจุดสองจุดจะเป็นเส้นตรงเสมอ ตารางด้านล่างเป็นแม่แบบสำหรับบันทึกข้อมูลพร้อมตัวเลขตัวอย่าง ไม่ใช่ผลวัดจากการรันจริงใด ๆ สิ่งที่ต้องมองหาคือการลดลงอย่างต่อเนื่อง (monotone) ที่สอดคล้องกับอัตราความสำเร็จที่เพิ่มขึ้นในชุดทดสอบที่ตายตัว

รอบที่หนึ่งและสองได้ผลจริง ส่วนรอบที่สามไม่ได้ผล: 11.3 เทียบกับ 11.1 เปอร์เซ็นต์นั้นอยู่ในช่วงความแปรปรวนปกติระหว่างการรันของสิ่งใดก็ตามที่วัดบนแขนกลจริง และรอบที่สี่ที่ทำการแก้ไขแบบเดิมซ้ำอีกก็จะเสียเวลาไปทั้งบ่ายโดยเปล่าประโยชน์ ช่วงที่ราบเรียบแบบนี้บอกว่าต้องเปลี่ยนอะไรบางอย่างในเชิงโครงสร้าง

• ความล้มเหลวที่เหลืออยู่ไม่สามารถแก้ไขได้ด้วยการควบคุมระยะไกล (teleoperation) - วัตถุอยู่นอกระยะเอื้อม รูปทรงของกริปเปอร์ หรือข้อต่อที่ติดขอบเขตการเคลื่อนที่ ไม่มีข้อมูลแก้ไขใดที่จะทะลุกำแพงทางจลนศาสตร์ (kinematic wall) นี้ได้
• ข้อมูลแก้ไขมีน้อยเกินไปเมื่อเทียบกับชุดข้อมูลตั้งต้น จนไม่พอที่จะขยับเกรเดียนต์ และไม่มีอะไรถ่วงน้ำหนักให้มันมีผลมากขึ้น
• ข้อมูลแก้ไขขัดแย้งกันเอง ทำให้โพลิซีเฉลี่ยกลยุทธ์สองแบบเข้าด้วยกันและลงเอยอยู่ตรงกลางระหว่างทั้งสอง
• ความล้มเหลวเกิดขึ้นตั้งแต่ต้นทาง: กล้องขยับตำแหน่ง แสงเปลี่ยนไป มุมมองจากกล้องข้อมือไม่ตรงกับตอนฝึกอีกต่อไป
• งานนี้ไปถึงเพดานของโพลิซีคลาสนี้บนฮาร์ดแวร์ชุดนี้แล้ว และขั้นต่อไปคือการเพิ่มข้อมูลตั้งต้นให้มากขึ้น

สองข้อสุดท้ายไม่ใช่ความล้มเหลวของลูป ใน Sirius-Fleet ความต้องการมนุษย์ที่ลดลงคือผลลัพธ์ที่ถูกออกแบบไว้ตั้งแต่ต้น: เมื่อความสามารถอิสระของหุ่นยนต์ดีขึ้น ตัวทำนายความผิดปกติ (anomaly predictors) ของมันจะปรับเกณฑ์การทำนาย ส่งผลให้มีการขอความช่วยเหลือจากมนุษย์น้อยลงและลดภาระงานของมนุษย์ลงเรื่อย ๆ ตามเวลา ในกรณีนั้นเกณฑ์ถูกปรับโดยตั้งใจ แต่ในลูปแบบแมนวล เกณฑ์ของคุณก็ปรับเปลี่ยนเช่นกัน เพียงแต่เงียบกริบ - ดังนั้นอัตราที่ราบเรียบเพราะงานถึงเพดานแล้ว จะมีหน้าตาเหมือนกันเป๊ะกับอัตราที่ราบเรียบเพราะผู้ควบคุมเลิกสังเกตเห็นปัญหา ซึ่งเป็นประเด็นถัดไป

กับดักที่ 1: อัตราที่ลดลงไม่ใช่อัตราความสำเร็จที่เพิ่มขึ้น

อัตราการแทรกแซงวัดเพียงสิ่งเดียวเท่านั้น: คุณเลือกที่จะควบคุมส่วนไหนของการรันมากแค่ไหน การตัดสินใจนั้นเป็นของคุณ เกิดขึ้นแบบเรียลไทม์ และมันเปลี่ยนแปลงได้ ในรอบที่ศูนย์คุณเข้าควบคุมตั้งแต่มุมเข้าใกล้ที่ไม่ดีครั้งแรก แต่พอถึงรอบที่สามคุณเห็นโพลิซีกู้สถานการณ์แบบนี้มาแล้วนับสิบครั้ง คุณจึงปล่อยให้มันลองเอง เกณฑ์ของคุณเปลี่ยนไป ส่วนโพลิซีอาจไม่ได้เปลี่ยนตามเลย แต่อัตรานี้จะลดลงไม่ว่ากรณีใดก็ตาม

ความไว้วางใจของมนุษย์ในงานวิจัยอย่างน้อยก็ถูกจำลองเป็นปริมาณที่วัดได้ ไม่ใช่ค่าคงที่ที่สมมติขึ้นเฉย ๆ Sirius ถ่วงน้ำหนักตัวอย่างการฝึกใหม่ด้วยค่าประมาณความไว้วางใจของมนุษย์ และปรับโพลิซีให้เหมาะสมด้วย weighted behavioral cloning โดยรายงานว่าเพิ่มอัตราความสำเร็จของโพลิซีขึ้น 8 เปอร์เซ็นต์ในซิมูเลชันและ 27 เปอร์เซ็นต์บนฮาร์ดแวร์จริง เมื่อเทียบกับวิธีที่ดีที่สุดเดิม และมีความเร็วในการลู่เข้า (convergence) เร็วขึ้นสองเท่า นั่นคือการปฏิบัติต่อความไว้วางใจเป็นน้ำหนักของข้อมูล แต่มันไม่ได้แก้ไขเกณฑ์ที่อยู่ในหัวของคุณระหว่างรอบที่ศูนย์กับรอบที่สาม

คุณไม่สามารถกำจัดความเลื่อนไหลนี้ได้ ดังนั้นให้จับคู่อัตรานี้กับสิ่งที่เกณฑ์ในหัวคุณแตะต้องไม่ได้: ชุดการทดลองที่ตายตัวซึ่งคุณไม่เข้าแทรกแซงเลย แล้วให้คะแนนตามเกณฑ์ที่เขียนไว้ก่อนเริ่มรอบ อัตราที่ลดลงในขณะที่อัตราความสำเร็จคู่กันยังคงที่คือลายเซ็นของการเคยชิน (habituation) - เป็นสิ่งที่ควรจับให้ได้ เพราะจากมุมมองภายในลูป มันให้ความรู้สึกเหมือนกำลังพัฒนา

กับดักที่ 2: หากไม่มีโพรโทคอลที่ตายตัว สิ่งที่คุณวัดคือสภาพห้อง

การประเมินบนหุ่นยนต์จริงมีต้นทุนสูงและทำซ้ำได้ยาก ผู้เขียน SIMPLER ให้เหตุผลสนับสนุนการประเมินในซิมูเลชันด้วยข้อสังเกตว่าการประเมินโพลิซีเหล่านี้บนโลกจริงไม่สามารถขยายขนาดได้ และเผชิญความท้าทายด้านการทำซ้ำผลที่น่าจะยิ่งแย่ลงเมื่อโพลิซีขยายขอบเขตงานให้กว้างขึ้น ส่วน RoboArena โจมตีปัญหานี้จากอีกด้านหนึ่ง ด้วยเอพิโซดการประเมินแบบเทียบคู่บนหุ่นยนต์จริงมากกว่า 600 เอพิโซด ครอบคลุมโพลิซีทั่วไป (generalist policies) เจ็ดตัว รันโดยผู้ประเมินจากสถาบันการศึกษาเจ็ดแห่งบนแพลตฟอร์ม DROID ผู้ประเมินของ RoboArena เลือกงานและสภาพแวดล้อมของตนเอง แต่ต้องตัดสินคู่ของโพลิซีแบบดับเบิลบลายด์ (double-blind) บทความรายงานว่าการจัดอันดับแบบระดมทุนจากหลายแหล่ง (crowd-sourced) นี้สะท้อนประสิทธิภาพของโพลิซีทั่วไปได้แม่นยำกว่าการประเมินแบบรวมศูนย์ตามแบบแผนเดิม

คุณจะไม่มีทางรันเอพิโซดแบบเทียบคู่ถึง 600 ครั้งบน SO-100 เครื่องเดียวในเวิร์กช็อป สิ่งที่คุณทำได้คือกำจัดความแปรปรวนส่วนที่คุณควบคุมได้ - เป็นรายการที่น่าเบื่อพอที่มักจะถูกข้ามไป

จากนั้นก็มาถึงเลขคณิตที่ไม่ปรานีใครเลยที่จำนวนครั้งทดลองซึ่งเวิร์กช็อปหนึ่งพอจะทำไหว ภายใต้การประมาณแบบปกติ (normal approximation) อัตราสำเร็จ 60 เปอร์เซ็นต์จาก 20 ครั้งทดลองมีค่าความคลาดเคลื่อนมาตรฐาน (standard error) ประมาณ 11 จุดเปอร์เซ็นต์ - รากที่สองของ 0.6 คูณ 0.4 หารด้วย 20 - และผลต่างระหว่างสองรอบแบบนี้จะมีค่าประมาณ 15 จุด การกระโดดจาก 60 เป็น 70 เปอร์เซ็นต์จึงยังสอดคล้องกับกรณีที่ไม่มีอะไรเปลี่ยนแปลงเลยก็ได้ การทดลอง 50 ครั้งจะลดตัวเลขนี้ลงเหลือประมาณ 7 จุดต่อรอบ แต่ต้องแลกด้วยเวลาทั้งบ่าย

ความไม่สมมาตรนี้แหละคือเหตุผลที่สนับสนุนอัตราการแทรกแซง: เพราะคำนวณจากเฟรมนับพัน แทนที่จะเป็นผลลัพธ์แบบทวิภาค (binary) เพียงยี่สิบครั้ง มันจึงขยับตัวเร็วกว่าและราบรื่นกว่า ข้อควรระวังคือเฟรมภายในเอพิโซดเดียวกันมีความสัมพันธ์กันสูงมาก - การจับที่พลาดครั้งเดียวอาจให้เฟรมแทรกแซงต่อเนื่องกันเป็นร้อยเฟรม - ดังนั้นขนาดตัวอย่างที่มีผลจริง (effective sample size) จึงใกล้เคียงกับจำนวนครั้งที่เข้าควบคุมมากกว่า ให้ถืออัตรานี้เป็นตัวบ่งชี้เบื้องต้น ส่วนอัตราความสำเร็จเป็นความจริงพื้นฐานที่ช้ากว่า (slow ground truth)

กับดักที่ 3: การฝึกด้วยเฉพาะข้อมูลแก้ไขจะบิดเบือนโพลิซี

ข้อมูลแก้ไขคือข้อมูลที่น่าสนใจที่สุด สัญชาตญาณจึงบอกให้เอามันไปฝึก อย่าทำแบบนั้น เพราะโดยธรรมชาติแล้วข้อมูลแก้ไขมาจากช่วงแคบ ๆ ของสเตตที่โพลิซีล้มเหลวอยู่แล้วเท่านั้น และแทบไม่บอกอะไรเลยเกี่ยวกับส่วนใหญ่ของการรันที่ทำงานได้ดี ถ้าไฟน์จูนด้วยช่วงแคบนั้นอย่างเดียว คุณจะได้โพลิซีที่เก่งเรื่องกู้สถานการณ์จากการเข้าใกล้ที่พังไปแล้ว แต่กลับลืมวิธีเข้าใกล้อย่างสะอาดไปเสียแล้ว

Mandlekar และคณะสร้างระบบการแทรกแซงระยะไกลของพวกเขาโดยยึดหลักการนี้เป็นแกนกลาง กรอบความคิดของพวกเขาคือ: งานด้านการหยิบจับมีบริเวณคอขวด (bottleneck) ที่ต้องใช้ลำดับแอ็กชันที่แม่นยำ - ตัวอย่างของพวกเขาคือการใส่แคปซูลกาแฟลงในเครื่องชงกาแฟ - ซึ่งความเบี่ยงเบนเพียงเล็กน้อยจะนำไปสู่สเตตที่ข้อมูลสาธิตไม่เคยครอบคลุมถึง อัลกอริทึมของพวกเขาฝึกด้วยข้อมูลใหม่แบบวนซ้ำ เพื่อให้โพลิซีเรียนรู้ที่จะผ่านคอขวดเหล่านั้นได้ และรายงานว่าเอเจนต์ที่ฝึกด้วยข้อมูลการแทรกแซงเอาชนะเอเจนต์ที่ฝึกด้วยตัวอย่างจำนวนเท่ากันจากผู้สาธิตที่ไม่มีการแทรกแซง

อัตราส่วนผสมคือไฮเปอร์พารามิเตอร์ตัวหนึ่ง และสมควรถูกจดบันทึกไว้ การประกอบชุดข้อมูลถัดไปคือจุดที่ตัดสินใจเรื่องนี้: ข้อมูลสาธิตดั้งเดิมบวกกับชุดข้อมูลแก้ไข โดยเลือกเอพิโซดตามแหล่งที่มาอย่างชัดเจน แทนที่จะใช้กฎที่ดึงข้อมูลที่มีอยู่มาแบบเงียบ ๆ ในที่นี้คือขั้นตอนการคอมโพสหนึ่งขั้นตอนในค็อกพิต และผลลัพธ์ที่ได้ก็เป็นชุดข้อมูลธรรมดาชุดหนึ่ง - ดูเอกสารประกอบการฝึกสิ่งที่ไม่มีเครื่องมือใดทำให้คุณคือการบันทึกว่าอัตราส่วนใดให้กราฟแบบไหน

กับดักที่ 4: มนุษย์ไม่ใช่ผู้เชี่ยวชาญที่สม่ำเสมอ

ทฤษฎีของ DAgger สมมติว่ามีผู้เชี่ยวชาญอยู่ แต่ตัวคุณไม่ใช่ผู้เชี่ยวชาญในความหมายทางเทคนิค: การแก้ไขของคุณไม่ใช่ตัวอย่างจากการกระจายเงื่อนไข (conditional distribution) ของแอ็กชันที่ตายตัว ผู้เขียน ACT ระบุถึงเรื่องนี้เมื่อกล่าวถึงอุปสรรคของการหยิบจับแบบละเอียด - ความผิดพลาดสะสมพอกพูนตามเวลา และข้อมูลสาธิตจากมนุษย์อาจไม่นิ่ง (non-stationary) ระบบของพวกเขายังคงทำสำเร็จได้ 80 ถึง 90 เปอร์เซ็นต์ในหกงานจริงจากข้อมูลสาธิตเพียงสิบนาที ปัญหานี้จึงจัดการได้ ไม่ใช่ว่าไม่มีอยู่จริง

งานศึกษา robomimic ชี้ประเด็นนี้จากฝั่งข้อมูล จากอัลกอริทึมแบบออฟไลน์หกแบบบนงานหลายขั้นตอนห้างานในซิมูเลชันและสามงานในโลกจริง บทเรียนที่ได้รวมถึงความไวต่อทางเลือกในการออกแบบ การพึ่งพาคุณภาพของข้อมูลสาธิต และ - ข้อที่เจ็บปวดที่สุดในบริบทนี้ - ความแปรปรวนที่เกิดจากเกณฑ์การหยุดฝึก เพราะเป้าหมายของการฝึกและการประเมินผลนั้นต่างกัน เช็คพอยต์ที่มี loss ต่ำที่สุดไม่ได้เป็นตัวที่มีอัตราความสำเร็จสูงที่สุดเสมอไป

เรื่องนี้มีเวอร์ชันฮาร์ดแวร์ด้วยเช่นกัน: โหมดการป้อนข้อมูลเป็นตัวกำหนดรูปแบบของการแก้ไข การตั้งค่าแบบ ลีดเดอร์-ฟอลโลเวอร์ (leader-follower) ให้วิถีการเคลื่อนที่ที่ต่อเนื่องและเป็นไปตามจังหวะของมนุษย์ ส่วนการสะกิดผ่านคีย์บอร์ดถูกจำกัดขอบเขตอย่างเข้มงวดโดยเซิร์ฟเวอร์ - สององศาต่อการเรียกหนึ่งครั้งสำหรับข้อต่อแขน สี่องศาสำหรับกริปเปอร์ - ดังนั้นเจตนาเดียวกันจึงมาถึงในรูปแบบขั้นบันไดของก้าวเล็ก ๆ ส่วนสไลเดอร์จะส่งเป้าหมายแบบสัมบูรณ์ และเซิร์ฟเวอร์จะเคลื่อนเข้าหาเป้าหมายนั้นได้มากที่สุดหกองศาต่อการเรียกหนึ่งครั้ง สามโหมด สามการกระจายของแอ็กชัน การผสมทั้งสามโหมดเข้าเป็นชุดแก้ไขเดียวแล้วมาสงสัยทีหลังว่าทำไมการเข้าใกล้ถึงกระตุกไม่นิ่ง ก็เป็นปัญหาที่สร้างขึ้นเอง เอกสารประกอบการควบคุมระยะไกลอธิบายว่าแต่ละโหมดส่งข้อมูลอะไรออกไป

การถ่วงน้ำหนักการแทรกแซง: IWR และสิ่งที่ตามมาหลังจากนั้น

หากข้อมูลแก้ไขเป็นส่วนน้อยที่มีค่ามาก ทางแก้ที่ถูกหลักการคือการถ่วงน้ำหนัก ไม่ใช่การใช้เฉพาะข้อมูลนั้นอย่างเดียว Intervention Weighted Regression คือการนำแนวคิดนี้ไปใช้จริงเป็นตัวอ้างอิง: ข้อมูลถูกแบ่งออกเป็นกลุ่มที่มีการแทรกแซงและไม่มีการแทรกแซง แล้วสุ่มตัวอย่างจากทั้งสองกลุ่มในสัดส่วนเท่ากันระหว่างการฝึก ชุดข้อมูลแก้ไขที่เป็นเพียงห้าเปอร์เซ็นต์ของเฟรมทั้งหมดจึงมีส่วนร่วมในเกรเดียนต์ถึงครึ่งหนึ่ง โดยที่พฤติกรรมปกติไม่หายไปจากการกระจายของข้อมูล

สัดส่วนเท่ากันเป็นเพียงจุดเริ่มต้น ไม่ใช่กฎตายตัว Sirius ขยายแนวคิดนี้ให้กว้างขึ้นโดยแทนที่การแบ่งแบบทวิภาคด้วยน้ำหนักแบบต่อเนื่องจากค่าประมาณความไว้วางใจของมนุษย์ ส่วน Sirius-Fleet ย้ายการตัดสินใจไปไว้ต้นทางมากขึ้น โดยใช้โมเดลโลกเชิงภาพ (visual world model) และตัวทำนายความผิดปกติเพื่อตัดสินใจว่าจะขอความช่วยเหลือจากมนุษย์เมื่อใด เส้นด้ายร่วมของทั้งหมดนี้คือ: แฟล็กการแทรกแซงเป็นสัญญาณสำหรับการฝึก ไม่ใช่แค่คอลัมน์สำหรับบันทึกบัญชีเฉย ๆ

สี่ตัวชี้วัดที่ควรบันทึกไว้ข้าง ๆ อัตรานี้

• จำนวนครั้งที่เข้าควบคุมต่อการรัน การแก้ไขสั้น ๆ ยี่สิบครั้งกับการแก้ไขยาวครั้งเดียวอาจให้อัตราที่ใกล้เคียงกัน แต่บ่งบอกถึงโพลิซีที่ต่างกัน - แบบหนึ่งสั่นกระตุกบ่อย อีกแบบมีจุดบอดเพียงจุดเดียว
• ความยาวเฉลี่ยของการแทรกแซง หากความยาวเพิ่มขึ้นในขณะที่จำนวนครั้งลดลง หมายความว่าความล้มเหลวที่เหลืออยู่เป็นกรณีที่ยากขึ้น ซึ่งเป็นลักษณะของความก้าวหน้าในช่วงท้าย
• เวลาก่อนถึงการแทรกแซงครั้งแรก โพลิซีที่ไปได้ไกลขึ้นก่อนต้องการความช่วยเหลือถือว่ากำลังพัฒนาขึ้น แม้อัตรารวมจะคงที่ก็ตาม
• ตำแหน่งที่การแทรกแซงกระจุกตัว จัดกลุ่มแฟล็กตามความคืบหน้าของเอพิโซดที่ปรับให้เป็นมาตรฐานแล้ว จุดพีคที่คงที่ในทุกรอบชี้ไปยังคอขวดจุดเดียว

โพรโทคอลของรอบหนึ่งที่คุณรันได้จริง

รอบที่วัดผลได้มีหกขั้นตอน และให้ผลลัพธ์เป็นหนึ่งแถวในบันทึก สี่ขั้นตอนแรกคือตัวลูปเอง ส่วนสองขั้นตอนสุดท้ายคือสิ่งที่ทำให้มันกลายเป็นการวัดผล

1. 1
   ตรึงโพรโทคอลการประเมินให้คงที่ก่อนเริ่มรอบที่ศูนย์

   จดบันทึกท่าเริ่มต้น ตำแหน่งวัตถุ กล้อง จำนวนครั้งทดลอง ไทม์เอาต์ และเกณฑ์ความสำเร็จ ถ่ายภาพโต๊ะไว้ หากเอกสารนี้ต้องเปลี่ยนแปลง ให้เริ่มนับชุดข้อมูลใหม่ตั้งแต่ต้น

2. 2
   วัดค่าพื้นฐาน (baseline)

   รันโพรโทคอลโดยไม่แทรกแซงเลย แล้วบันทึกจำนวนที่สำเร็จ จากนั้นรันอีกหนึ่งเซสชันที่ติดตั้งเครื่องมือวัดและเปิดให้เข้าควบคุมได้ แล้วบันทึกอัตราการแทรกแซง ตัวเลขทั้งสองนี้คือรอบที่ศูนย์

3. 3
   เก็บข้อมูลแก้ไขด้วยรูปแบบเดียวกันตลอด

   หนึ่งโหมดการป้อนข้อมูลต่อหนึ่งรอบ และถ้าเป็นไปได้ ให้มีผู้ควบคุมคนเดียว เข้าควบคุมตามเกณฑ์ที่คุณพูดออกมาเป็นคำพูดได้ - เช่น 'กริปเปอร์คลาดเคลื่อนมากกว่าสองเซนติเมตรตอนเข้าใกล้' - และยึดเกณฑ์นั้นไว้ตลอดทั้งรอบ

4. 4
   คัดแยกทุกเอพิโซดในวันเดียวกัน

   แก้ไข ประเมินผล หรือทิ้งไป เอพิโซดที่คลุมเครือให้ทิ้งไปเลย อย่าเก็บไว้ด้วยความเชื่อที่ว่ามีข้อมูลมากไว้ก่อนย่อมดีกว่า - การแก้ไขที่ตัวคุณเองทำพลาดนั้นแย่ยิ่งกว่าไม่มีเอพิโซดนั้นเลยเสียอีก

5. 5
   ประกอบส่วนผสมของข้อมูลอย่างชัดเจน

   ข้อมูลสาธิตดั้งเดิมบวกกับข้อมูลแก้ไข โดยเลือกเอพิโซดตามแหล่งที่มา บันทึกจำนวนข้อมูลตั้งต้น จำนวนข้อมูลแก้ไข และการถ่วงน้ำหนักใด ๆ ที่ใช้ - นี่คือข้อมูลที่คุณจะอยากมีในอีกสามสัปดาห์ข้างหน้า

6. 6
   ฝึกต่อจากเช็คพอยต์เดิม แล้ววัดผลใหม่

   ฝึกชุดข้อมูลที่ประกอบขึ้นใหม่นี้ต่อจากเช็คพอยต์ก่อนหน้า แทนที่จะเริ่มจากโมเดลตั้งต้น แล้วรันโพรโทคอลที่ตรึงไว้บวกกับอีกหนึ่งเซสชันที่ติดตั้งเครื่องมือวัด ต่อท้ายแถวใหม่ในบันทึก แล้วเปรียบเทียบกับสองรอบก่อนหน้า

มีข้อจำกัดสองข้อที่เปลี่ยนวิธีตีความรอบที่ผลอ่อน การฝึกต่อจากเช็คพอยต์จะเริ่มต้นน้ำหนักจากเช็คพอยต์นั้น - ไม่ใช่การรีซูมตัวออปติไมเซอร์ ดังนั้นตารางการฝึก (schedule) จะเริ่มใหม่ทั้งหมด และการรันสั้น ๆ จากเช็คพอยต์ที่ลู่เข้าแล้วอาจขยับผลได้น้อยมาก และการเคลื่อนไหวปรับลีดเดอร์อาร์มให้ตรงกันตอนเริ่มเข้าควบคุม (leader-align) เป็นส่วนที่ผ่านการทดสอบบนฮาร์ดแวร์จริงน้อยที่สุดในทั้งสายงาน หากการแก้ไขทุกครั้งเริ่มต้นด้วยความผิดปกติชั่วครู่แบบแปลก ๆ ให้ตรวจดูตรงนี้ก่อนที่จะโทษส่วนผสมของข้อมูล

สิ่งที่ตัวเลขบอกคุณไม่ได้

เรื่องทั้งหมดนี้ยังไม่ได้ถูกแก้ให้จบสมบูรณ์ และกราฟที่ดูเรียบร้อยก็ไม่ควรทำให้คุณเชื่อเป็นอย่างอื่น อัตราการแทรกแซงวัดระบบร่วมทั้งหมด - โพลิซี ฮาร์ดแวร์ ผู้ควบคุม สภาพห้อง - และไม่ได้ระบุที่มาของอะไรด้วยตัวมันเอง มันตัดสินไม่ได้ว่าข้อมูลแก้ไขนั้นดีหรือไม่ และมันจะยินดีลดลงเองได้เฉย ๆ ถ้างานง่ายขึ้นเพราะวัตถุค่อย ๆ เลื่อนเข้าใกล้มากขึ้นสองเซนติเมตรตลอดสามสัปดาห์

สิ่งที่มันทำได้คือเปลี่ยนความรู้สึกที่คลุมเครือให้กลายเป็นคอลัมน์ตัวเลขที่คุณโต้แย้งได้ ทางเลือกอื่นไม่ใช่ตัวชี้วัดที่ดีกว่า แต่คือการเสียเวลาสามสัปดาห์เก็บข้อมูลแก้ไขไปเรื่อย ๆ ทั้งที่กราฟนี้จะบอกคุณตั้งแต่หลังรอบที่สามแล้วว่าควรหยุดเก็บได้แล้ว วรรณกรรมสำรวจนิยามการเรียนรู้เลียนแบบแบบโต้ตอบ (interactive imitation learning) ว่าเป็นฟีดแบ็กจากมนุษย์ที่ให้เป็นระยะ ๆ ระหว่างที่หุ่นยนต์ทำงาน ซึ่งช่วยให้พฤติกรรมพัฒนาขึ้นได้แบบออนไลน์ กลุ่มวิธีการนี้มีขอบเขตกว้างขวาง แต่ไม่มีรูปแบบใดในนั้นที่ทำงานได้โดยปราศจากตัวเลขประจำรอบ ดูเพิ่มเติมที่ คู่มือการเรียนรู้เลียนแบบสำหรับ SO-100 สำหรับชุดข้อมูลตั้งต้นที่คุณใช้ผสม, การรันโพลิซี สำหรับฝั่งการอินเฟอเรนซ์ และ หน้าเกี่ยวกับลูป DAgger สำหรับไปป์ไลน์ที่นำไปใช้งานจริง

เก็บล็อกไว้ในรีพอสิทอรี ไม่ใช่ในสมุดโน้ต: แต่ละรอบห่างกันเป็นวัน ฮาร์ดแวร์ถูกประกอบใหม่ และคนที่จะมาอ่านกราฟในเดือนตุลาคมก็คือตัวคุณเองที่จำเหตุการณ์เดือนสิงหาคมไม่ได้แล้ว คำถามที่พบบ่อยในเอกสารประกอบครอบคลุมรายละเอียดเชิงปฏิบัติการที่ตกหล่นไปในที่นี้