HG-DAgger และตัวแปรแบบมีเกต: ใครเป็นผู้ตัดสินใจว่าจะเข้าควบคุม Robot Policy เมื่อใด

นโยบายที่โคลนมาจะล้มเหลวตรงจุดที่ข้อมูลฝึกของมันหมดลง วิธีแก้คือเก็บข้อมูลต่อไปภายใต้การกระจายสถานะ (state distribution) ของนโยบายเอง แทนที่จะเป็นของผู้สาธิต ซึ่งนี่คือสิ่งที่ DAgger ทำ และเป็นสิ่งที่บทนำเรื่องการรวมชุดข้อมูล (dataset aggregation) อธิบายไว้ตั้งแต่หลักการพื้นฐาน แต่บทนำนั้นยังเปิดค้างส่วนที่อึดอัดที่สุดของอัลกอริทึมดั้งเดิมไว้ นั่นคือขณะที่ผู้เรียนรู้กำลังขับเคลื่อนอยู่ ผู้เชี่ยวชาญต้องบอกว่าตนเองจะทำอย่างไรในทุกสถานะ โดยไม่ได้เป็นผู้ควบคุมอยู่จริง

ในสภาพจำลองที่มีผู้เชี่ยวชาญแบบสคริปต์ (scripted expert) เรื่องนี้ไม่มีต้นทุนอะไร แต่บนโต๊ะที่มีแขนกลจริงวางอยู่ มันไม่ฟรีและไม่ปลอดภัยเลย ผู้เขียน HG-DAgger ระบุข้อโต้แย้งไว้อย่างชัดเจนว่า รูปแบบการสุ่มตัวอย่างเช่นนี้ "ต้องการให้ผู้เชี่ยวชาญให้ป้ายกำกับการกระทำโดยที่ไม่ได้ควบคุมระบบอย่างสมบูรณ์" ซึ่ง "อาจลดความปลอดภัยลง และเมื่อใช้มนุษย์เป็นผู้เชี่ยวชาญ มีแนวโน้มที่จะทำให้คุณภาพของป้ายกำกับที่เก็บได้แย่ลงเนื่องจากความล่าช้าของแอคชูเอเตอร์ที่รับรู้ได้" (Kelly et al., 2019) ความล้มเหลวสองอย่างซ่อนอยู่ในประโยคนี้ นโยบายยังคงขับเคลื่อนเข้าสู่สถานะที่ไม่มีใครต้องการให้มันเข้าไป และป้ายกำกับที่ได้มาด้วยความเสี่ยงนั้นก็แย่กว่าป้ายกำกับที่มนุษย์ผลิตขึ้นในขณะที่ถือตัวควบคุมอยู่จริง ตัวแปรทุกแบบด้านล่างนี้ตอบคำถามเดียวกัน นั่นคือใส่เกตไว้ที่การควบคุมแล้วให้ใครสักคนตัดสินใจว่าจะเปิดเมื่อใด สิ่งที่ต่างกันคือใครเป็นคนนั้น

Human-gated กับ Robot-gated: เส้นแบ่งที่สำคัญ

การเรียนรู้เลียนแบบเชิงโต้ตอบมีงานสำรวจวรรณกรรมเป็นของตัวเอง Celemin และคณะได้จัดหมวดหมู่ไว้ตามประเภทของฟีดแบ็ก อินเทอร์เฟซ โมเดลการเรียนรู้ ประสบการณ์ผู้ใช้ การประยุกต์ใช้ และเบนช์มาร์ก แต่ความแตกต่างที่ตัดสินการออกแบบทางวิศวกรรมของคุณนั้นเรียบง่ายกว่าแกนเหล่านั้นทั้งหมด และงานวิจัยล่าสุดก็เรียกมันตรง ๆ ว่า วิธีการหนึ่งจะเป็น human-gated เมื่อผู้ควบคุมดูแล (supervisor) เป็นผู้ตัดสินใจว่าจะเข้าแทรกแซงเมื่อใด และเป็น robot-gated เมื่อตัวเอเจนต์เป็นผู้ตัดสินใจว่าจะขอความช่วยเหลือเมื่อใด (Cai et al., 2025) ส่วนที่เหลือทั้งหมดล้วนเป็นกลไกที่รับใช้ทางเลือกสองแบบนี้แบบใดแบบหนึ่ง ข้อแลกเปลี่ยนนี้เห็นได้ชัดตั้งแต่แรก เกตแบบมนุษย์มีต้นทุนคือความใส่ใจอย่างต่อเนื่อง ส่วนเกตแบบหุ่นยนต์สัญญาว่าจะคืนความใส่ใจนั้นกลับมา แต่จะเป็นจริงได้ก็ต่อเมื่อสัญญาณที่ใช้เป็นเกตนั้นเชื่อถือได้ และการสร้างสัญญาณนั้นขึ้นมาก็เป็นโจทย์วิจัยในตัวมันเอง

SafeDAgger: ตัวจำแนกที่ทำนายการเบี่ยงเบนของตัวเอง

SafeDAgger ของ Zhang และ Cho (2016) เป็นเกตที่เก่าแก่ที่สุดในบรรดาเกตเหล่านี้ การเรียกใช้นโยบายอ้างอิง (reference policy) คือส่วนที่มีต้นทุนสูง จึงมีเครือข่ายขนาดเล็กตัวที่สอง ซึ่งก็คือ safety policy ทำหน้าที่ทำนายว่าคุ้มค่าหรือไม่ที่จะเรียกใช้นโยบายอ้างอิงเลย มันจะ "คืนค่าป้ายกำกับแบบไบนารีที่บ่งชี้ว่านโยบายหลักมีแนวโน้มจะเบี่ยงเบนไปจากนโยบายอ้างอิงหรือไม่ โดยไม่ต้องเรียกใช้นโยบายอ้างอิงนั้น" ป้ายกำกับนี้ถูกนิยามจากค่าเบี่ยงเบนกำลังสองแบบ L2 ระหว่างแอคชันของนโยบายทั้งสอง โดยมีค่าเกณฑ์ tau กำกับ และตัวจำแนกถูกฝึกด้วย binary cross-entropy เมื่อทำงานจริง มันจะตัดสินในแต่ละสถานะว่าผู้เรียนรู้จะขับเคลื่อนต่อไปหรือให้นโยบายอ้างอิงเข้าควบคุมแทน บทคัดย่อรายงานว่ามีการเรียกใช้นโยบายอ้างอิงน้อยลงในสภาพจำลองการแข่งรถ พร้อมกับความเร็วในการลู่เข้า (convergence) ที่เพิ่มขึ้น ซึ่งผู้เขียนอธิบายว่าเป็นผลจากเอฟเฟกต์หลักสูตรอัตโนมัติ (automated curriculum effect) โดยไม่ได้ให้ตัวเลขที่ชัดเจนสำหรับทั้งสองอย่าง

ปัญหาอยู่ที่นิยาม ไม่ใช่ที่ผลลัพธ์ การฝึกตัวจำแนกต้องใช้แอคชันของนโยบายอ้างอิงในทุกสถานะที่ใช้ฝึก ซึ่งเป็นข้อสมมติที่ว่านโยบายอ้างอิงเป็นโปรแกรมอีกตัวหนึ่ง หากนโยบายอ้างอิงของคุณคือมนุษย์ที่ใช้ leader arm ชุดป้ายกำกับนั้นก็ไม่ได้มาฟรี ๆ และวิธีนี้ก็สูญเสียคุณสมบัติที่มันถูกออกแบบมาให้มี

EnsembleDAgger: ทั้งความสงสัยและความคลาดเคลื่อน

Menda, Driggs-Campbell และ Kochenderfer (2019) มองเกตเป็นคำถามเชิงความน่าจะเป็น EnsembleDAgger "ประมาณค่ากระบวนการแบบเกาส์เซียน (Gaussian Process) โดยใช้ ensemble ของเครือข่ายประสาทเทียม" และอ่านค่าความแปรปรวนของ ensemble เป็นตัวแทนของความเชื่อมั่น ความแปรปรวนสูงหมายถึงบริเวณที่ไม่เหมือนกับข้อมูลฝึก ซึ่ง หากสมมติว่าผู้เชี่ยวชาญหลีกเลี่ยงสถานะที่ล้มเหลว จะสัมพันธ์กับความใกล้เคียงกับความล้มเหลว กฎนี้เป็นเงื่อนไข AND ผู้เรียนรู้จะกระทำการได้ก็ต่อเมื่อระยะห่างแบบ L2 ระหว่างแอคชันเฉลี่ยของมันกับแอคชันของผู้เชี่ยวชาญต่ำกว่าค่าเกณฑ์หนึ่ง (ความคลาดเคลื่อน) และ ความแปรปรวนของแอคชันที่ทำนายได้ต่ำกว่าค่าเกณฑ์ที่สอง (ความสงสัย) หากเงื่อนไขใดเงื่อนไขหนึ่งไม่ผ่าน ผู้เชี่ยวชาญจะเข้าควบคุม เป้าหมายคือการทำให้สัดส่วนแอคชันที่ผู้เรียนรู้เป็นผู้ทำมากที่สุด ในขณะที่จำกัดความน่าจะเป็นของความล้มเหลว งานวิจัยนี้รายงานว่ามีความปลอดภัยและการเรียนรู้ที่ดีขึ้นเมื่อเทียบกับตัวแปร DAgger อื่น ๆ บนงาน inverted pendulum และ MuJoCo HalfCheetah

LazyDAgger: หยุดไม่ให้สวิตช์กระตุก

Hoque และคณะ (2021) เข้าจัดการต้นทุนที่งานวิจัยก่อนหน้านี้ไม่ได้วัดไว้ นั่นคือตัวสวิตช์เอง การแทรกแซงแต่ละครั้ง "ขัดจังหวะงานอื่นที่มนุษย์กำลังทำอยู่ ก่อให้เกิดความหน่วงในทุกครั้งที่มีการสลับบริบทระหว่างผู้ควบคุมดูแลกับการควบคุมอัตโนมัติ และต้องใช้เวลาในการดำเนินการ" เกตที่เปิดและปิดสิบครั้งต่อนาทีนั้นแย่กว่าเกตที่เปิดเพียงครั้งเดียวเป็นเวลาสิบวินาที ในสัดส่วนการทำงานอัตโนมัติที่เท่ากัน LazyDAgger ขยาย SafeDAgger ด้วยค่าเกณฑ์แบบไม่สมมาตร คือเข้าสู่การควบคุมของผู้ควบคุมดูแลได้ยากกว่าการอยู่ในนั้นต่อ เพื่อไม่ให้ระบบแกว่งไปมาที่ขอบเขต ในการจำลองมัน "สามารถลดการสลับบริบทลงได้เฉลี่ย 60% เมื่อเทียบกับ SafeDAgger ในงานควบคุมต่อเนื่อง 3 งาน ในขณะที่ยังคงประสิทธิภาพของนโยบายในระดับ state-of-the-art" ในงานจัดการผ้าด้วยแขนกล ABB YuMi มัน "ลดการสลับบริบทลง 60% พร้อมทั้งได้อัตราความสำเร็จสูงกว่า SafeDAgger ถึง 60% เมื่อใช้งานจริง"

ThriftyDAgger: ความแปลกใหม่หรือความเสี่ยง ภายใต้งบประมาณ

ThriftyDAgger (Hoque et al., CoRL 2021) เริ่มต้นจากงบประมาณของผู้ควบคุมดูแลแทนที่จะเริ่มจากตัวนโยบาย มัน "ใช้ switching policy ที่เรียนรู้มาเพื่อขอการแทรกแซงเฉพาะในสถานะที่ (1) แปลกใหม่เพียงพอ ซึ่งนโยบายหุ่นยนต์ไม่มีพฤติกรรมอ้างอิงให้เลียนแบบ หรือ (2) เสี่ยงเพียงพอ ซึ่งหุ่นยนต์มีความเชื่อมั่นต่ำในการทำงานให้สำเร็จ" โดยมีเมตริกใหม่สำหรับประเมินความเสี่ยงนั้น งบประมาณเป็นอินพุต ไม่ใช่ผลลัพธ์ คุณกำหนดเองว่าจะใช้เวลาของมนุษย์เท่าไร เมื่อนำไปใช้งานจริง วิธีนี้ "บรรลุอัตราความสำเร็จ 100% ทั้งในงานจำลองและงานจริง" และการศึกษาผู้ใช้กับผู้เข้าร่วม 10 คนที่ควบคุมกลุ่มหุ่นยนต์สามตัวพร้อมกับงานที่ต้องใช้สมาธิ รายงานว่าวิธีนี้ "เพิ่มประสิทธิภาพของมนุษย์และหุ่นยนต์ขึ้น 58% และ 80% ตามลำดับ เมื่อเทียบกับอัลกอริทึมที่ดีที่สุดรองลงมา พร้อมทั้งลดภาระของผู้ควบคุมดูแล" การตั้งค่าแบบกลุ่มหุ่นยนต์ (fleet) คือบริบทที่เหมาะกับงานนี้ที่สุด ต่อมา Fleet-DAgger ได้ทำให้แนวคิดการเรียนรู้แบบกลุ่มหุ่นยนต์เชิงโต้ตอบที่มีหุ่นยนต์และผู้ควบคุมดูแลหลายตัวเป็นทางการ โดยเสนอ Return on Human Effort เป็นปริมาณที่ควรปรับให้เหมาะสมที่สุด

HG-DAgger: มนุษย์เป็นผู้ถือเกต

Kelly และคณะ (2019) เดินไปในทิศทางตรงกันข้าม ไม่มี switching policy เลย ผู้เรียนรู้จะถูกปล่อยให้ทำงานไปเรื่อย ๆ "จนกว่าผู้เชี่ยวชาญจะสังเกตเห็นว่าผู้เรียนรู้ได้เข้าสู่บริเวณที่ไม่ปลอดภัยของพื้นที่สถานะ" ณ จุดนั้นผู้เชี่ยวชาญจะเข้าควบคุมและนำระบบกลับมา กฎการรวมข้อมูล (aggregation) คือส่วนที่เข้มงวด "ป้ายกำกับแอคชันของผู้เชี่ยวชาญจะถูกเก็บและเพิ่มเข้าไปในชุดข้อมูลเฉพาะในช่วงวิถีการกู้คืน (recovery trajectories) เหล่านี้เท่านั้น ซึ่งเป็นช่วงที่ผู้เชี่ยวชาญมนุษย์มีการควบคุมระบบอย่างต่อเนื่องไม่ถูกขัดจังหวะ" จะไม่มีการติดป้ายกำกับใด ๆ ในขณะที่มนุษย์เป็นเพียงผู้สังเกตการณ์

และไม่ได้หยุดอยู่แค่ที่สวิตช์เท่านั้น HG-DAgger ยัง "เรียนรู้ค่าเกณฑ์ความปลอดภัยสำหรับเมตริกความเสี่ยงที่อิงจากความไม่แน่นอนของโมเดล ซึ่งสามารถใช้ทำนายประสิทธิภาพของผู้เรียนรู้ที่ฝึกจนสมบูรณ์แล้วในบริเวณต่าง ๆ ของพื้นที่สถานะ" โดยมันจะบันทึกว่าผู้เรียนรู้มีความไม่แน่นอนมากเพียงใดในช่วงเวลาที่มนุษย์เข้าแทรกแซง แล้วหาค่าเฉลี่ยของหนึ่งในสี่ส่วนสุดท้ายของบันทึกเหล่านั้น ซึ่งเป็นช่วงที่ผู้เรียนรู้มีลักษณะใกล้เคียงกับรูปแบบสุดท้ายของมันมากที่สุด นั่นไม่ใช่เกตที่หุ่นยนต์เป็นผู้ควบคุม แต่เป็นตัวช่วยวินิจฉัยที่บอกว่านโยบายที่ฝึกเสร็จแล้วน่าจะทำงานได้ดีในบริเวณใด การประเมินครอบคลุมทั้งงานขับขี่แบบจำลองและงานจริง และรายงานว่าประสิทธิภาพดีขึ้นกว่าทั้ง DAgger และ behavior cloning

มีสายงานที่เกี่ยวข้องอีกสายหนึ่งที่เปลี่ยนนิยามว่าอะไรนับเป็นป้ายกำกับ Expert Intervention Learning ของ Spencer และคณะ ยืนยันว่า "ฟีดแบ็กจากผู้เชี่ยวชาญไม่ว่าปริมาณเท่าใด ไม่ว่าจะเป็นการแทรกแซงหรือการไม่แทรกแซง ล้วนให้ข้อมูลเกี่ยวกับคุณภาพของสถานะปัจจุบัน ความเหมาะสมที่สุดของแอคชัน หรือทั้งสองอย่าง" โดยได้จัดรูปแบบเป็นเงื่อนไขบังคับ (constraint) บนฟังก์ชันคุณค่า (value function) ของผู้เรียนรู้ และแก้ปัญหาด้วยการเรียนรู้ออนไลน์แบบ no-regret ภายใต้แนวคิดนี้ ช่วงเวลาที่มนุษย์เฝ้าดูและไม่ได้ทำอะไรเลยคือหลักฐานเชิงบวกที่อ่อน ไม่ใช่ข้อมูลที่ว่างเปล่า EIL เรียนรู้การหลีกเลี่ยงการชนจากการควบคุมของผู้เชี่ยวชาญเพียงประมาณหนึ่งนาที

เปรียบเทียบตัวแปรทั้งหมดเคียงกัน

แต่ละเกตให้อะไร และเรียกเก็บอะไรเป็นการตอบแทน

เมื่ออ่านลงไปในคอลัมน์ "สิ่งที่ต้องมีพร้อม" จะเห็นรูปแบบหนึ่งปรากฏขึ้น นั่นคือสัญญาณแบบ robot-gated ทุกตัวล้วนเป็นตัวแทน (proxy) ที่ต้องถูกสร้างขึ้นมา และตัวแทนแต่ละตัวก็มีค่าใช้จ่ายของตัวเอง

• สัญญาณความคลาดเคลื่อน (SafeDAgger, LazyDAgger, ครึ่งหนึ่งของกฎ EnsembleDAgger) ต้องการนโยบายอ้างอิง ไม่ว่าคุณจะมีผู้เชี่ยวชาญแบบสคริปต์ ซึ่งในกรณีนั้นปัญหาที่น่าสนใจก็ถูกแก้ไปแล้ว หรือไม่ก็ต้องมีมนุษย์คอยผลิตแอคชันอยู่เบื้องหลังตลอดเวลา เพื่อให้คำนวณระยะห่างได้
• สัญญาณความสงสัยต้องการความไม่แน่นอนเชิงองค์ความรู้ที่ผ่านการปรับเทียบแล้ว ensemble ของเครือข่ายควบคุมขนาดเล็กสามารถประมาณค่านี้ได้ แต่ ensemble ของโมเดล vision-language-action ขนาดสามพันล้านพารามิเตอร์นั้น เป็นปัญหาเรื่องหน่วยความจำและความหน่วงเสียก่อนเป็นอันดับแรก
• สัญญาณความแปลกใหม่และความเสี่ยงต้องการตัวประเมินที่เรียนรู้มาแล้วว่างานสำเร็จหรือไม่ โดยฝึกจากการรันที่สำเร็จและล้มเหลวจำนวนมากพอ สำหรับงานที่คุณยังกำลังพยายามให้มันทำงานได้ ข้อมูลแบบนั้นยังไม่มีอยู่ในรอบแรก
• เกตแบบมนุษย์ต้องการเพียงความใส่ใจเท่านั้น ไม่มีอะไรอื่นอีก นี่คือสัญญาณเดียวที่มีพร้อมใช้งานได้ตั้งแต่วันแรก บนสถาปัตยกรรมนโยบายใด ๆ ก็ตาม โดยไม่ต้องฝึกโมเดลเพิ่มเติมเลย
• ไม่มีเกตแบบหุ่นยนต์ตัวใดที่เอามนุษย์ออกจากห้องไปได้ พวกมันเพียงลดความถี่ที่มนุษย์ต้องลงมือทำเท่านั้น ไม่ใช่ว่ามนุษย์ไม่จำเป็นต้องอยู่ที่นั่น

มีความแตกต่างที่เงียบกว่านั้นอยู่ในสิ่งที่เกตแต่ละแบบผลิตออกมา เกตแบบหุ่นยนต์ที่ทำงานกลางวิถีการเคลื่อนที่ (mid-trajectory) จะยื่นแขนกลที่กำลังเคลื่อนไหวอยู่ในท่าใดก็ได้ให้กับคน ส่วนเกตแบบมนุษย์ให้ผู้ควบคุมเลือกจังหวะเองได้ เช่น หลังการเอื้อม ก่อนการจับ ไม่ใช่กลางคันของการแกว่ง ช่วงการกู้คืนที่ได้จากทั้งสองแบบจึงมีความสะอาดไม่เท่ากัน และช่วงเหล่านั้นก็คือผลผลิตทั้งหมดของรอบนั้น

เหตุใดรูปแบบ human-gated จึงชนะบนฮาร์ดแวร์จริง

นี่คือข้อโต้แย้งเชิงวิศวกรรม ไม่ใช่ผลการทดสอบเบนช์มาร์ก เพราะไม่มีงานวิจัยใดที่เราพบรันเกตทั้งห้าแบบบนแขนกลตัวเดียวกันด้วยกลุ่มนโยบายเดียวกัน มันตั้งอยู่บนสี่ประเด็นต่อไปนี้

ประการแรก ผู้ควบคุมดูแลอยู่ตรงนั้นอยู่แล้ว ไม่มีใครปล่อยให้แขนกล SO-100 ทำงานโดยไม่มีคนดูแลอยู่ข้างสิ่งของที่มันอาจชนล้มได้ เมื่อมีคนเฝ้าดูอยู่แล้ว ต้นทุนส่วนเพิ่มของการให้ปุ่มเข้าควบคุมแก่คนคนนั้นแทบจะเป็นศูนย์ ในขณะที่การสร้างตัวประเมินความเสี่ยงที่ผ่านการปรับเทียบแล้วนั้นเป็นโปรเจกต์ทั้งโปรเจกต์เลยทีเดียว

ประการที่สอง ความไม่แน่นอนที่คุณวัดได้จริงบนนโยบายสมัยใหม่มักเป็นปริมาณที่ผิด หัวแบบ diffusion หรือ flow-matching จะให้ค่าความแปรปรวนข้ามชุดของแอคชัน (action chunks) ที่สุ่มมา และความแปรปรวนนั้นสะท้อนถึงความหลากหลายเชิงรูปแบบ (multimodality) ที่หัวถูกฝึกมาให้แสดงออก ไม่ใช่ความไม่รู้เชิงองค์ความรู้เกี่ยวกับสถานะ เทอมความสงสัยของ EnsembleDAgger ใช้ ensemble ก็เพื่อจับความหมายอย่างหลังนี้โดยเฉพาะ ตัวเลขทั้งสองแบบดูเหมือนกันแต่ไม่ใช่สิ่งเดียวกัน หัวข้อ action chunking และ flow matching อธิบายไว้ว่าหัวเหล่านั้นสร้างแอคชันออกมาได้อย่างไรตั้งแต่แรก

ประการที่สาม ความล้มเหลวที่สำคัญในงานจัดการวัตถุ (manipulation) มักเป็นเรื่องเชิงความหมาย (semantic) มากกว่าจะเป็นเรื่องผิดปกติทางสถิติ นโยบายที่ปิดกริปเปอร์เร็วไปสองเซนติเมตร หรือเอื้อมไปหยิบลูกบาศก์ผิดก้อนในสองก้อนที่เหมือนกันอย่างมั่นใจ ไม่ได้อยู่ในสถานะที่มีความแปรปรวนสูงแต่อย่างใด มันมั่นใจแต่ผิด ไม่มีค่าเกณฑ์ความแปรปรวนใดจับสิ่งนี้ได้ แต่คนที่เฝ้าดูอยู่จะจับได้ทันที

ประการที่สี่ คุณภาพของป้ายกำกับ ซึ่งเป็นประเด็นดั้งเดิมของ HG-DAgger และเป็นประเด็นที่มักถูกมองข้ามมากที่สุด ป้ายกำกับที่เก็บได้ในขณะที่มนุษย์มีการควบคุมอย่างต่อเนื่องไม่ถูกขัดจังหวะนั้นดีกว่าป้ายกำกับที่บรรยายไว้ขณะระบบกำลังเคลื่อนไหว หากเป้าหมายคือข้อมูลเชิงแก้ไขที่คุ้มค่าแก่การรวบรวม ภาระในการพิสูจน์ก็ตกอยู่ที่เกตแบบอัตโนมัติ

เกตเป็นเพียงครึ่งหนึ่งของวิธีการ การจัดการข้อมูลคืออีกครึ่งหนึ่ง

เกตตัดสินว่าเฟรมใดที่มนุษย์เป็นคนขับ ไม่ใช่ตัดสินว่าจะทำอะไรกับเฟรมเหล่านั้น และการตัดสินใจขั้นที่สองนี้เองคือจุดที่รอบการทำงานมักถูกใช้อย่างสูญเปล่าที่สุด กฎข้อแรกคือสิ่งที่ตัว D ใน DAgger ย่อมาจาก นั่นคือ รวมเข้าด้วยกัน อย่าแทนที่ การไฟน์จูนcheckpoint ด้วยเฟรมแก้ไขเพียงไม่กี่ร้อยเฟรมเพียงอย่างเดียว จะให้โมเดลที่แทบไม่เคยเห็นอะไรนอกจากการกู้คืน และลืมวิถีการทำงานปกติไปแล้ว

กฎข้อที่สองคือเฟรมการแทรกแซงไม่ใช่เฟรมธรรมดา Mandlekar และคณะ สร้างระบบควบคุมระยะไกลสำหรับงานจัดการแบบ 6 องศาอิสระ (6-DoF) ที่ให้ผู้ควบคุมเฝ้าดูนโยบายและเข้าควบคุมเมื่อล้มเหลว จากนั้นฝึกซ้ำแบบวนรอบด้วยอัลกอริทึมที่ "ส่งเสริมให้นโยบายเรียนรู้วิธีผ่านจุดคอขวดผ่านการแทรกแซงเหล่านั้น" เอเจนต์ที่ฝึกด้วยข้อมูลนั้นมีประสิทธิภาพเหนือกว่าเอเจนต์ที่ฝึกด้วยตัวอย่างการสาธิตธรรมดาจำนวนเท่ากัน Sirius ผลักแนวคิดนี้เข้าสู่การใช้งานจริง โดย "ถ่วงน้ำหนักตัวอย่างการฝึกใหม่ด้วยความเชื่อมั่นของมนุษย์ที่ประมาณค่าไว้ และปรับนโยบายให้เหมาะสมด้วย weighted behavioral cloning" ทั้งสองวิธีต้องการเครื่องหมายระดับเฟรมว่าส่วนใดที่มนุษย์เป็นผู้ขับ นี่คือเหตุผลว่าทำไมแฟล็ก intervention จึงสำคัญกว่าที่มันดูเหมือนจะเป็น

กฎข้อที่สามคือการผสมข้อมูลอัตโนมัติเป็นกับดัก ชุดข้อมูลที่ประกอบขึ้นมาโดยที่คุณไม่สามารถระบุแหล่งที่มาได้ทั้งหมด คือชุดข้อมูลที่คุณจะดีบั๊กไม่ได้เมื่อรอบถัดไปแย่ลง บนแพลตฟอร์มนี้ขั้นตอนการประกอบข้อมูล (compose) จึงถูกทำให้ชัดเจนด้วยเหตุผลนั้น คือชุดข้อมูลต้นฉบับบวกกับการแก้ไข พร้อมการเลือกเอพิโซดตามแหล่งที่มา และผลลัพธ์ก็คือ LeRobot dataset ธรรมดา ๆ ที่ซิงก์และฝึกได้เหมือนชุดข้อมูลอื่น ๆ ทั่วไป เอกสารประกอบเรื่องชุดข้อมูล อธิบายในส่วนของรูปแบบไฟล์

ตั้งเกตที่คนจริง ๆ ถือไว้ได้จริง

"มนุษย์เป็นผู้ตัดสินใจ" ไม่ใช่ข้อกำหนดที่ชัดเจน ผู้ควบคุมสองคนที่มีค่าเกณฑ์ต่างกันจะให้ผลลัพธ์ที่เทียบกันไม่ได้ในแต่ละรอบ และค่าเกณฑ์ที่เลื่อนไหลไปเรื่อย ๆ ก็จะให้แนวโน้มที่คุณอ่านไม่ออก จงเขียนเงื่อนไขกระตุ้นเหล่านี้ลงไปก่อนการรันครั้งแรก

1. ระบุเงื่อนไขที่เปิดเกต เช่น การเข้าใกล้ที่คลาดเคลื่อนเกินระยะที่กำหนดไว้ กริปเปอร์ปิดลงโดยไม่มีอะไรอยู่ในนั้น ข้อต่อเลื่อนเข้าใกล้ขีดจำกัด หรือการค้างนิ่งนานเกินหนึ่งถึงสองวินาที และรักษารายการนี้ไว้ไม่ให้เปลี่ยนแปลงตลอดทั้งรอบ
2. ระบุด้วยว่าอะไรที่ไม่เปิดเกต การแกว่งเกิน (overshoot) ที่นโยบายกู้คืนได้เองคือสัญญาณการฝึกที่มีค่า การเข้าควบคุมตรงจุดนั้นจะลบล้างการกู้คืนที่มันรู้อยู่แล้วทิ้งไป
3. เข้าควบคุมให้เร็วพอที่จะส่งมอบได้อย่างราบรื่น และคืนการควบคุมทันทีที่สถานะกลับมากู้คืนได้แล้ว
4. บันทึกเหตุผลที่คุณเข้าควบคุม ในแต่ละเอพิโซด สามรอบถัดมาสิ่งนี้จะเป็นบันทึกเดียวที่บอกได้ว่าความล้มเหลวแบบเดิมกลับมาอีกหรือไม่
5. รักษากล้อง ข้อความของงาน และตัวผู้ควบคุมให้คงที่ตลอดทุกรอบ หากเปลี่ยนสิ่งใดสิ่งหนึ่ง ตัวเลขจะไม่สามารถเปรียบเทียบกันได้อีกต่อไป

ในทางกลไก การส่งมอบการควบคุมมีสองรูปแบบ หากใช้ leader arm ตัว leader ต้องเคลื่อนไปถึงท่าปัจจุบันของ follower ก่อนที่แรงบิดจะถูกส่งต่อ ไม่เช่นนั้นแขนกลจะกระตุก การเคลื่อนไหวเพื่อจัดตำแหน่งให้ตรงกันนี้เป็นส่วนที่ผ่านการทดสอบน้อยที่สุดในสายงานทั้งหมดบนฮาร์ดแวร์จริง หากไม่มี leader arm การเข้าควบคุมจะเป็นแบบแมนนวลตั้งแต่การกดปุ่มแรก คือ follower จะถูกยึดไว้และผู้ควบคุมขยับมันทีละข้อต่อจากคีย์บอร์ด หรือลากสไลเดอร์ โดยมีการจำกัดค่าฝั่งเซิร์ฟเวอร์ให้อินพุตแต่ละครั้งมีขนาดเล็ก คือประมาณสองสามองศาต่อการกดปุ่มหนึ่งครั้ง และไม่กี่องศาต่อการปรับสไลเดอร์หนึ่งครั้ง เพราะการก้าวกระโดดขนาดใหญ่เข้าไปในท่าที่ถูกยึดไว้คือวิธีที่ทำให้เซอร์โวเสียหายได้ เวอร์ชันแบบทีละขั้นตอนพร้อมปุ่มลัดคีย์บอร์ดอยู่ใน คู่มือทีละขั้นตอนของหนึ่งรอบ DAgger บน SO-100 ส่วนข้อมูลพื้นฐานของโหมดควบคุมระยะไกลทั้งสองแบบอยู่ใน เอกสารเรื่องการควบคุมระยะไกล และ หัวข้อเรื่อง leader-follower.

อ่านผลว่าเกตทำอะไรได้บ้างหรือไม่

เมตริกของรอบแบบ human-gated คืออัตราการแทรกแซง นั่นคือจำนวนเฟรมที่ถูกแทรกแซง หารด้วยจำนวนเฟรมทั้งหมดของการรัน มันมีหน้าที่เดียว หากค่านี้ไม่ลดลงข้ามรอบ แสดงว่ารอบนั้นไม่ได้ให้ประโยชน์อะไรเลย และรอบถัดไปควรเปลี่ยนสิ่งอื่นแทนที่จะเป็นแค่ปริมาณข้อมูล

มันเป็นเมตริกที่มีอคติ และคุณควรรู้ว่าอย่างไร มันวัดค่าเกณฑ์ของผู้ควบคุมพอ ๆ กับความสามารถของนโยบาย ซึ่งเป็นเหตุผลว่าทำไมรายการเงื่อนไขกระตุ้นจึงต้องคงที่ ผู้ควบคุมที่ผ่อนคลายมาตรฐานลงระหว่างเซสชันจะให้กราฟที่ลดลงโดยไม่มีอะไรอยู่เบื้องหลังเลย นอกจากนี้มันยังละเลยความรุนแรงด้วย สิบเฟรมที่ใช้หยุดการชนกับสิบเฟรมที่ใช้ปรับการจับเล็กน้อยดูเหมือนกันหมด ควรจับคู่เมตริกนี้กับชุดประเมินผลที่คงที่ ซึ่งไม่เคยมีข้อมูลแก้ไขถูกดึงมาจากมันเลย บทความเรื่องการวัดผลลูป DAgger อธิบายรายละเอียดการออกแบบการประเมินผล รวมถึงวิธีกันเอพิโซดสำหรับประเมินผลไม่ให้ปนเข้าไปในชุดข้อมูลฝึก

คำถามที่ยังเปิดอยู่และควรจับตาไว้

เบนช์มาร์กยังอ่อนแออยู่ Spencer และคณะได้ตรวจสอบเบนช์มาร์กที่ใช้ทดสอบแนวทางการเรียนรู้เลียนแบบ และพบว่ามัน "ทำได้จริงและเรียบง่ายเกินไป จนไม่เพียงพอที่จะจับภาพระบอบที่ยากกว่าของการสะสมความคลาดเคลื่อน (error compounding) ที่พบในปัญหาการตัดสินใจในโลกจริง" และเมื่อเทียบกับวรรณกรรมโดยรอบ กลับพบว่า behavior cloning แบบธรรมดาทำผลงานได้ดีบนเบนช์มาร์กเหล่านั้น นี่คือเหตุผลให้ควรตั้งข้อสงสัยต่อการจัดอันดับใด ๆ ของตัวแปร DAgger ที่อิงอยู่กับงานเหล่านั้น รวมถึงตัวเลขบางส่วนในตารางด้านบนด้วย

เกตแบบหุ่นยนต์บนนโยบายขนาดใหญ่ก็ยังไม่ถูกแก้ปัญหาเช่นกัน งาน AIM แทนที่ความไม่แน่นอนด้วยฟังก์ชัน Q แบบตัวแทน (proxy) ที่เลียนแบบกฎการแทรกแซงของมนุษย์ และรายงานว่ามีต้นทุนการเข้าควบคุมและประสิทธิภาพการเรียนรู้ดีขึ้น 40% เมื่อเทียบกับ ThriftyDAgger แต่เป็นในงานควบคุมแบบต่อเนื่องและแบบไม่ต่อเนื่อง ไม่ใช่บนโมเดล vision-language-action ที่ขับเคลื่อนแขนกล ยังไม่ชัดเจนว่าเกตเหล่านี้ตัวใดจะนำไปใช้กับ VLA ที่ผ่านการไฟน์จูนได้หรือไม่ งานสำรวจวรรณกรรมชี้ประเด็นที่เกี่ยวข้องไว้ว่า คำศัพท์และโครงสร้างของสาขานี้ยังไม่เป็นหนึ่งเดียวกันทั่วทั้งวรรณกรรม ทำให้เปรียบเทียบวิธีการต่าง ๆ ได้ยาก บนแขนกลของคุณเอง บันทึกของคุณคือหลักฐานเดียวที่คุณมี

สำหรับแขนกลตัวเดียวบนโต๊ะตัวเดียว ทางเลือกก็ชัดเจนอยู่แล้ว ถือเกตไว้ด้วยตัวเอง เขียนลงไปว่าอะไรเปิดเกต และทุ่มความพยายามไปที่การจัดการข้อมูลเบื้องหลังมัน แทนที่จะไปทำให้สวิตช์เป็นระบบอัตโนมัติ ฝั่งแพลตฟอร์มมีอธิบายไว้ใน หน้าเรื่องลูป DAgger ส่วนตัวเลือกการฝึกแยกตามกลุ่มนโยบายอยู่ใน การฝึกและราคา สำหรับข้อมูลพื้นฐาน เริ่มต้นได้ที่ การเรียนรู้เลียนแบบ และ การเรียนรู้เลียนแบบบน SO-100 สำหรับการรันครั้งแรก รันนโยบายแรกของคุณ เป็นเส้นทางที่สั้นกว่า