การทำงานกับชุดข้อมูล

รูปแบบชุดข้อมูล LeRobot

AY-Robots จัดเก็บข้อมูลสาธิตทั้งหมดในรูปแบบชุดข้อมูล LeRobot ที่ดูแลโดย Hugging Face ประโยชน์ในทางปฏิบัติคือความสามารถในการพกพา ชุดข้อมูลที่บันทึกที่นี่สามารถโหลดเข้าโค้ดฝึกฝนที่ใช้ฐาน LeRobot ได้โดยตรง และชุดข้อมูลที่บันทึกที่อื่นในรูปแบบเดียวกันสามารถถูกอัปโหลดและใช้งานบนแพลตฟอร์มได้โดยไม่ต้องแปลง

ชุดข้อมูลคือกลุ่มของเอปิโสด หนึ่งเอปิโสดคือความพยายามครบถ้วนหนึ่งครั้งสำหรับงานหนึ่ง จากสถานะเริ่มต้นที่กำหนดไว้จนถึงจุดที่คุณหยุดการบันทึก บนดิสก์ หนึ่งเอปิโสดจะถูกแบ่งเป็นไฟล์สามประเภท: ไฟล์ Parquet ที่มีสตรีมตัวเลข ไฟล์วิดีโอหนึ่งไฟล์ต่อกล้อง และ metadata ที่เชื่อมทุกอย่างเข้าด้วยกัน

โครงสร้างฟีเจอร์ใน info.json คือสิ่งที่โค้ดฝึกฝนอ่านเพื่อเข้าใจข้อมูลของคุณ: มีคีย์การสังเกตอะไรบ้าง รูปทรงของมัน และอัตราการบันทึก ชุดข้อมูลสองชุดจะเข้ากันได้ก็ต่อเมื่อโครงสร้างของทั้งคู่ตรงกัน ซึ่งเป็นสิ่งที่การตรวจสอบความถูกต้องของการรวมตรวจสอบพอดี

ค่าข้อต่อเป็นเปอร์เซ็นต์ ไม่ใช่องศา

ค่าข้อต่อทั้งหมดในชุดข้อมูลของ AY-Robots ถูกทำให้เป็นมาตรฐานตาม LeRobot: แต่ละค่าอยู่ในช่วง -100 ถึง 100 และแทนเปอร์เซ็นต์ของช่วงที่ปรับเทียบแล้วของข้อต่อนั้น ไม่ใช่มุมเป็นองศา ค่าอ่าน 0 คือจุดกึ่งกลางของช่วงที่ปรับเทียบแล้ว -100 และ 100 คือขอบเขตของมัน

ชุดข้อมูลบนคลาวด์ในแดชบอร์ด

Dashboard > Datasets แสดงรายการชุดข้อมูลคลาวด์ของคุณพร้อมจำนวนเอปิโสด ขนาดไฟล์ และสถานะการเก็บรวบรวม ชุดข้อมูลถูกสร้างขึ้นโดยอัตโนมัติเมื่อเซสชันควบคุมทางไกลบันทึกข้อมูล และคุณยังสามารถสร้างชุดข้อมูลได้อย่างชัดเจนแล้วเติมเข้าไปโดยอัปโหลดการบันทึกจากโปรแกรมเดสก์ท็อป

• สร้าง: ชุดข้อมูลใหม่ปรากฏโดยอัตโนมัติจากเซสชัน หรือสร้างชุดข้อมูลว่างเปล่าแล้วอัปโหลดเข้าไป
• เปลี่ยนชื่อ: เปลี่ยนชื่อที่แสดงได้ทุกเมื่อ การเปลี่ยนแปลงนี้ไม่แตะต้องข้อมูลจริง
• ลบ: ลบชุดข้อมูลและเอปิโสดกับไฟล์ทั้งหมดของมัน การลบเป็นการถาวร ดังนั้นดาวน์โหลดไฟล์เก็บถาวรไว้ก่อนหากคุณอาจต้องการข้อมูลนี้อีก

ตัวเรียกดูเอปิโสด

การเปิดชุดข้อมูลจะพาคุณไปยังตัวเรียกดูเอปิโสด แต่ละเอปิโสดมีตัวเล่นวิดีโอสำหรับสตรีมกล้องของมันและกราฟข้อต่อที่ซิงค์กันซึ่งพล็อตค่าข้อต่อที่ทำให้เป็นมาตรฐานตลอดทั้งเอปิโสด การเลื่อนวิดีโอจะเลื่อนตัวชี้กราฟตามไปด้วย ทำให้ตรวจพบปัญหาได้อย่างรวดเร็ว การเข้าใกล้ที่กระตุกจะปรากฏเป็นจุดพุ่งในกราฟ การจับที่ล้มเหลวจะมองเห็นได้ในช่องสัญญาณกริปเปอร์ก่อนที่คุณจะดูวิดีโอด้วยซ้ำ

ป้ายกำกับเอปิโสด: Success, Recovery, Failure

แต่ละเอปิโสดสามารถมีป้ายกำกับหนึ่งในสามแบบ Success ทำเครื่องหมายการสาธิตงานที่สะอาด Recovery ทำเครื่องหมายเอปิโสดที่มีบางอย่างผิดพลาดกลางคันและคุณได้แก้ไขมัน สิ่งเหล่านี้มีค่าเพราะสอน policy ให้รู้วิธีกลับมาสู่เส้นทางที่ถูกต้อง Failure ทำเครื่องหมายเอปิโสดที่ไม่บรรลุเป้าหมายและโดยทั่วไปควรถูกกันออกจากการฝึก การติดป้ายกำกับขณะตรวจสอบนั้นถูกกว่ามากเมื่อเทียบกับการดีบัก policy ที่เรียนรู้จากการสาธิตที่แย่ไปอย่างเงียบ ๆ

การรวมชุดข้อมูล

การรวมจะผสานการบันทึกหลายรายการเข้าเป็นชุดข้อมูลที่ใหญ่ขึ้นหนึ่งชุด เช่น หนึ่งสัปดาห์ของเซสชันในงานเดียวกันหรือการบันทึกจากแขนที่ปรับเทียบแล้วสองตัว การรวมจะรับไฟล์เก็บถาวร tar.gz หลายไฟล์ แต่ละไฟล์บรรจุชุดข้อมูล LeRobot และสร้างชุดข้อมูลเดียวที่มีเอปิโสดถูกจัดดัชนีใหม่

1. 1
   เตรียมไฟล์เก็บถาวร

   แต่ละอินพุตต้องเป็นชุดข้อมูล LeRobot ที่สมบูรณ์บรรจุเป็นไฟล์เก็บถาวร tar.gz รวมถึงไดเรกทอรี meta ด้วย ไฟล์เก็บถาวรที่ไม่สมบูรณ์ซึ่งไม่มี info.json ไม่สามารถตรวจสอบความถูกต้องได้และจะถูกปฏิเสธ

2. 2
   อัปโหลดไฟล์เก็บถาวรหลายไฟล์

   ใน Dashboard > Datasets เริ่มการรวมและเลือกไฟล์ tar.gz ทั้งหมดที่คุณต้องการรวมเข้าด้วยกันในขั้นตอนเดียว

3. 3
   การตรวจสอบความถูกต้อง

   แพลตฟอร์มจะตรวจสอบว่า fps โครงสร้างฟีเจอร์ และ robot_type ตรงกันในทุกอินพุต หากสิ่งใดในสามสิ่งนี้แตกต่างกัน การรวมจะถูกปฏิเสธพร้อมระบุความไม่ตรงกัน เพราะชุดข้อมูลที่รวมกันโดยมีสตรีมไม่สอดคล้องกันจะทำให้การฝึกเสียหายอย่างเงียบ ๆ

4. 4
   ตรวจสอบผลลัพธ์

   ชุดข้อมูลที่รวมแล้วจะปรากฏในรายการของคุณพร้อมจำนวนเอปิโสดที่รวมกัน เปิดตัวเรียกดูเอปิโสดและสุ่มตรวจสอบเอปิโสดสองสามรายการจากแต่ละแหล่งก่อนที่คุณจะฝึกด้วยมัน

กฎความเข้ากันได้ทั้งสามนี้เข้มงวดโดยตั้งใจ ความไม่ตรงกันของอัตราเฟรมเปลี่ยนความหมายของทุกช่วงเวลา ความไม่ตรงกันของโครงสร้างทำให้ตัวโหลดเสียหายโดยสิ้นเชิง และการผสมประเภทหุ่นยนต์สร้างชุดข้อมูลที่ไม่มี policy ตัวใดสามารถทำงานด้วยได้ หากคุณต้องการรวมข้อมูลจากแขนต่างตัวของรุ่นเดียวกัน นั่นไม่มีปัญหา robot_type อ้างถึงรุ่น ไม่ใช่ตัวเครื่องจริง

ตลาดกลางชุดข้อมูล

ตลาดกลางให้คุณซื้อชุดข้อมูลที่บันทึกโดยคนอื่นและขายของคุณเอง ชุดข้อมูลที่ซื้อมาจะมาถึงแดชบอร์ดของคุณในรูปแบบเลย์เอาต์ LeRobot เดียวกับการบันทึกของคุณเอง ดังนั้นมันจึงทำงานร่วมกับตัวเรียกดูเอปิโสด การรวม และการฝึกได้โดยไม่ต้องมีขั้นตอนเพิ่มเติม

หากคุณขาย ให้คัดสรรก่อนที่จะลงประกาศ ตรวจสอบเอปิโสด ติดป้ายกำกับอย่างซื่อสัตย์ และตรวจสอบให้แน่ใจว่าข้อความงานอธิบายสิ่งที่เกิดขึ้นจริงในการบันทึก ผู้ซื้อที่ประเมินชุดข้อมูลของคุณจะเห็นตัวเรียกดูเอปิโสดเดียวกับที่คุณเห็น และชุดข้อมูลที่มีป้ายกำกับสะอาดและการสาธิตที่สม่ำเสมอจะมีค่ามากกว่ากองข้อมูลดิบของทุกสิ่งที่คุณเคยบันทึกไว้

คำถามที่พบบ่อย