โปรแกรมเดสก์ท็อปและ CLI

โปรแกรมเดสก์ท็อปทำอะไร

Cockpit บนเบราว์เซอร์ถูกสร้างมาเพื่อควบคุมทางไกลหุ่นยนต์ที่อยู่บนแพลตฟอร์ม โปรแกรมเดสก์ท็อปครอบคลุมอีกครึ่งหนึ่งของขั้นตอนการทำงาน คือ ตัวคุณ แขนหุ่นยนต์บนโต๊ะของคุณ และชุดข้อมูลที่คุณต้องการบันทึกด้วยตัวเอง มันเชื่อมต่อกับแขนผ่าน USB ตรวจจับกล้องที่เชื่อมต่ออยู่ และนำทางคุณผ่านการบันทึกทีละเอปิโสด

การตรวจจับเป็นไปโดยอัตโนมัติ เสียบ SO-100 เข้าไปแล้วโปรแกรมจะหาพอร์ตอนุกรมและแจกแจง servo เว็บแคมที่เชื่อมต่ออยู่จะปรากฏในหน้าตัวอย่างเพื่อให้คุณตรวจสอบเฟรมก่อนบันทึกอะไรก็ตาม ไม่มีไฟล์ตั้งค่าที่ต้องเขียนและไม่ต้องตามหา driver

ทุกอย่างที่คุณบันทึกจะถูกเขียนลงดิสก์ในเครื่องก่อน ไม่มีอะไรออกจากเครื่องของคุณจนกว่าคุณจะอัปโหลดอย่างชัดเจน ซึ่งสำคัญมากหากเอปิโสดของคุณมีสิ่งที่คุณยังไม่พร้อมแชร์ หรือหากคุณกำลังบันทึกในที่ที่ไม่มีการเชื่อมต่อที่เชื่อถือได้

ดาวน์โหลดและติดตั้ง

โปรแกรมนี้มีให้ใช้งานสำหรับ macOS, Windows และ Linux ที่ /download ติดตั้งมัน เข้าสู่ระบบด้วยบัญชีแพลตฟอร์มของคุณ และเชื่อมต่อแขน หากคุณกำลังจับคู่หุ่นยนต์กับแพลตฟอร์มในเวลาเดียวกัน โปรแกรมนี้ก็เป็นที่ที่คุณใช้รหัสจับคู่จากตัวช่วยด้วยเช่นกัน

ขั้นตอนการบันทึกแบบมีคำแนะนำ

การบันทึกข้อมูล imitation learning ที่ดีส่วนใหญ่เป็นเรื่องของวินัย และโปรแกรมจะบังคับใช้วินัยนั้นให้คุณ แต่ละเอปิโสดจะผ่านห้าขั้นตอนเดียวกัน

1. 1
   อธิบายงาน

   หนึ่งประโยคที่ชัดเจน พูดในรูปแบบเดียวกันทุกครั้งสำหรับงานเดียวกัน policy ที่มีเงื่อนไขทางภาษาจะให้ความสนใจกับข้อความนี้ ดังนั้น "pick up the red cube and place it in the bowl" ดีกว่า "test 4"

2. 2
   รีเซ็ตฉาก

   เคลื่อนแขนไปยังท่าเริ่มต้นและวางวัตถุ ตัวอย่างกล้องมีไว้เพื่อให้คุณยืนยันเฟรมก่อนที่จะเริ่มบันทึก ไม่ใช่หลังจากนั้น

3. 3
   บันทึก

   ควบคุมทางไกลแขนผ่านงานด้วยการเคลื่อนไหวที่ตั้งใจและราบรื่น หยุดทันทีที่งานเสร็จสมบูรณ์แทนที่จะค้างอยู่ในเฟรม

4. 4
   ตรวจสอบ

   เล่นเอปิโสดย้อนหลังก่อนที่จะเก็บไว้ การทิ้งเอปิโสดที่ไม่ดีเสียเวลาแค่ไม่กี่วินาที การฝึกด้วยเอปิโสดนั้นเสียเวลาหลายชั่วโมง

5. 5
   อัปโหลด

   เมื่อคุณพอใจแล้ว ให้อัปโหลดชุดข้อมูล เอปิโสดจะปรากฏในตัวเรียกดูชุดข้อมูลของคุณบนแพลตฟอร์ม เคียงข้างกับสิ่งที่บันทึกผ่านเซสชันทางไกล

ข้อมูลในเครื่องและการส่งออก LeRobot

เอปิโสดถูกจัดเก็บและส่งออกในรูปแบบ LeRobot ซึ่งเป็นรูปแบบแลกเปลี่ยนที่ระบบนิเวศโอเพนซอร์สด้านการเรียนรู้ของหุ่นยนต์ส่วนใหญ่ยอมรับ ชุดข้อมูลที่บันทึกด้วยโปรแกรมเดสก์ท็อปสามารถนำไปฝึกได้โดยตรงสำหรับ ACT, Diffusion Policy, SmolVLA หรือ fine-tune ของ GR00T

CLI

CLI ติดตั้งแบบสแตนด์อโลนได้ โดยไม่ต้องมีโปรแกรมเดสก์ท็อป ทำให้เป็นตัวเลือกที่เหมาะสำหรับเครื่อง headless และสคริปต์ต่าง ๆ บน macOS และ Linux:

curl -fsSL https://www.ay-robots.com/install.sh | sh

บน Windows ใน PowerShell:

irm https://www.ay-robots.com/install.ps1 | iex

CLI ยืนยันตัวตนด้วย API key สร้างหนึ่งอันที่ /dashboard/settings คีย์มีคำนำหน้า ayr_live_ และควรได้รับการดูแลเหมือนรหัสผ่าน ดังนั้นเก็บมันไว้ในตัวแปรสภาพแวดล้อม shell ของคุณหรือใน secret manager แทนที่จะใส่ไว้ในสคริปต์ที่คุณ commit

MCP: ในเครื่องและ hosted

หากคุณทำงานกับผู้ช่วยหรือ editor ที่รองรับ MCP แพลตฟอร์มนี้สามารถเข้าถึงได้ผ่าน Model Context Protocol สองวิธี เซิร์ฟเวอร์ในเครื่องรันบนเครื่องของคุณและเริ่มต้นด้วยคำสั่งเดียว:

ay-robots mcp

เซิร์ฟเวอร์ hosted อยู่ที่ https://www.ay-robots.com/api/mcp และพูด Streamable HTTP ไม่ต้องติดตั้งในเครื่องเลย เพียงชี้ MCP client ของคุณไปที่ URL และยืนยันตัวตนด้วย API key ayr_live_ จาก /dashboard/settings เพื่อทำงานกับข้อมูลบัญชีของคุณ

คำถามที่พบบ่อย