עבודה עם מערכי נתונים

פורמט מערך הנתונים LeRobot

AY-Robots שומרת את כל נתוני ההדגמה בפורמט מערך הנתונים LeRobot שמתוחזק על ידי Hugging Face. היתרון המעשי הוא ניידות: מערך נתונים שהוקלט כאן נטען ישירות לקוד אימון מבוסס LeRobot, ומערכי נתונים שהוקלטו במקום אחר באותו פורמט אפשר להעלות ולהשתמש בהם בפלטפורמה בלי המרה.

מערך נתונים הוא אוסף של episodes. episode אחד הוא ניסיון שלם אחד למשימה, ממצב התחלה מוגדר עד הנקודה שבה עצרתם את ההקלטה. על הדיסק, episode מפוצל בין שלושה סוגי קבצים: קובץ Parquet עם ה-streams המספריים, קובץ וידאו אחד לכל מצלמה, ומטא-דאטה שמקשר את הכול יחד.

סכמת התכונות ב-info.json היא מה שקוד האימון קורא כדי להבין את הנתונים שלכם: אילו מפתחות תצפית קיימים, הצורות שלהם, וקצב ההקלטה. שני מערכי נתונים תואמים רק אם הסכמות שלהם מתאימות, וזה בדיוק מה שאימות המיזוג בודק.

ערכי מפרקים הם אחוזים, לא מעלות

כל ערכי המפרקים במערכי הנתונים של AY-Robots מנורמלים בפורמט LeRobot: כל ערך נע בין -100 ל-100 ומייצג אחוז מהטווח המכויל של אותו מפרק, לא זווית במעלות. קריאה של 0 היא מרכז הטווח המכויל, -100 ו-100 הם הגבולות שלו.

מערכי נתונים בענן בלוח הבקרה

Dashboard > Datasets מציג את מערכי הנתונים שלכם בענן עם ספירת episodes, גדלי קבצים, וסטטוס איסוף. מערכי נתונים נוצרים אוטומטית כשהפעלת תפעול מרחוק מקליטה נתונים, ותוכלו גם ליצור אחד באופן מפורש ולמלא אותו על ידי העלאת הקלטות מאפליקציית הדסקטופ.

• יצירה: מערכי נתונים חדשים מופיעים מהפעלות אוטומטית, או צרו אחד ריק והעלו אליו.
• שינוי שם: שנו את שם התצוגה בכל עת; השינוי לא נוגע בנתונים עצמם.
• מחיקה: מסירה את מערך הנתונים ואת כל ה-episodes והקבצים שלו. המחיקה קבועה, אז הורידו ארכיון קודם אם ייתכן שתזדקקו לנתונים שוב.

דפדפן ה-episodes

פתיחת מערך נתונים לוקחת אתכם לדפדפן ה-episodes. לכל episode יש נגן וידאו עבור ה-streams של המצלמה שלו וגרפי מפרקים מסונכרנים שמציגים את ערכי המפרק המנורמלים לאורך ה-episode. גלילה בווידאו מזיזה את סמן הגרף יחד איתו, מה שהופך את זיהוי הבעיות למהיר: התקרבות מקוטעת מופיעה כקפיצות בגרפים, אחיזה כושלת גלויה בערוץ ה-gripper עוד לפני שאתם צופים בווידאו.

תיוגי episode: Success, Recovery, Failure

כל episode יכול לשאת אחד משלושה תיוגים. Success מסמן הדגמה נקייה של המשימה. Recovery מסמן episode שבו משהו השתבש באמצע הניסיון ותיקנתם זאת; אלה בעלי ערך כי הם מלמדים policy איך לחזור למסלול. Failure מסמן episodes שלא הגיעו למטרה ולרוב כדאי להשאיר אותם מחוץ לאימון. תיוג תוך כדי סקירה הרבה יותר זול מ-debugging של policy שלמד בשקט מהדגמות גרועות.

מיזוג מערכי נתונים

מיזוג משלב כמה הקלטות למערך נתונים גדול אחד, למשל שבוע של הפעלות על אותה משימה או הקלטות משתי זרועות מכוילות. המיזוג לוקח כמה ארכיוני tar.gz, כל אחד מכיל מערך נתונים LeRobot, ומייצר מערך נתונים יחיד עם episodes ממוספרים מחדש.

1. 1
   הכינו את הארכיונים

   כל קלט חייב להיות מערך נתונים LeRobot שלם ארוז כארכיון tar.gz, כולל ספריית ה-meta שלו. ארכיונים חלקיים בלי info.json לא ניתנים לאימות ונדחים.

2. 2
   העלו כמה ארכיונים

   ב-Dashboard > Datasets, התחילו מיזוג ובחרו את כל ארכיוני ה-tar.gz שאתם רוצים לשלב בצעד אחד.

3. 3
   אימות

   הפלטפורמה בודקת ש-fps, סכמת התכונות, ו-robot_type תואמים בין כל הקלטים. אם אחד משלושת הפרמטרים שונה, המיזוג נדחה עם ציון אי-ההתאמה, כי מערך נתונים משולב עם streams לא עקביים ישחית באופן שקט את האימון.

4. 4
   סקרו את התוצאה

   מערך הנתונים הממוזג מופיע ברשימה שלכם עם ספירת episodes משולבת. פתחו את דפדפן ה-episodes ובדקו כמה episodes מכל מקור לפני שאתם מאמנים עליו.

שלושת כללי התאימות מחמירים בכוונה. אי-התאמות בקצב פריימים משנות את המשמעות של כל צעד זמן, אי-התאמות סכמה שוברות loaders לחלוטין, וערבוב סוגי רובוטים מייצר מערך נתונים שאף policy בודד לא יכול לפעול לפיו. אם אתם צריכים לשלב נתונים מזרועות שונות של אותו דגם, זה בסדר: robot_type מתייחס לדגם, לא ליחידה הפיזית.

שוק מערכי הנתונים

השוק נותן לכם לקנות מערכי נתונים שהוקלטו על ידי אחרים ולמכור את שלכם. מערכי נתונים שנרכשו מגיעים ללוח הבקרה שלכם באותה מתכונת LeRobot כמו ההקלטות שלכם, כך שהם עובדים עם דפדפן ה-episodes, המיזוג, והאימון בלי שום שלב נוסף.

אם אתם מוכרים, תחזקו לפני שאתם רושמים למכירה. סקרו את ה-episodes, תייגו אותם ביושר, וודאו שמחרוזות המשימה מתארות את מה שבאמת קורה בהקלטות. קונה שמעריך את מערך הנתונים שלכם רואה את אותו דפדפן episodes שאתם רואים, ומערכי נתונים עם תיוגים נקיים והדגמות עקביות שווים יותר מהעתקים גולמיים של כל מה שאי פעם הקלטתם.

שאלות נפוצות