שימוש ב-DROID, BridgeData V2 ו-Open X על SO-100

ישנו מערך נתונים ציבורי של מיליון מסלולים בדלי של Google Cloud ו-SO-100 על השולחן שעלה 110 עד 150 אירו בחלקים. מדוע הראשון לא יכול ללמד את השני? הוא יכול חלקית, אבל כמעט אף אחד מההעברה לא מתרחש היכן שאנשים מצפים, והחלק שנראה קל ביותר אינו עובד כלל.

להלן: מה נמצא בתוך DROID, BridgeData V2 ו-Open X-Embodiment, היכן שכל אחד מהם מתנגש עם זרוע 5-DoF בעלות נמוכה, ומה לעשות במקום זאת. כל מספר להלן הגיע מהמאמר, כרטיס מערך הנתונים או קובץ המקור שאליו הוא שייך.

מה מכילים שלושת מערכי הנתונים בפועל

DROID

המתוכנן ביותר מבין השלושה. מתקן אחד בכל מקום: Franka Panda עם תופסן Robotiq 2F-85, שתי מצלמות סטריאו ZED 2 מתכווננות ו-ZED Mini לפרק כף היד, מופעל מרחוק עם בקרי Meta Quest 2, הוקלט דרך Polymetis ב-15 הרץ הן במרחב המפרקים והן במרחב קצה-אפקטור .תוויות שפה הגיעו מאוחר יותר דרך tasq.ai, עד שלוש לכל פרק.

• 76 אלף מסלולים, 350 שעות, 564 סצנות, 84 משימות, 50 אספנים בשלוש יבשות.
• התוצאה העיקרית היא אימון משותף (co-training), לא אימון עצמאי: אצוות מעורבות 50/50 עם הדגמות בתחום עקפו את השיטה הטובה הבאה ב-22 אחוז הצלחה מוחלטת בהתפלגות, ו-17 אחוז מחוצה לה.
• IPEC-COMMUNITY/droid_lerobot: 92,233 פרקים, 27,044,326 פריימים, franka, 15 פריימים לשנייה, codebase_version v2.0, שלושה זרמי AV1 ב-180x320, 392 ג'יגה-בייט.
• דגימת ניפוי באגים של 2 ג'יגה-בייט ו-100 פרקים נמצאת ב-gs://gresearch/robotics/droid_100. התחילו משם.

BridgeData V2

הקרוב ביותר להגדרת תחביב: זרוע WidowX 250 בעלת 6 דרגות חופש, 60,096 מסלולים ב-24 סביבות ו-13 מיומנויות ב-5 הרץ. שימו לב להרכב: 50,365 הדגמות מומחה מופעלות מרחוק בתוספת 9,731 ממדיניות אקראית של הרמה והנחה (pick-and-place), כך שכ-16 אחוז אינם הדגמה אנושית, וזה חשוב עבור למידת חיקוי איכות. ההורדה הרגילה, IPEC-COMMUNITY/bridge_orig_lerobot, מדווחת על 53,192 פרקים ו-1,893,026 פריימים ב-5 פריימים לשנייה, robot_type widowx: פחות מ-60,096 של המאמר, לכן קראו את הספירה מ-meta/info.json במקום לצטט אחד מהם.

Open X-Embodiment

לא מערך נתונים באותו מובן: 60 מערכי נתונים קיימים של רובוטים מ-34 מעבדות שאוחדו לאוסף RLDS אחד המכסה 22 התגלמויות ולמעלה ממיליון מסלולים. BridgeData V2 נמצא בתוכו כ-bridge_orig; החלק של google_robot, fractal20220817_data, מומר ל-87,212 פרקים ב-3 פריימים לשנייה.

האיחוד נושא אזהרה שהמאמר מצהיר עליה במפורש. עבור ניסויי RT-X, המחברים ממירים כל מקור לפעולת קצה-אפקטור של 7 דרגות חופש, אך אינם מיישרים מסגרות קואורדינטות בין מערכי נתונים, ומאפשרים לערכי הפעולה להיות מיקומים או מהירויות מוחלטים או יחסיים, לפי תוכנית הבקרה המקורית של כל רובוט. מסקנתם: אותו וקטור פעולה עשוי לגרום לתנועות שונות מאוד עבור רובוטים שונים.

אי ההתאמה, בארבעה חלקים

אי-התאמה בין התגלמויות (embodiment mismatch) נתפסת בדרך כלל כבעיה מעורפלת אחת. למעשה, מדובר בארבע בעיות שונות, כל אחת נכשלת באופן אחר, ושתיים מהן אינן ניתנות לתיקון באמצעות סקריפטים.

1. דרגות חופש

ל-SO-100 יש חמישה מפרקי זרוע בתוספת תופסן. אם נספור כמנועים, זוהי זרוע בעלת 6 דרגות חופש (DoF), ומאמר SmolVLA מתייחס אליה כך; אם נספור כמנגנון מיקום, זוהי זרוע בעלת 5 דרגות חופש, ו-LeRobot מתייחס אליה כך בתיעוד ה-inverse-kinematics שלה, המתאר IK עם אוריינטציה רכה ב-SO-101 בעל 5 דרגות חופש, שבו פרק כף היד עוקב אחר האוריינטציה רק באופן חלקי. לפרנקה יש שבעה מפרקי מיקום. פער זה קובע אילו תנוחות קיימות: זרוע בעלת 5 דרגות חופש אינה יכולה בדרך כלל להגיע למיקום ואוריינטציה שרירותיים בו-זמנית, ולכן הפותר מחזיר את הקרוב ביותר שהוא יכול, תנועה שונה מזו שהודגמה. רקע: דרגות חופש.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

לכן נקודת ביקורת (checkpoint) מוכנה של DROID אינה קיצור דרך. Physical Intelligence מספקת את pi05_droid ב-gs://openpi-assets/checkpoints/pi05_droid, ואותו קובץ README שמשבח את רוחב היריעה שלו מזהיר שנקודות ביקורת מומחים אלו עשויות שלא להתאים להגדרה שלך. המצב שלו הוא שמונה מספרי מפרקים של Franka ומפתחות התמונה שלו הם exterior_image_1_left ו-wrist_image_left. אין דגל שהופך זאת לפקודת SO-100 עם שישה מנועים.

2. מה וקטור הפעולה אומר בפועל

עמוק יותר מממדיות. בהמרות של LeRobot, כל השלושה מציינים לאן התופסן צריך ללכת, במרחב קרטזי. SO-100 מציין לאן שישה סרווים צריכים ללכת. ההמרה דורשת מודל קינמטי ופותר, לא שינוי צורה (reshape).

LeRobot אכן מספק את החלק החסר: לעוקב ה-SO יש מעבד קינמטיקה עם שלבי InverseKinematicsEEToJoints ו-ForwardKinematicsJointsToEE. המפתחות שלו הם ee.x, ee.y, ee.z בתוספת וקטור סיבוב ee.wx, ee.wy, ee.wz ו-ee.gripper_pos, כך שאפילו קידוד האוריינטציה שונה מה-roll-pitch-yaw בקבצים. שלב ה-IK מקבל orientation_weight, ברירת מחדל 0.01, שה-docstring שלו מציין להגדיר 0.0 עבור IK מבוסס מיקום בלבד בזרועות עם תת-הפעלה. ניתן לבנות את הגשר, אך מחצית האוריינטציה של כל פעולה מושאלת נשארת מקורבת.

3. קצב בקרה

DROID הוא 15 הרץ, BridgeData V2 5 הרץ, פרוסת google_robot 3 פריימים לשנייה; מחברי pi0 מתארים את החלק בקוד הפתוח של התערובת שלהם כבקרה בתדר נמוך בין 2 ל-10 הרץ. ה-DatasetRecordConfig של LeRobot מוגדר כברירת מחדל ל-fps 30, episode_time_s 60, reset_time_s 60, num_episodes 50. שאומנה על נתוני 5 הרץ למדה שפעולה אחת מכסה 200 אלפיות השנייה. הפעלה חוזרת שלה ב-30 הרץ גורמת לזרוע לזחול; דגימה מחדש בדרך נאיבית תמרח את הפריימים שבהם האחיזה נסגרת. זה גם מקיים אינטראקציה גרועה עם : חבילת 100 צעדים היא 20 שניות ב-5 הרץ, 3.3 ב-30 הרץ.

4. מצלמות

BridgeData V2 הגריל שתי תנוחות מצלמה כל 50 מסלולים, ודף הפרויקט שלו מציין שרוב הנתונים מכילים רק את התצוגה הקבועה בכל מקרה. DROID השתמש במתקני ZED 2 מתכווננים בתוספת ZED Mini על פרק כף היד. יש לך שתי מצלמות רשת USB הממוקמות לפי העין. תנוחת מצלמה אינה משתנה מפריע עבור ; זהו חלק גדול ממה שהמקודד הוויזואלי התמקד בו, ושום דבר בפורמט הקובץ לא אומר לך שהתנוחות שונות.

מה קורה כשמנסים למזג את הנתונים בכל מקרה

התוכנית הברורה היא לשרשר: כמה אלפי פרקי DROID בתוספת 50 הפרקים שלך. LeRobot מסרב, והסירוב מציין את שלושת הדברים השונים.

1. 1
   משוך את דגימת 100 הפרקים, לא את ה-1.7 TB המלאים

   2 GB מספיקים כדי לראות את המבנה.

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   המר RLDS לפורמט LeRobot

   openx2lerobot עוטף את טרנספורמציות ה-OXE הסטנדרטיות ומציין את סוג הרובוט ותדירות הבקרה. קובץ ה-README ממקם זאת ב-convert.sh.

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   קרא את meta/info.json לפני כל דבר אחר

   קובץ זה קובע אם שאר היום שלך יעבוד.

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   נסה את המיזוג וקרא את השגיאה

   merge טוען כל מערך נתונים, ואז validate_all_metadata בודק את fps, robot_type ותכונות מול הראשון ברשימה, ומעלה שגיאה בהתאמה הראשונה.

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

ערכי הייחוס מגיעים מכל מערך נתונים שציינת ראשון, ולכן ההודעה מתלוננת על 30 ה-fps שלך במקום 15 ה-fps של DROID. תקן את ה-fps ותיתקל בבדיקת robot_type; תקן זאת ותיתקל בבדיקת התכונות, 7 מול 6 עבור הפעולה. שום סדר לא עובר, ואותו מנגנון הגנה פועל בזמן ההקלטה באמצעות sanity_check_dataset_robot_compatibility.

אז מה בעצם עובר?

משקולות, לא אפיזודות. כל מדיניות כללית מודרנית ספגה חלק מזה באימון מוקדם, וכאשר אתה מתוך אתה יורש אותו כבר מיושב על ידי אנשים עם כוח המחשוב לבצע זאת כראוי. המאמר של pi0 גלוי לגבי הפרופורציה: 9.1 אחוז מתערובת האימון המוקדם שלו, הנספרת בצעדי זמן, היא נתונים בקוד פתוח הכוללים את OXE, Bridge v2 ו-DROID. נתון זה הוא של pi0; התערובת של כל ספק שונה.

זו הסיבה ש-SmolVLA מתנהג אחרת על זרוע בעלות נמוכה. המאמר שלו בוחר 481 מערכי נתונים קהילתיים מ-Hugging Face, המסוננים לפי סוג התגלמות, ספירת פרקים, איכות נתונים וכיסוי פריימים: 22.9K פרקים, 10.6M פריימים, הוערכו על זרועות SO-100 ו-SO-101 אמיתיות. קטן ותואם עדיף על גדול ולא תואם. השווה ב-ACT מול SmolVLA.

שלושה נתיבים שכדאי ללכת בהם

נתיב א': כוונון עדין מנקודת ביקורת שכבר קלטה את הנתונים

רוב האנשים צריכים לבחור בזה. לעולם אל תיגע ב-DROID או Open X-Embodiment: בחר מדיניות שהאימון המוקדם שלה כבר קלט נתונים חוצי-התגלמות, הקלט פרקים משלך, בצע כוונון עדין.

ACT הוא מקרה הקצה הכנה: אין מודל בסיס, כך שאף אחד מהנתונים הציבוריים לא מגיע אליו. זה לא בהכרח חיסרון, שכן ב-20 ms לכל צעד פעולה הוא היחיד מבין החמישה שיכול לסגור לולאה מהירה, כפי שדף ה-ACT מפורט. בחר לפי משימה באמצעות כל החמישה בהשוואה, GR00T N1.7 מול Pi0.5, ו-332 תוצאות הבנצ'מרק על פני 85 מודלים ב-הזירה.

נתיב ב': השתמש ב-DROID כמתקן בדיקה

דגימת 100 הפרקים היא ה-2 GB הטובים ביותר שתורידו החודש, ולא לאימון. זהו מערך נתונים שאתם יודעים שהוא נכון. הפעילו עליו את הממיר, הטוען ועבודת GPU קצרה; כל דבר שנכשל הוא באג תשתית שנמצא בזמן שהיה זול. NVIDIA עושה את אותו הדבר בקנה מידה: כרטיס ה-GR00T N1.7 מפרט ארבע גרסאות מאומנות לאחר מכן, עבור Bridge ו-Fractal ב-SimplerEnv, DROID ו-LIBERO.

נתיב C: הקלט בעצמך, במכוון

שלושים עד חמישים נשמע מעט ליד 76,000 עד שאתה זוכר ששלך הן היחידות עם הזרוע שלך, המצלמות שלך והשולחן שלך. בברירות המחדל של LeRobot, חמישים אפיזודות הן 100 דקות של זמן שעון קיר. ראה , ו-.

שתי דרכים לעבור מנתונים ציבוריים למדיניות עובדת

עלות כל נתיב

האסימטריה היא העיקר: הנתיב ששואל הכי הרבה נתונים הוא היקר ביותר ובעל הסיכוי הנמוך ביותר להזיז את זרועך. פחות משעתיים של טלפרודוקציה שלך עדיפות על טרה-בייט של פרנקה של מישהו אחר. אין לך עדיין זרוע? /live מזרים SO-100 פיזי ללא הרשמה. לאחר מכן אמן את המדיניות הראשונה שלך, ו-SmolVLA על SO-100 למדריך הספציפי.