נתונים סינתטיים למדיניות רובוטים: היכן שסימולציה עוזרת

כל כמה חודשים מישהו מגלה שהקלטת חמישים פרקים ידנית היא איטית, ושואל אם סימולטור יכול לייצר אותם במקום. זו שאלה הוגנת. התשובה הכנה מורכבת משלושה חלקים: נתונים שנוצרו אכן עוזרים, הם אינם מחליפים את ההקלטות האמיתיות, והיחס בין שתי העובדות הללו תלוי לחלוטין בסוג הנתונים הסינתטיים שאתה מתכוון אליהם.

עמוד זה סוקר את מה שנמדד בפועל בעבודות שפורסמו, מה שניתן להריץ היום על זרוע בעלות נמוכה כמו ה-SO-100, והיכן פער הסימולציה-למציאות (sim-to-real) מבטל את הרווחים. הגרסה הקצרה, לפני הפירוט: המערכות שמדווחות על המכפילים הגדולים ביותר מכפילות קבוצה קטנה של הדגמות אנושיות אמיתיות. הן אינן מבטלות את הצורך בהן.

ארבעה דברים שונים נקראים נתונים סינתטיים

לפני השוואת מספרים, כדאי להפריד בין המשפחות, מכיוון שמאמר המדווח על מכפיל פי 100 ומאמר המדווח על עלייה של 5 נקודות בהצלחה, מתארים לעיתים קרובות את אותו צינור עבודה (pipeline) מקצוות שונים. החוט המקשר הוא שמשהו ב-מערך הנתונים LeRobot נוצר על ידי מכונה ולא הוקלט מזרוע פיזית. מה ששונה הוא איזה חלק.

רק שלושת הראשונים הם נתונים סינתטיים במובן שמאמר זה מתכוון אליו. הרביעי ראוי לציון מכיוון שהוא נכלל באותה שיחה והוא ללא ספק הדבר הזול ביותר ברשימה. אם עדיין לא הפעלתם את ההגברות שהמאמן שלכם מגיע איתן, עשו זאת לפני שתתקינו סימולטור.

מה המספרים שפורסמו באמת אומרים

זהו בסיס הראיות, עם המספרים כפי שהמקורות מציגים אותם ולא כפי שסיכומי ההודעות לעיתונות מציגים אותם. כל שורה להלן מגיעה ממאמר או דף פרויקט שנקרא ב-23 באוגוסט 2026.

התבנית בכל אבלאציה כנה זהה. נתונים סינתטיים מרחיבים את הכיסוי בזול. הם אינם יוצרים מידע על התפסן שלך, שקיעת הסרוו שלך, התאורה שלך או גובה השולחן שלך שלא היה קיים בהדגמות האמיתיות איפשהו. אם המדיניות שלך נכשלת כי האפקטור קצה נסגר חצי שנייה מאוחר מדי, שום כמות של וריאציה מדומה לא תתקן זאת. זוהי בעיית תזמון תפסן בהקלטות האמיתיות.

ממצא אחד של MimicGen שווה לאמץ לסשני ההקלטה שלכם, מכיוון שהוא נוגד את העצה הרגילה. הפרויקט יצר שני מערכי נתונים על Square D2, אחד עם 10 הדגמות ממפעיל אנושי באיכות טובה יותר ואחד עם 10 הדגמות ממפעיל באיכות פחות טובה, שניהם נלקחו ממערך הנתונים robomimic multi-human Square. מדיניות שאומנה על כל אחד מהם השיגה תוצאות דומות, מה שהמחברים פירשו כסימן לכך שבמשטר נתונים בקנה מידה גדול, איכות הנתונים עשויה להיות פחות חשובה. קראו בעיון, זוהי הצהרה על עשר הדגמות הזרע, לא על חמישים הפרקים האמיתיים שלכם. המשמעות היא שמערך זרע מעט מרושל אינו הדבר שעומד בינכם לבין מערך נתונים שמיש שנוצר. זה לא אומר שהפרקים האמיתיים שאתם מאמנים עליהם במשותף יכולים להיות מרושלים, כי אלה הם אלה שנושאים את המידע שאין למדמה.

פער הסימולציה-למציאות, באופן קונקרטי

הפער נדון בדרך כלל ככמות יחידה, וזה לא מועיל. מדובר בחמישה אי-התאמות נפרדות לפחות, ולהן גדלים שונים בזרוע חובבים של 110 עד 150 אירו מאשר בזרוע Franka.

• מגע וחיכוך. Isaac Lab מצהיר בבירור שבהינתן אותה חומרה ואותה גרסת Isaac Sim ו-PhysX, הסימולציה ניתנת לשחזור, אך התוצאות משתנות בין תצורות חומרה שונות עקב דיוק נקודה צפה ושגיאות עיגול, וכי PhysX אינו מבטיח דטרמיניזם עבור כל סצנה עם גופים לא קשיחים כגון בד או גופים רכים.
• הפעלה. סרוו אפיק Feetech STS3215 הפועל ב-7.4 V שוקע תחת עומס, סובל מרישול (backlash), ומשנה התנהגות כשהוא מתחמם. מודל ה-MJCF עבור ה-SO-101 שואל את פרמטרי המנוע שלו מפרויקט לא קשור במקום לזהות אותם על הזרוע שלך.
• רינדור. רעש מצלמה, תריס מתגלגל (rolling shutter), חשיפה אוטומטית, והגוון המדויק של השולחן שלך אינם כלולים ברינדור. זהו חצי מהפער ש-Cosmos-Transfer1 נבנה כדי לסגור: זרימת העבודה של הגברת הרובוטיקה שלו ממפה דוגמה סינתטית רובוטית אחת למספר דוגמאות מציאותיות מתוך סגמנטציה, עומק או התניה קצה.
• תזמון. סימולטור מתקדם בקצב קבוע. לולאת בקרה אמיתית אינה עושה זאת, והמודל עצמו עולה 20 עד 485 אלפיות השנייה לכל שלב פעולה, תלוי באיזה מודל בחרת. ראה השהיית הסקה.
• סטטיסטיקות אובייקטים. סצנות מדומה נדגמות מהתפלגות שמישהו כתב. שולחן המטבח שלך אינו כזה.

מה ש-SO-100 מדומה באמת יודע על הזרוע שלך

זהו החלק שמחליט אם משהו מהאמור לעיל שווה את סוף השבוע שלך, וההפתעה הראשונה היא שה-SO-100 וה-SO-101 אינם מטופלים באופן שווה. מאגר ה-SO-ARM100 של TheRobotStudio שומר את נכסי הסימולציה שלו תחת Simulation/. תיקיית SO100 מכילה קובץ URDF יחיד ואין בה דבר נוסף. תיקיית SO101 מכילה קבצי URDF ו-MuJoCo: scene.xml, so101_new_calib.xml, so101_old_calib.xml, קבצי ה-URDF התואמים וקובץ joints_properties.xml. אם אתה רוצה מודל פיזיקלי ולא שרשרת קינמטית, אתה רוצה את קבצי ה-SO-101.

הם נוצרו באמצעות הפלאגין onshape-to-robot ממודל CAD שתוכנן ב-Onshape, מה שאומר שהקינמטיקה ורשתות הוויזואליזציה טובות כמו ה-CAD. הדינמיקה היא סיפור אחר, וה-README של המאגר עצמו גלוי לגבי שלושה דברים. רשתות התנגשות בסיסיות הוסרו עקב התנהגות התנגשות בעייתית במהלך סימולציה ותכנון. מאפייני המנוע STS3215 מותאמים מפרויקט Open Duck Mini במקום להימדד על SO-101. ומוסכמת האחיזה של LeRobot, שבה 0 הוא סגור לחלוטין ו-100 הוא פתוח לחלוטין, עדיין לא באה לידי ביטוי מפורש בקבצי ה-URDF וה-MuJoCo. כל אחד מאלה הוא מקום שבו מדיניות שאומנה אך ורק במודל זה תתנהג אחרת על השולחן שלך.

אקראיות תחום, ומה שהיא לא מתקנת

התשובה הסטנדרטית לפער היא להפסיק לנסות להתאים למציאות ובמקום זאת לאמן על פני התפלגות רחבה מספיק שהמציאות תיפול בתוכה. טובין ועמיתיו הראו את הגרסה החזקה של זה בשנת 2017: גלאי אובייקטים שאומן רק על תמונות מדומות עם טקסטורות אקראיות לא מציאותיות, ללא אימון מקדים על תמונות אמיתיות כלל, איתר אובייקטים אמיתיים בדיוק של 1.5 ס"מ ונשאר עמיד בפני מסיחים וחסימות חלקיות.

Isaac Lab חושף את אותו רעיון כמו מונחי אירוע שאתה מצרף לתצורת סביבה. אלה הם הכפתורים, לפי שמות הפונקציות האמיתיים שלהם ב-isaaclab.envs.mdp, כך שתוכל לקרוא אותם במקום לנחש.

הנה הגבול, וזה הגבול שאנשים נתקלים בו. אקראיות מרחיבה את ההתפלגות שהמדיניות ראתה בתוך המודל שבנית. היא אינה יכולה להציג אפקט פיזי שהסימולטור אינו מייצג. אם PhysX אינו מדגמן את ה-backlash ואת ה-thermal droop של מנועי ה-STS3215 שלך, אקראיות הקשיחות שלהם לא מלמדת את המדיניות דבר על backlash. זו הסיבה שזרוע ש-מפרפרת ואז צונחת תחת מדיניות שאומנה בסימולטור אינה בעיית תקציב אקראיות. זו בעיית מידול.

הנתיב הידני: יצירת נתונים ב-Isaac Lab

Isaac Gym היא תוכנה מדור קודם. העמוד של NVIDIA עצמה נושא את הכותרת "Isaac Gym - כעת מיושן" ואומר שמפתחים רשאים להוריד ולהמשיך להשתמש בה, אך היא אינה נתמכת עוד, ומפנה במקום זאת ל-Isaac Lab. אם אתם רוצים את ההיסטוריה, סיקרנו את שניהם: ו-. לעבודה חדשה בשנת 2026, התחילו ב-Isaac Lab.

1. 1
   התקנת Isaac Sim ו-Isaac Lab

   עמוד ההתקנה של pip מציין שההוראות מיועדות ל-Isaac Sim 5.X, הדורש Python 3.11. שיבוט המקור מספק את הסקריפטים שהשלבים הבאים זקוקים להם.

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   הקלטת כעשר הדגמות אנושיות

   התיעוד של Isaac Lab ספציפי: נדרשות כ-10 הדגמות מוצלחות כדי שהשלבים הבאים יצליחו. הטיפים שלו ספציפיים באותה מידה. שמרו על הדגמות קצרות, בחרו בנתיב ישיר במקום לנוע לאורך צירים שרירותיים, ואל תעצרו, מכיוון שלא ברור למדיניות מדוע ומתי לעצור.

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   ביאור גבולות תת-המשימות

   Mimic מפצל את ההדגמות הקלט לתת-משימות כדי שיוכל לתזמן מחדש ולמקד מחדש את המקטעים. הדגל --auto עושה זאת ללא התערבות אנושית עבור משימות המגדירות ביאור אוטומטי; בלעדיו אתם עוצרים עם B, ממשיכים עם N ומסמנים גבול עם S. שימו לב שמזהה המשימה מקבל סיומת -Mimic.

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   יצירת מערך הנתונים המוכפל

   זהו השלב שהופך 10 ל-1000. Mimic מיישם קריטריון הצלחה בוליאני לכל מועמד ושומר רק את אלה שהשלימו את המשימה, כך שמספר הפלטים נמוך ממספר הניסיונות. התיעוד מציין ששיעור ההצלחה של מועמדים יכול להגיע עד 70 אחוז במקרים פשוטים ומתחת ל-1 אחוז למשימות קשות ורובוטים מורכבים: כ-50 אחוז לערימת קוביות Franka, ו-65 עד 80 אחוז ל-GR1T2 pick and place, כאשר 1000 הדגמות אורכות 18 עד 40 דקות (19 דקות על RTX ADA 6000 ב-80 אחוז).

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   המרת HDF5 למערך נתונים של LeRobot

   כל מה שלמעלה מייצר HDF5 בטעם robomimic, וליבת Isaac Lab אינה מספקת ממיר LeRobot משלה: התיעוד שלה רק אומר שאתם יכולים להמיר את מערך הנתונים שנוצר לפורמט LeRobot. שני פרויקטים מספקים את הממיר בפועל. IsaacLab-Arena מספק ממיר המיועד ל-GR00T ומופעל כולו על ידי קובץ תצורה YAML, ו-LeIsaac מספק זוג משלו עבור נתיב SO-101 (ראו להלן).

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

מדוע ניסיונות יצירה נכשלים, ומה לשנות

שיעור הצלחה של מועמד שנע בין 70 אחוזים לפחות מאחוז אחד אינו תעלומה, ו-Isaac Lab מתעד את המלכודות הנפוצות במקום להשאיר אתכם לנחש. כל אחת מהן היא משהו שאתם שולטים בו בזמן ההקלטה, ולכן כדאי לקרוא רשימה זו לפני שאתם מקליטים את עשר הדגמות הזרע ולא לאחר הרצת הדור הראשונה המאכזבת.

• הדגמות ארוכות מדי. אופק זמן ארוך יותר קשה למדיניות ללמוד. התחילו קרוב לאובייקט הראשון ומזערו תנועה.
• הדגמות אינן חלקות. תנועה לא סדירה קשה למדיניות לפענח, וחומרת טל-אופרציה טובה יותר מספקת נתונים טובים יותר: התיעוד מציין בבירור ש-SpaceMouse עדיף על מקלדת.
• הפסקות. הפסקות קשות ללמידה, מכיוון שלא ברור למדיניות מדוע ומתי לעצור. שמרו על תנועה זורמת.
• יותר מדי משימות משנה. יותר משימות משנה פירושן יותר חיבורים בין מקטעי מסלול, מה שמוביל לתנועה פחות חלקה ושיעור הצלחה נמוך יותר ביצירה. סמנו גבולות שבהם הזרוע לא צפויה להתנגש בשום דבר.
• אין רעש פעולה. רעש פעולה הופך את המדיניות המתקבלת לחזקה יותר.
• הקלטה קצוצה מדי. אם ההקלטה נעצרת בדיוק בפריים שבו מופעל תנאי ההצלחה, ייתכן שהוא לא יופעל מחדש במהלך ההפעלה החוזרת. השאירו חיץ בסוף.
• הפעלה חוזרת לא דטרמיניסטית. הפיזיקה ב-Isaac Lab אינה ניתנת לשחזור דטרמיניסטי על פני env.reset, ולכן חלק מהדגמות אנושיות נכשלות בהפעלה חוזרת. אספו יותר ממה שאתם צריכים ושמרו את אלה ששורדות את התיאור. כל מה שנוחת בקובץ HDF5 שנוצר על ידי Mimic הוא הדגמה מוצלחת וניתן להשתמש בו לאימון גם אם ההפעלה החוזרת נכשלת מאוחר יותר.

לשלב האינטרפולציה בין מקטעי משימות משנה מחוברים יש כפתור כוונון משלו, ומספר שלבי האינטרפולציה שאתם צריכים משתנה בהתאם למהירות תנועת הרובוט ולרוחב התפלגות איפוס האובייקט. משימה מורכבת עם התפלגות איפוס גדולה משאירה פערים גדולים יותר בין המקטעים, מה שמצריך יותר שלבי אינטרפולציה כדי להיראות כתנועה רציפה. אם הסרטונים שנוצרו מראים את הזרוע נעה בקפיצות בין שלבים, זה הפרמטר שיש לבדוק לפני שאתם מאשימים את הדגמות הזרע.

אותה צינורית (pipeline) על SO-101, עם זרוע המנהיג האמיתית

זהו החלק המעניין עבור כל מי שקורא עמוד זה, מכיוון שזוהי הצינורית הפתוחה היחידה שמכניסה SO-101 לתוך Isaac Lab ומאפשרת לך להניע אותו עם זרוע המנהיג הפיזית שכבר בבעלותך. LeIsaac, version 0.4.0 at time of writing, הוא סביבת הסימולציה הרשמית ללמידת חיקוי המשולבת ב-LeRobot's EnvHub. טבלת התאימות שלו מפרטת שלושה שילובים עובדים; החדש ביותר משלב את Isaac Sim 5.1 עם Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 ו-Python 3.11, והתיעוד ממליץ על Isaac Sim 5.0 או חדש יותר עבור כרטיסי סדרה 50.

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

לאחר שהדבר הוגדר, זרוע המנהיג ב-/dev/ttyACM0 מניעה את העוקב המדומה ומתעדת ישירות ל-HDF5. לולאת ה-מנהיג-עוקב היא אותה לולאה שאתה כבר מכיר מהקלטה אמיתית, רק שהעוקב הוא גוף קשיח ב-PhysX.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

רוב המזהים הללו קיימים גם כגרסת -Direct-v0, ו-python scripts/environments/list_envs.py מדפיס את הרשימה הנוכחית. ניתן גם לדלג לחלוטין על עקיפת HDF5 ולכתוב בפורמט LeRobot במהלך טל-אופרציה על ידי הוספת שלושה דגלים. שתי אזהרות מגיעות מהתיעוד עצמו: המקליט מדלג אוטומטית על 5 הפריימים הראשונים של כל פרק כדי למנוע חוסר יציבות ממצבים ראשוניים, וזה עלול לגרום לעיכובים קלים בטל-אופרציה, וזה בדיוק מסוג הדברים שמשנים בשקט את אופי ההדגמות שלכם. הוא גם שוטף פרקים רק כאשר המשימה סומנה כמוצלחת.

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

שלב ההכפלה רץ לאחר מכן על ההקלטות הללו. LeIsaac עוטף את Isaac Lab Mimic בארבע פקודות, מכיוון ש-Mimic מכליל מסלולים מתנוחות קצה-אפקטור ואובייקטים: המרת פעולות במרחב המפרקים לפעולות מבוססות IK, הוספת הערות, יצירה, ולאחר מכן המרה חזרה למרחב המפרקים.

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

לאחר מכן המר ל-LeRobot. זהו השלב שבו כלל הפורמט של הפלטפורמה נכנס לתוקף, ו-LeIsaac מספק בדיוק את שני הממירים שאתה צריך: isaaclab2lerobot.py כותב LeRobot v2, וזה מה שמטעני ה-GR00T מקבלים, ו-isaaclab2lerobotv3.py כותב v3 עבור Pi0.5, SmolVLA ו-ACT. שני הסקריפטים מקבלים ארגומנטים זהים אך מקבעים גרסאות lerobot שונות, ורק פרקים מוצלחים מומרים.

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

שתי דרכים למדיניות מאומנת

מודלי עולם וידאו: השכבה החדשה ביותר, והפחות נמדדת

הרעיון מאחורי DreamGen הוא שמודל גנרטיבי וידאו, המותאם להתגלמות הרובוט היעד, יכול לדמיין פרקים סבירים בסצנות שמעולם לא ביקרת בהן. לצינור העבודה ארבעה שלבים: כוונון עדין של מודל עולם הווידאו, יצירת סרטוני רובוט סינתטיים פוטוריאליסטיים, שחזור רצפי פעולה מדומים עם מודל פעולה חבוי או מודל דינמיקה הפוכה, ולאחר מכן אימון מדיניות הרובוט על התוצאה. מאגר ה-GR00T-dreams של NVIDIA מיישם בדיוק את זה.

התוצאה העיקרית אמיתית ושווה התייחסות רצינית: נתוני טל-אופרציה ממשימת איסוף והנחה יחידה בסביבה אחת הניבו 22 התנהגויות חדשות על רובוט דמוי אדם, הן בסביבות שנצפו והן בסביבות שלא נצפו. הסייג אמיתי באותה מידה וטמון בשלב השלישי.

אימון משותף הוא המתכון שמראה רווחים בפועל

אם אתם לוקחים שיעור תפעולי אחד מהספרות, קחו את זה. מחקר האימון המשותף סימולציה-מציאות (Maddukuri ועמיתיו, 2025) יצא למצוא מתכון פשוט לשימוש בנתוני סימולציה כדי לפתור משימות מניפולציה רובוטיות מבוססות ראייה, בשני תחומים, זרוע רובוטית והומנואיד, ומסקנתו היא שמתאמנים על תערובת. נתוני סימולציה שיפרו את ביצועי המשימות בעולם האמיתי בממוצע של 38 אחוז, והמאמר מפרט כי הדבר נשמר גם עם הבדלים ניכרים בין נתוני הסימולציה לנתוני העולם האמיתי.

הסעיף האחרון חשוב יותר מ-38 האחוזים. הוא אומר שהסימולציה לא חייבת להיות תאום דיגיטלי מושלם כדי להיות שימושית, בתנאי שהנתונים האמיתיים נמצאים בתערובת כדי לעגן אותה. העברה מבוססת סימולציה בלבד היא הדרך היקרה: אותו מאמר קובע שאימון מדיניות אך ורק בסימולציה והעברתה לעולם האמיתי דורש לעיתים קרובות מאמץ אנושי ניכר כדי לגשר על פער המציאות. אימון משותף מדלג על רוב המאמץ הזה בכך שהוא אף פעם לא מבקש מהמדיניות לסגור את הפער בעצמה.

בפועל, בפלטפורמה זו, אימון משותף פירושו דבר אחד: הכניסו את שני סוגי הפרקים לאותו מערך נתונים של LeRobot עם מפתחות מצלמה עקביים, סדר מפרקים עקבי ויחידות עקביות, ולאחר מכן הפעילו כוונון עדין רגיל. אין כפתור משקל תערובת בטופס האימון. אם אתם רוצים יחס סימולציה-למציאות של 3:1, אתם מבטאים זאת על ידי מספר הפרקים מכל סוג שאתם מכניסים למערך הנתונים.

הרווח הקל ביותר מסימולציה אינו נתוני אימון

זוהי הערכה. הרצת עשרות ניסויים אמיתיים לכל משימה כדי להשוות בין שני היא יום של זמן זרוע, והזרוע נסחפת בין ניסויים. SIMPLER (לי ועמיתיו, 2024) בנה סביבות סימולציה שמטרתן היא ניקוד מדיניות אמיתית במקום לאמן אותן, ולאחר מכן מדד עד כמה דירוג הסימולציה מנבא את הדירוג האמיתי. סביבת SIMPLER יחידה מעבדת 3,500 צעדי סימולציה בשנייה על כרטיס RTX 4090 צרכני ברזולוציה של 640 על 512, מה שבתדר סימולציה של 500 הרץ מהווה האצה פי 7 לעומת הערכה אמיתית.

אלו ממוצעים על פני שלוש קבוצות משימות של Google Robot עבור שש נקודות בקרה נפוצות בקוד פתוח: שלוש נקודות בקרה של RT-1 בשלבי אימון שונים, RT-1-X, RT-2-X ו-Octo-Base. הצד האמיתי אינו ספירת ניסויים אחידה, וזה שווה לדעת לפני שמצטטים זאת: 75 ניסויים עבור הרמת פחית קולה, 60 עבור התקרבות, 54 עבור משימות פתיחה וסגירת מגירה ו-27 עבור משימת המגירה והתפוח הארוכה יותר. ההשוואה מול שגיאת ריבוע ממוצעת באימות היא החלק השימושי. בחירת מודל לפי אובדן אימות מדרגת את נקודות הבקרה הללו בצורה גרועה, ו-Pearson r של 0.924 תחת התאמה ויזואלית פירושו שאם נקודת בקרה מקבלת ציון טוב יותר ב-SIMPLER, סביר מאוד שהיא תקבל ציון טוב יותר במבחן. זהו לוח תוצאות שניתן לשחזר בן לילה, והוא אינו דורש ממך להאמין לשום דבר לגבי העברת אימון מסימולציה למציאות.

אם אתם רוצים את ההקשר הרחב יותר לגבי מה שמספרי בנצ'מרק אלה כן ולא אומרים לכם על , כתבנו על כך בנפרד ב.

היכן פלטפורמה זו אינה עוזרת לכם

הבהרת הגבולות חוסכת לכולם זמן. AY-Robots היא פלטפורמת הקלטה, אימון והגשה. אין בה סימולטור.

• אין Isaac Lab, אין MimicGen, אין מודל עולם, אין יצירת סצנות. אם אתה רוצה נתונים שנוצרו, אתה מייצר אותם במקום אחר ומביא את התוצאה.
• המאמנים צורכים מערכי נתונים של LeRobot ורק אותם. ייצוא סימולטור חייב להיות מומר לפני שהוא קלט, והוא חייב להיות בגרסה הנכונה: v2.0 או v2.1 עבור GR00T N1.5 ו-N1.7, v3.0 עבור Pi0.5, SmolVLA ו-ACT.
• נקודת הכניסה לכוונון עדין של GR00T היא CLI של tyro שאינו חושף seed, ולכן הרצות של GR00T אינן ניתנות לשחזור ביט-אחר-ביט. אם אתה מריץ בדיקת אבלציה מדוקדקת של סימולציה מול מציאות, זו מגבלה אמיתית. ה-seed ברירת המחדל של lerobot עצמו הוא 1000, והטפסים של ACT, SmolVLA ו-Pi0.5 כן חושפים שדה seed.
• צבירת גרדיאנטים מיושמת בפועל רק עבור שני המאמנים של GR00T. עבור Pi0.5 ו-SmolVLA השדה קיים בטופס אך ל-lerobot 0.5.1 אין דגל כזה, ולכן הוא לא עושה כלום.
• הסקת מסקנות (Inference) חייבת להיות קרובה למנועים (servos) עבור משימות מהירות. לולאת הבקרה היא 20 עד 485 אלפיות השנייה לכל שלב פעולה בהתאם למודל, והוספת נסיעות הלוך ושוב באינטרנט ציבורי הופכת מדיניות עובדת למדיניות מהוססת. הסקת מסקנות מרחוק (Remote inference) אפשרית עבור משימות איסוף והנחה איטיות (slow pick-and-place), לא עבור תנועה תגובתית מהירה.

תקציב שאתה יכול להגן עליו

שים את שני הנתיבים זה לצד זה עם המספרים שכל אחד מפרסם בפועל, וההחלטה בדרך כלל מתקבלת מעצמה עבור פרויקט משימה יחידה על זרוע בעלות נמוכה.

עבור מדיניות ראשונה ב-SO-100, הקלט. ה-מדריך ההקלטה ו-הרצת האימון הראשונה יביאו אותך לנקודת ביקורת מוגשת במחיר של קפה, ותהיה לך את המחצית האמיתית של כל תערובת אימון משותף עתידית. פנה לסימולטור כאשר יש לך קו בסיס עובד וכשל ספציפי בהכללה שאתה יכול לנקוב בשמו, כגון מדיניות ש-עובדת רק בהגדרה אחת.

מתכון שמכבד את הראיות

1. 1
   תעד את קו הבסיס האמיתי תחילה

   30 episodes for SmolVLA, 50 for ACT, GR00T N1.7 and Pi0.5. אמן פעם אחת. כל מה שהמדיניות הזו נכשלת בו הוא המפרט שלך עבור הנתונים הסינתטיים.

2. 2
   נקוב בשם כשל ההכללה

   תנוחת אובייקט? תאורה? גובה שולחן? מסיחים? ניסוח שונה של ההוראה? נתונים סינתטיים טובים בדיוק באחד מאלה בכל פעם, וחסרי תועלת אם אינך יכול לומר באיזה.

3. 3
   בחר את המשפחה הזולה ביותר שמכסה זאת

   וריאציית תנוחה ופריסה: הכפלת מסלולים. תאורה וטקסטורה: הגברת תמונה תחילה, מודל עולם שני. סצנות חדשות לגמרי: הרצות פיזיקה, וקבל את עלות המידול.

4. 4
   הפק, ואז זרוק באגרסיביות

   ניסיונות יצירה נכשלים, ושיעור ההצלחה של מועמדי Isaac Lab עצמו נע בין 70 אחוזים ועד מתחת ל-1 אחוז בהתאם למשימה. שמור רק מסלולים מוצלחים, משלימי משימות, ובדוק דגימה כסרטון לפני שאתה סומך על האצווה.

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   אמן במשותף, אל תחליף

   מזג את הפרקים שנוצרו עם הפרקים האמיתיים למערך נתונים יחיד של LeRobot עם מפתחות מצלמה וסדר מפרקים זהים. הנתון של 38 אחוזים הוא נתון אימון משותף.

6. 6
   הערך על הזרוע האמיתית, ורק שם

   הערכה מדומה היא אות דירוג טוב (Pearson r 0.924 בהגדרת התאמה ויזואלית של SIMPLER) אך היא אינה מבחן הקבלה. הרץ את נקודת הבדיקה על הספסל לפני שאתה מאמין בה.

אם אתה מעדיף להתחיל מרשימת בדיקה עבור ההקלטות האמיתיות עצמן, מכסה מיקום מצלמה, השלכות ומצבי הכשל שהופכים למערך נתונים בלתי שמיש. פרטים על הפורמט עצמו נמצאים ב, וצד ההיפרפרמטרים ב.