Blog

תיאור שלב אחר שלב של סיבוב DAgger אחד בהנחיית אדם על זרוע SO-100: הפעל את המדיניות והקלט אותה, השתלוט כאשר היא נכשלת, הכנס את ההרצה כתיקון, הרכב מערך נתונים מעורב, והמשך הדרכה מנקודת בדיקה. כולל נתיב השתלטות מקלדת וגלגלנים לאנשים ללא זרוע מנהיגה, וארבעת הטעויות שהופכות סיבוב לחסר ערך.

קצב ההשתתפות - תיבות התערבות חלקי תיבות הריצה - הוא האות התקדמות הנחמדה והכנה ביותר שיש ללולאת DAgger בשיעור אנושי. מאמר זה מגדיר אותו כך שיהיו לשניים מחשבים את אותו הערך, מראה איך לתעד אותו, ועובד דרך ארבע הדרכים בהן הוא מטעה אותך: התרגלות אופרטור, הגדרת הערכה סוחפת, הדרכה רק על תיקונים, ואדם שמתקן אחרת ביום שלישי מאשר ביום שני.

DAgger רגיל מבקש מאדם לתווג מצבים בזמן שהרובוט עדיין נוסע. בחומרה אמיתית זה לא בטוח וזה מייצר תוויות גרועות. הגרסאות הסגורות מחליפות תיוג עיוור בשער שמישהו צריך להחזיק: האדם בـ HG-DAgger, מסווג בטיחות בـ SafeDAgger, חילוקי דעות של ensemble בـ EnsembleDAgger, הערכה של חדשות וסיכון תקציבי בـ ThriftyDAgger. מאמר זה משווה אותם לפי מי הבעלים של השער, איזה אות פותח אותו, וכמה כל אחד עולה - ולמה הצורה בשער אנושי היא זו ששורדת קשר עם זרוע אמיתית.

Behavior cloning מתאימה מדיניות על ההתפלגות המצב של המומחה ואז מפותחת בעצמה. הפער בין שתי התפלגויות אלו הוא מדוע מדיניות שנראית בסדר בוידוליציה הולכת מהשולחן בשלב 300. זה פרק התיאוריה של סדרת ה-DAgger שלנו: היכן המונח שגיאה ריבועית מגיע, מה Dataset Aggregation משנה, מה הוכחת ה-no-regret מניחה, ואיזה חלק מהחשבון המומחה עדיין צריך לשלם.

DROID, BridgeData V2 ו-Open X-Embodiment מומרים לפעולות קצה-אפקטור ב-7 מימדים על זרועות בעלות 6 ו-7 דרגות חופש. SO-100 מקבל 6 מיקומי מפרקים. מה עובר, מה לא, ומה לעשות במקום.

סימולציה יכולה להכפיל קומץ הדגמות לאלפים. הנה מה שהמספרים שפורסמו באמת אומרים, היכן שפער ה-sim-to-real נושך, ומה שעדיין צריך להקליט.

TinyVLA ו-SmolVLA מציבים VLA עובד מתחת למיליארד פרמטרים. נתונים אמיתיים משני המאמרים, ברירות המחדל של LeRobot, זמן השהיה מדוד, ומה עולה הרצה על כרטיס 24 GB.

למכונת הרובוט שלך אין GPU. הצב את שרת המדיניות של GR00T על GPU ענן שכור, הזרם נתחי פעולה לזרוע, ולמד בדיוק מה עלות הרשת עבורך.

אמן Action Chunking Transformer מאפס על SO-100 עם lerobot: הגדרות ה-act, ה-chunk_size וה-n_action_steps, לוח הזמנים של 100000 צעדים, הסקה ב-20 אלפיות השנייה.

GR00T N1.7, Pi0.5, SmolVLA, ACT או GR00T N1.5? טבלת החלטות מותאמת למצבים אמיתיים, עם מספרי הביצועים המפורסמים, זמן השהיה, עלות לריצה ורישיונות מאחורי כל בחירה.

מחירי GPU אמיתיים בשוק הספוט, כמה זמן רצה כל אחת מחמש המדיניות, מה עולה הזרוע וההדגמות, וארבעת המקומות שבהם הכסף נעלם בשקט.

הקלט מערך נתונים שמיש של LeRobot עם SO-100: כיול, טלאופרציה במצב מוביל-עוקב, הדגלים והגדרות ברירת המחדל האמיתיים של lerobot-record, הגדרת מצלמה, מספר פרקים, והפגמים שהורסים ריצה.

SmolVLA הוא VLA עם 450 מיליון פרמטרים שניתן לבצע לו כוונון עדין על כרטיס יחיד של 24 GB. פקודות lerobot 0.6.1 אמיתיות, ברירות המחדל בפועל, המלכודות שעלו יום, ומה העלות של הרצה.

כוונו עדין את Pi0.5, מודל ה-VLA להתאמת זרימה מבית Physical Intelligence, על נתוני רובוט משלכם. פקודות אמיתיות עבור openpi ו-lerobot pi05, מלכודות פורמט נתונים, מגבלות VRAM וחביון.

מדריך בדוק לכוונון עדין של NVIDIA GR00T N1.7 על סט נתונים של LeRobot מסוג SO-100: דגלים אמיתיים, modality.json, דרישת v2.1, כמה עולה הרצה, והמלכודות.

גלו כיצד RoboTurk מחולל מהפכה בלימוד רובוטים על ידי מיקור המונים של נתונים באיכות גבוהה באמצעות טל-אופרציה מרחוק, ומאפשר מערכי נתונים מדרגיים עבור מודלים של AI ברובוטיקה. חקרו את השפעתו על למידת חיקוי, מודלים של VLA והחזר השקעה עבור חברות רובוטיקה.

גלו כיצד טכניקת התאמת הזרימה של Pi-Zero, בשילוב עם אתחול VLM, משנה את מדיניות הרובוטים הכללית לשליטה מיומנת. למדו על היתרונות שלה על פני שיטות מסורתיות, יעילות בנתוני אימון AI לרובוטיקה והשלכות לפריסת רובוטים ניתנת להרחבה בתעשיות.

גלו כיצד מודל RT-2 של גוגל DeepMind מחולל מהפכה בתחום הרובוטיקה של AI על ידי הדגשת התפקיד הקריטי של נתוני אימון באיכות גבוהה על פני אלגוריתמים מתקדמים. מאמר זה מפרק את הניסויים שמדגימים מדוע איסוף נתונים יעיל חיוני לביצועי רובוטים בעולם האמיתי. למדו כיצד פלטפורמות כמו AY-Robots יכולות לסייע בגישור על הפער בנתוני אימון לחידושים עתידיים.

גלו כיצד מודל ראייה-שפה-פעולה (VLA) RT-2 של גוגל מעצב מחדש את למידת הרובוטים על ידי שילוב נתונים חזותיים, שפה טבעית ופעולות בזמן אמת. טכנולוגיית AI חדשנית זו משפרת את איסוף הנתונים עבור מפעילי טלפון ומגבירה את היעילות ביישומי רובוטיקה. חקרו את ההשפעה הפוטנציאלית שלו על עתיד הרובוטים המונעים על ידי AI ב-AY-Robots.