איך לאמן את SmolVLA על GPU של 24 GB (lerobot 0.6.1)

רוב האנשים שרוצים מודל פעולה שפה-חזון על זרוע אמיתית נעצרים בקו החומרה. GR00T N1.7 ו-Pi0.5 הם בסביבות שלושה מיליארד פרמטרים כל אחד ודורשים A100 80 GB או H100. אם מה שבבעלותך הוא מחשב גיימינג עם RTX 4090, זוהי סוף הדרך. SmolVLA הוא היוצא מן הכלל: 450 מיליון פרמטרים, בתוך LeRobot, בנוי לכוונון עדין על כרטיס צרכני אחד ולשרת ממעבד.

המסלול הידני תחילה: התקן את lerobot, משוך את ה-lerobot/smolvla_base נקודת ביקורת, הפעל את הפקודה האמיתית, קרא את הריצה בזמן שהיא מתרחשת. לאחר מכן את מסלול הפלטפורמה, והיכן שהוא לא עוזר.

מהו SmolVLA, במספרים שניתן לבדוק

SmolVLA היא התאמת זרימה מדיניות המחוברת למודל שפה חזותי קטן. עמוד השדרה הוא SmolVLM2-500M-Video-Instruct; המאמר שומר רק את 16 השכבות הראשונות של מודל השפה שלו, מגביל כל פריים מצלמה ל-64 אסימונים חזותיים עם ערבוב פיקסלים במקום ריצוף תמונה, ומשלב קשב צולב עם שכבת קשב עצמי בכל בלוק שני. עלות ההסקה הייתה אילוץ תכנוני, לא מחשבה שנייה.

המדדים הם הסיבה שאנשים מתעניינים במודל של 450 מיליון פרמטרים. ב-LIBERO הוא משיג ממוצע של 87.3 אחוזים לעומת 76.5 עבור OpenVLA ב-7 מיליארד ו-86.0 עבור Pi0 שאומן מראש לרובוטיקה ב-3.3 מיליארד; ב-Meta-World, 57.3 לעומת 47.9. בחומרת SO-100 אמיתית, אימון רב-משימתי מניב 75 אחוזים באיסוף והנחה, 90 בערימה, 70 במיון, בממוצע 78.3, כאשר ACT שאומן לכל משימה בנפרד השיג ממוצע של 48.3. אותן שורות מופיעות לצד כל VLA שפורסם ב-ערך זירת SmolVLA וב-השוואת ACT מול SmolVLA.

למה כרטיס 24 GB הוא הבחירה הנכונה להרצה ראשונה

LeRobot מספק מדריך למידות חישוב, העמוד השימושי ביותר במאגר למטרה זו. הוא מקבץ מדיניות לפי גודל עמוד שדרה ומספק מעטפת VRAM אחת לכל קבוצה, הנמדדת בגודל אצווה 8 עם AdamW, ברירת המחדל של lerobot. מצב האופטימייזר לבדו מוסיף 30 עד 100 אחוזים מעל מעבר קדימה ואחורה בלבד, כך שאלו אינם נתונים של משקלים בלבד.

עשרה עד שישה עשר גיגה-בייט בגודל אצווה 8 זו הטענה: כרטיס 24 GB מתאים לכך בתוספת טוען הנתונים (dataloader). AY-Robots ממקמת את SmolVLA על RTX 4090 או כל כרטיס 24 GB, מינימום 30 אפיזודות, LeRobot v3.0 נתונים, 245 ms לכל שלב פעולה. בהשכרה, מדובר ב-2 עד 5 שעות במחיר של 0.30 עד 0.60 דולר לשעה, בערך 1 עד 3 דולר ל-כוונון עדין הרצה, לעומת 4 עד 12 דולר בשכבת ה-80 GB ש-GR00T ו-Pi0.5 דורשים (תמחור). הרצת SmolVLA כושלת היא קפה; הרצת GR00T כושלת היא ארוחת צהריים.

שלב 0: מערך הנתונים קובע את הריצה, לא הדגלים

שום דבר להלן לא משנה אם ההקלטה גרועה. עמוד ה-LeRobot SmolVLA בוטה: מערך הנתונים הייחוס היה 50 פרקים על פני 5 מיקומי קוביות, 10 לכל מיקום, ואותה משימה ב-25 פרקים בוצעה בצורה גרועה. חזרה לכל וריאציה מכלילה, ספירת פרקים גולמית אינה מכלילה. מעולם לא הקלטתם אחד? התחילו ב-הקליטו את מערך הנתונים הראשון שלכם עם ה-לקוח שולחן העבודה, אשר כותב פורמט LeRobot מתוך סשן טלאופרציה , או שאלו אחד מ-ספריית מערכי הנתונים.

• לפחות 30 פרקים ב-AY-Robots, כ-50 עבור מתכון הייחוס של LeRobot.
• כל וריאציה שאתה מצפה לה בפריסה, חוזרת על עצמה מספר פעמים.
• מחרוזת משימה אחת, מאויתת באופן זהה בזמן ההקלטה והפריסה. המודל מותנה בטקסט זה.
• מצלמות קבועות. מצלמה שהוזזה בין ההקלטה לפריסה היא הסיבה הנפוצה ביותר לכך שעקומת הפסד נקייה מניבה זרוע חסרת תנועה.
• וריאציה שלא אומנה עליה מעולם, כך שיש לך משהו כנה לבדוק מולו.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

עוד על כך ב-כיצד לאסוף נתוני אימון VLA באיכות גבוהה. בקיצור: 30 עד 50 פרקים נקיים של משימה אחת עם וריאציה מכוונת עולים על 200 פרקים מרושלים של שלוש, בפער שאף היפרפרמטר לא סוגר.

התקן את lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

ההתקנה הבסיסית של lerobot היא דקה וחוסמת תלויות כבדות מאחורי תוספים (extras): smolvla מוסיף transformers, num2words ו-accelerate, training את ערימת הנתונים (dataset stack) ו-wandb, core_scripts את תלויות החומרה והוויזואליזציה. בלינוקס, נתיב ההתקנה גם קובע את גלגל ה-CUDA שלך: ברירת המחדל של PyPI היא גלגל cu130 עם דריבר מינימלי של 580.65, לכן על דריבר ישן יותר התקן את torch מאינדקס cu128 תחילה, ולאחר מכן את lerobot.

הרצת האימון, פקודה אחר פקודה

1. 1
   אימות מול ה-Hub

   נקודת הבסיס (checkpoint) מגיעה מה-Hub, וכנראה שגם מערך הנתונים שלך.

   bash

   hf auth login

2. 2
   קרא את האפשרויות פעם אחת

   כל שדה בתצורת ה-pipeline וה-policy הוא דגל (flag). עיין בו במהירות לפני שתצלול לקוד המקור.

   bash

   lerobot-train --help

3. 3
   התחל את הכוונון העדין (fine-tune)

   הדוגמה בתיעוד מריצה אצווה (batch) של 64 על A100 יחיד; עוגן ה-A100 40 GB של מדריך החישוב הוא אצווה 16, ו-8 הוא המקביל ל-24 GB. אין כאן דגל scheduler בכוונה, ראה להלן.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   קרא את שורת הלוג, לא רק את ההפסד

   בכל --log_freq צעדים, LeRobot מדפיס loss, grdn, lr, updt_s, data_s, smp/s ו, ב-CUDA, mem_gb. ה-mem_gb מציין אם האצווה מתאימה, ה-lr אם לוח הזמנים דועך, ו-data_s המתקרב ל-updt_s אומר שה-dataloader הוא צוואר הבקבוק, לא ה-GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   אסוף נקודות בקרה שתוכל להשוות

   save_freq מוגדר כברירת מחדל ל-20000, כך שהרצה של 20000 צעדים משאירה נקודת בקרה אחת ואין מה להשוות אליה. הגדר 2000. דחיפה ל-Hub דורשת --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   המשך אם המכונה קורסת

   כוון את --config_path אל train_config.json שליד נקודת הבקרה. LeRobot מסרב להתחיל לתוך output_dir קיים אלא אם אתה ממשיך (resuming), כך שלא תוכל לדרוס הרצה בטעות.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

הדגלים שבאמת משנים את התוצאה

ברירות המחדל שאתה יורש אם אינך נוגע בדבר

קונפיגורציית ב-LeRobot נושאת את קביעות האופטימייזר והמתזמן שלה, ואלא אם תגדיר use_policy_training_preset=false קביעות אלו יגברו. מחצית מהשאלות שאנשים שואלים על אימון SmolVLA נענות על ידי ברירת מחדל שלא ידעו על קיומה.

שתי השורות שמפתיעות אנשים הן freeze_vision_encoder ו-train_expert_only, שתיהן נכונות. מחוץ לקופסה מאמנים בערך 100 מיליון פרמטרים, לא 450 מיליון, ולכן זה מתאים ל-24 GB. הרצת הייחוס של LeRobot עצמה על אשכול H100 עם ארבעה כרטיסי GPU הופכת את שניהם ל-false; על כרטיס אחד של 24 GB זה הופך הרצה תקינה ל-קריסת חוסר זיכרון.

כמה זמן אורכת ההרצה, וכמה צעדים מספיקים

LeRobot מפרסם עוגני זמן שעון קיר (wall-clock anchors) לחמש אֶפּוֹכוֹת (epochs) על פני מערך נתונים של כ-50 פרקים, כ-45000 פריימים ב-30 פריימים לשנייה. אלו נתונים בסדר גודל, כך נאמר בתיעוד, אך הם ההבדל בין ציפייה לשעה לבין ציפייה ליום.

הפעלת המדיניות המכווננת בחזרה על הזרוע

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

קל לטעות בקריאת 245 המילישניות לכל שלב פעולה: המדיניות פולטת chunk_size = 50 פעולות לכל מעבר קדימה ומבצעת n_action_steps = 50 מהן, כך שתדירות תשלום העלות נקבעת על ידי בקרים אלו, ולא על ידי תדירות קבלת פקודה על ידי הסרווים. זה מה שקיבוץ פעולות משיג, ולמה מודל של 245 מילישניות יכול להניע זרוע של 30 הרץ. מה שנשאר הוא זמן השהיה של הסקה בסוף הנתח.

השורה השלישית הזו היא מה שרוב הכתבות מדלגות עליו. הסקה אסינכרונית מהירה בכ-30 אחוז ומכפילה בערך את התפוקה בחלון זמן קבוע, והמאמר מכנה את שיעורי ההצלחה דומים, וכך הם בממוצע. מתחת לכך, המיון ירד מ-70 ל-50 אחוז בעוד שאיסוף והנחה עלו ב-5. lerobot 0.6.1 נושא את המנוף השני באותו קובץ בינארי: --inference.type=rtc מעביר את הפריסה לקיבוץ בזמן אמת, אשר בלוק השימוש של הסקריפט עצמו ממליץ עליו עבור ה-VLAs האיטיים, Pi0, Pi0.5 ו-SmolVLA.

שני מסלולים לאותה נקודת שמירה

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

כאשר SmolVLA היא הבחירה הלא נכונה

המבחן לשאלה האם SmolVLA הייתה הריצה הראשונה הנכונה אינו אם היא עבדה, אלא אם הכישלון אמר לך משהו. הגיעו ל-60 או 70 אחוזים ומודל גדול יותר הוא השקעה סבירה הבאה: הנתונים נושאים אות. הגיעו ל-10 אחוזים ומודל 3 B ככל הנראה גם יגיע ל-10 אחוזים, מה שלמדתם זה עתה בשלושה דולרים במקום שנים עשר.

כדאי לקרוא לפני שמוציאים יותר: Pi0.5 מול SmolVLA לקיבולת רבה יותר על אותו רעיון, וגם GR00T N1.7 מול SmolVLA עבור מסלול NVIDIA, שניהם ברמת 80 GB בעלות של 4 עד 12 דולר לריצה. בדרך אחרת, ACT הוא קו הבסיס הזול יותר: 80 מיליון פרמטרים, 20 אלפיות שנייה לכל שלב פעולה, ללא התניה לשונית. כל החמישה נמצאים ב-דף המדיניות; הזירה כוללת 85 מודלים ו-332 תוצאות בנצ'מרק.

רשימת הבדיקה לפני שאתה מרחיב משהו

1. האם ה-lr הגיע לרצפת ה-2.5e-6 שלו? מתחת ל-30000 צעדים, lerobot משנה את קנה המידה של הדעיכה ומציין זאת בהפעלה; מעל לכך, הגדר את --policy.scheduler_decay_steps בעצמך.
2. יותר מנקודת ביקורת אחת, ופרקים שהוצאו עם --dataset.eval_split כך שהפסד ההערכה אומר משהו.
3. האם המדיניות זזה בכלל? הפסד יורד עם זרוע חסרת תנועה יש לו סיבות ספציפיות: הפסד יורד, מדיניות לא עושה כלום.
4. האם זה שורד שינוי סצנה? אם לא: מדיניות עובדת רק בהגדרה אחת.
5. האם רשמת את ה-seed? lerobot מוגדר כברירת מחדל ל-1000, כך ששתי הרצות שלא נגעו בהן נשארות ניתנות להשוואה.
6. רק אז: יותר פרקים, יותר וריאציה, או מודל גדול יותר. בסדר הזה.

לגבי הסיבה לקיומם של מודלים אלה ומה הם עושים עם קלט השפה, הוא הרקע; מריץ הרכבה דרך ועד להרצת הראשונה. עבור נקודת הביקורת המוגמרת, ; אם הזרוע לא מופיעה, .