چگونه SmolVLA را روی یک GPU 24 گیگابایتی آموزش دهیم (lerobot 0.6.1)

اکثر افرادی که یک مدل بینایی-زبان-عمل روی یک بازوی واقعی می‌خواهند، در خط سخت‌افزار متوقف می‌شوند. GR00T N1.7 و Pi0.5 هر کدام حدود سه میلیارد پارامتر دارند و به یک A100 80 GB یا یک H100 نیاز دارند. اگر آنچه شما دارید یک کامپیوتر گیمینگ با RTX 4090 است، این پایان راه است. SmolVLA استثنا است: 450 میلیون پارامتر، درون LeRobot، ساخته شده برای تنظیم دقیق روی یک کارت مصرف‌کننده و سرویس‌دهی از یک CPU.

ابتدا مسیر دستی: lerobot را نصب کنید، چک‌پوینت lerobot/smolvla_base را دریافت کنید، دستور واقعی را اجرا کنید، و اجرا را در حین وقوع بخوانید. سپس مسیر پلتفرم، و جایی که کمکی نمی‌کند.

SmolVLA چیست، در اعدادی که می‌توانید بررسی کنید

SmolVLA یک تطبیق جریان سیاستی است که به یک مدل زبان بصری کوچک متصل شده است. ستون فقرات آن SmolVLM2-500M-Video-Instruct است؛ مقاله فقط ۱۶ لایه اول مدل زبان آن را حفظ می‌کند، هر فریم دوربین را به ۶۴ توکن بصری با یک درهم‌سازی پیکسلی به جای کاشی‌کاری تصویر محدود می‌کند، و توجه متقاطع را با یک لایه توجه خودی در هر بلوک دوم در هم می‌آمیزد. هزینه استنتاج یک محدودیت طراحی بود، نه یک فکر ثانویه.

معیارها دلیلی هستند که مردم به یک مدل ۴۵۰ میلیونی اهمیت می‌دهند. در LIBERO، میانگین آن ۸۷.۳ درصد در مقابل ۷۶.۵ برای OpenVLA با ۷ میلیارد و ۸۶.۰ برای Pi0 پیش‌آموزش‌دیده رباتیک با ۳.۳ میلیارد است؛ در Meta-World، ۵۷.۳ در مقابل ۴۷.۹. در سخت‌افزار واقعی SO-100، آموزش چندوظیفه‌ای ۷۵ درصد در برداشتن و قرار دادن، ۹۰ درصد در چیدن، ۷۰ درصد در مرتب‌سازی، با میانگین ۷۸.۳ را می‌دهد، در حالی که ACT آموزش‌دیده برای هر وظیفه به طور متوسط ۴۸.۳ بود. همین ردیف‌ها در کنار هر VLA منتشر شده در ورودی میدان SmolVLA و مقایسه ACT با SmolVLA.

چرا کارت ۲۴ گیگابایتی برای اولین اجرا مناسب است

LeRobot یک راهنمای اندازه‌گیری محاسباتی ارائه می‌دهد که مفیدترین صفحه در مخزن برای این منظور است. این راهنما سیاست‌ها را بر اساس اندازه ستون فقرات گروه‌بندی می‌کند و برای هر گروه یک پوشش VRAM ارائه می‌دهد که با اندازه دسته ۸ و AdamW، پیش‌فرض lerobot، اندازه‌گیری شده است. تنها وضعیت بهینه‌ساز ۳۰ تا ۱۰۰ درصد بیشتر از یک گذر رو به جلو و عقب خالص اضافه می‌کند، بنابراین این ارقام فقط مربوط به وزن‌ها نیستند.

ده تا شانزده گیگابایت در دسته ۸ استدلال اصلی است: یک کارت ۲۴ گیگابایتی این مقدار را به علاوه بارگذار داده (dataloader) پوشش می‌دهد. AY-Robots مدل SmolVLA را روی RTX 4090 یا هر کارت ۲۴ گیگابایتی، حداقل با ۳۰ اپیزود، LeRobot v3.0 داده، ۲۴۵ میلی‌ثانیه در هر گام عملیاتی. اجاره‌ای، این یعنی ۲ تا ۵ ساعت با نرخ ۰.۳۰ تا ۰.۶۰ دلار آمریکا در ساعت، حدود ۱ تا ۳ دلار آمریکا برای هر تنظیم دقیق اجرا، در مقابل ۴ تا ۱۲ دلار آمریکا در رده ۸۰ گیگابایتی که GR00T و Pi0.5 نیاز دارند (قیمت‌گذاری). یک اجرای ناموفق SmolVLA به اندازه یک قهوه هزینه دارد؛ یک اجرای ناموفق GR00T، به اندازه یک ناهار.

گام ۰: مجموعه داده، اجرا را تعیین می‌کند، نه پرچم‌ها

اگر ضبط بد باشد، هیچ‌یک از موارد زیر اهمیت ندارد. صفحه LeRobot SmolVLA صریح است: مجموعه داده مرجع ۵۰ اپیزود در ۵ موقعیت مکعبی بود، ۱۰ اپیزود برای هر موقعیت، و همان وظیفه با ۲۵ اپیزود عملکرد ضعیفی داشت. تکرار به ازای هر تغییر تعمیم‌پذیری ایجاد می‌کند، اما تعداد خام اپیزودها این کار را نمی‌کند. هرگز یکی را ضبط نکرده‌اید؟ از اولین مجموعه داده خود را ضبط کنید، با کلاینت دسکتاپ، که فرمت LeRobot را از یک تله‌اپریشن جلسه می‌نویسد، یا یکی را از دایرکتوری مجموعه داده.

• حداقل ۳۰ اپیزود در AY-Robots، حدود ۵۰ اپیزود برای دستورالعمل مرجع LeRobot.
• هر تغییری که در زمان اجرا (rollout) انتظار دارید، چندین بار تکرار شود.
• یک رشته وظیفه (task string)، که در زمان ضبط و اجرا به طور یکسان نوشته شده باشد. مدل بر اساس آن متن شرطی می‌شود.
• دوربین‌های ثابت. جابجایی دوربین بین زمان ضبط و اجرا، رایج‌ترین دلیلی است که یک منحنی افت (loss curve) تمیز، بازوی بی‌حرکت را نتیجه می‌دهد.
• یک تغییر (variation) کنار گذاشته شده که هرگز روی آن آموزش ندیده‌اید، تا چیزی صادقانه برای آزمایش در برابر آن داشته باشید.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

اطلاعات بیشتر در این مورد در چگونه داده‌های آموزشی VLA با کیفیت بالا برای دستکاری ربات جمع‌آوری کنیم. نسخه کوتاه: ۳۰ تا ۵۰ اپیزود تمیز از یک وظیفه با تغییرات عمدی، ۲۰۰ اپیزود نامرتب از سه وظیفه را شکست می‌دهد، با اختلافی که هیچ هایپرپارامتری نمی‌تواند آن را جبران کند.

نصب lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

نصب پایه lerobot سبک است و وابستگی‌های سنگین را پشت بسته‌های اضافی (extras) پنهان می‌کند: smolvla بسته‌های transformers، num2words و accelerate را اضافه می‌کند، training پشته مجموعه داده و wandb را، core_scripts وابستگی‌های سخت‌افزاری و بصری‌سازی را. در لینوکس، مسیر نصب همچنین چرخ (wheel) CUDA شما را تعیین می‌کند: پیش‌فرض PyPI یک چرخ cu130 با حداقل نسخه درایور 580.65 است، بنابراین در صورت داشتن درایور قدیمی‌تر، ابتدا torch را از فهرست cu128 نصب کنید، سپس lerobot را.

اجرای آموزش، دستور به دستور

1. 1
   احراز هویت در برابر هاب

   چک‌پوینت پایه از هاب می‌آید و مجموعه داده شما نیز احتمالاً همینطور است.

   bash

   hf auth login

2. 2
   گزینه‌ها را یک بار بخوانید

   هر فیلد از پیکربندی پایپ‌لاین و سیاست یک پرچم است. قبل از بررسی عمیق در سورس، آن را مرور کنید.

   bash

   lerobot-train --help

3. 3
   شروع تنظیم دقیق

   مثال مستندات، بچ ۶۴ را روی یک A100 اجرا می‌کند؛ مرجع A100 40 GB در راهنمای محاسبات، بچ ۱۶ است، و ۸ معادل ۲۴ GB است. هیچ پرچم زمان‌بندی در اینجا عمداً وجود ندارد، به پایین مراجعه کنید.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   خط لاگ را بخوانید، نه فقط مقدار loss را

   در هر --log_freq گام، lerobot مقادیر loss, grdn, lr, updt_s, data_s, smp/s و در CUDA، mem_gb را چاپ می‌کند. mem_gb نشان می‌دهد که آیا بچ جا می‌شود، lr نشان می‌دهد که آیا زمان‌بندی در حال کاهش است، و نزدیک شدن data_s به updt_s به این معنی است که دیتالودر گلوگاه است، نه GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   چک‌پوینت‌هایی را جمع‌آوری کنید که بتوانید مقایسه کنید

   save_freq به طور پیش‌فرض ۲۰۰۰۰ است، بنابراین یک اجرای ۲۰۰۰۰ گامی یک چک‌پوینت باقی می‌گذارد و چیزی برای مقایسه با آن وجود ندارد. آن را روی ۲۰۰۰ تنظیم کنید. برای ارسال به هاب به --policy.repo_id نیاز است.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   در صورت از کار افتادن دستگاه، ادامه دهید

   مسیر --config_path را به train_config.json کنار چک‌پوینت اشاره دهید. lerobot از شروع در یک output_dir موجود خودداری می‌کند مگر اینکه در حال ادامه دادن باشید، بنابراین نمی‌توانید به طور تصادفی یک اجرا را بازنویسی کنید.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

پرچم‌هایی که واقعاً نتیجه را تغییر می‌دهند

پیش‌فرض‌هایی که اگر به چیزی دست نزنید به ارث می‌برید

یک سیاست پیکربندی در lerobot بهینه‌ساز و پیش‌تنظیم زمان‌بندی خود را دارد، و مگر اینکه شما تنظیم کنید use_policy_training_preset=false آن پیش‌تنظیم‌ها برنده می‌شوند. نیمی از سوالاتی که مردم در مورد آموزش SmolVLA می‌پرسند با یک پیش‌فرض پاسخ داده می‌شوند که از وجود آن بی‌خبر بودند.

دو خطی که مردم را شگفت‌زده می‌کند عبارتند از freeze_vision_encoder و train_expert_only، هر دو درست هستند. به طور پیش‌فرض شما تقریباً ۱۰۰ میلیون پارامتر را آموزش می‌دهید، نه ۴۵۰ میلیون، به همین دلیل است که روی ۲۴ گیگابایت جا می‌شود. اجرای مرجع LeRobot روی یک کلاستر چهار GPU H100 هر دو را به false تغییر می‌دهد؛ روی یک کارت ۲۴ گیگابایتی، این کار یک اجرای موفق را به .

مدت زمان اجرا و تعداد گام‌های کافی

LeRobot نقاط مرجع زمان واقعی را برای پنج اپوک (epoch) روی یک مجموعه داده تقریباً ۵۰ اپیزودی، حدود ۴۵۰۰۰ فریم با سرعت ۳۰ فریم بر ثانیه، منتشر می‌کند. مستندات می‌گویند این ارقام تقریبی هستند، اما تفاوت بین انتظار یک ساعت و یک روز را نشان می‌دهند.

اجرای مجدد سیاست تنظیم‌شده روی بازو

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 میلی‌ثانیه برای هر گام عملیاتی به راحتی می‌تواند اشتباه تفسیر شود: سیاست chunk_size = 50 عمل را در هر گذر رو به جلو منتشر می‌کند و n_action_steps = 50 از آنها را اجرا می‌کند، بنابراین دفعات پرداخت این هزینه توسط این تنظیمات تعیین می‌شود، نه توسط دفعات دریافت فرمان توسط سرووها. این همان چیزی است که تقسیم‌بندی عمل (action chunking) به ارمغان می‌آورد و دلیل اینکه یک مدل 245 میلی‌ثانیه‌ای می‌تواند یک بازوی 30 هرتزی را هدایت کند. آنچه باقی می‌ماند تأخیر استنتاج (inference latency) در پایان هر تکه است.

آن ردیف سوم چیزی است که اکثر مقالات از آن صرف نظر می‌کنند. استنتاج ناهمزمان حدود 30 درصد سریع‌تر است و تقریباً توان عملیاتی را در یک پنجره ثابت دو برابر می‌کند، و مقاله نرخ‌های موفقیت را قابل مقایسه می‌داند، که به طور متوسط همینطور است. در زیر آن، مرتب‌سازی از 70 به 50 درصد کاهش یافت در حالی که برداشت و قرار دادن 5 درصد افزایش یافت. lerobot 0.6.1 اهرم دیگر را در همان باینری حمل می‌کند: --inference.type=rtc که اجرای مدل را به تقسیم‌بندی بلادرنگ (real time chunking) تغییر می‌دهد، که بلوک استفاده خود اسکریپت آن را برای VLAs کند، Pi0، Pi0.5 و SmolVLA توصیه می‌کند.

دو مسیر به یک نقطه بازرسی

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

زمانی که SmolVLA انتخاب اشتباهی است

آزمون اینکه آیا SmolVLA اولین اجرای صحیح بود، این نیست که آیا کار کرد، بلکه این است که آیا شکست چیزی به شما آموخت. به ۶۰ یا ۷۰ درصد برسید و یک مدل بزرگتر هزینه منطقی بعدی است: داده‌ها سیگنال دارند. به ۱۰ درصد برسید و یک مدل ۳ B به احتمال زیاد نیز به ۱۰ درصد می‌رسد، که شما این را به جای دوازده دلار، با سه دلار یاد گرفتید.

قبل از صرف هزینه بیشتر، خواندن این موارد ارزشمند است: Pi0.5 در برابر SmolVLA برای ظرفیت بیشتر بر اساس همان ایده، و GR00T N1.7 در برابر SmolVLA برای مسیر NVIDIA، هر دو در رده ۸۰ گیگابایتی با هزینه ۴ تا ۱۲ USD در هر اجرا. راه دیگر، ACT یک خط پایه ارزان‌تر است: ۸۰ M پارامتر، ۲۰ ms در هر گام عملیاتی، بدون شرطی‌سازی زبان. هر پنج مورد در صفحه سیاست‌ها؛ آرنا دارای ۸۵ مدل و ۳۳۲ نتیجه بنچمارک است.

چک‌لیست قبل از مقیاس‌بندی هر چیزی

1. آیا lr به کف 2.5e-6 خود رسید؟ زیر 30000 گام، lerobot نرخ کاهش را مجدداً مقیاس‌بندی می‌کند و در هنگام راه‌اندازی این را اعلام می‌کند؛ بالاتر از آن، --policy.scheduler_decay_steps را خودتان تنظیم کنید.
2. بیش از یک نقطه بازرسی (checkpoint) و اپیزودهایی که با --dataset.eval_split کنار گذاشته شده‌اند تا خطای ارزیابی (eval loss) معنایی داشته باشد.
3. آیا سیاست (policy) اصلاً حرکت می‌کند؟ کاهش خطا با بازوی بی‌حرکت دلایل خاصی دارد: خطا کاهش می‌یابد، سیاست کاری نمی‌کند.
4. آیا در برابر تغییر صحنه مقاومت می‌کند؟ اگر نه: سیاست فقط در یک تنظیمات کار می‌کند.
5. آیا seed را یادداشت کردید؟ lerobot به طور پیش‌فرض 1000 است، بنابراین دو اجرای دست‌نخورده قابل مقایسه باقی می‌مانند.
6. فقط پس از آن: اپیزودهای بیشتر، تنوع بیشتر، یا یک مدل بزرگتر. به همین ترتیب.

برای اینکه چرا این مدل‌ها وجود دارند و با ورودی زبان چه می‌کنند، پیش‌زمینه است؛ مونتاژ را از طریق تا اولین اجرا می‌کند. برای نقطه بازرسی (checkpoint) تکمیل شده، ؛ اگر بازو هرگز ظاهر نشد، .