কীভাবে একটি 24 GB GPU-তে SmolVLA প্রশিক্ষণ দেবেন (lerobot 0.6.1)

বেশিরভাগ মানুষ যারা একটি ভিশন ল্যাঙ্গুয়েজ অ্যাকশন মডেল একটি বাস্তব বাহুতে ব্যবহার করতে চান, তারা হার্ডওয়্যার লাইনে এসে থেমে যান। GR00T N1.7 এবং Pi0.5 প্রতিটি প্রায় তিন বিলিয়ন প্যারামিটার এবং একটি A100 80 GB বা একটি H100 চায়। যদি আপনার কাছে একটি RTX 4090 সহ একটি গেমিং পিসি থাকে, তবে সেটিই শেষ রাস্তা। SmolVLA হল ব্যতিক্রম: ৪৫০ মিলিয়ন প্যারামিটার, LeRobot-এর ভিতরে, একটি কনজিউমার কার্ডে ফাইন-টিউন করার জন্য এবং একটি CPU থেকে পরিবেশন করার জন্য তৈরি।

প্রথমে ম্যানুয়াল রুট: lerobot ইনস্টল করুন, lerobot/smolvla_base চেকপয়েন্টটি টানুন, আসল কমান্ডটি চালান, এবং এটি চলার সময় রানটি পড়ুন। তারপর প্ল্যাটফর্ম রুট, এবং যেখানে এটি সাহায্য করে না।

স্মলভিএলএ কী, যে সংখ্যাগুলি আপনি পরীক্ষা করতে পারেন

SmolVLA হল একটি ফ্লো ম্যাচিং নীতি যা একটি ছোট ভিশন ল্যাঙ্গুয়েজ মডেলের সাথে যুক্ত। এর ব্যাকবোন হল SmolVLM2-500M-Video-Instruct; গবেষণাপত্রটি এর ল্যাঙ্গুয়েজ মডেলের শুধুমাত্র প্রথম ১৬টি স্তর ব্যবহার করে, প্রতিটি ক্যামেরা ফ্রেমকে ইমেজ টাইলিংয়ের পরিবর্তে পিক্সেল শাফেল ব্যবহার করে ৬৪টি ভিজ্যুয়াল টোকেনে সীমাবদ্ধ করে, এবং প্রতি দ্বিতীয় ব্লকে একটি সেলফ অ্যাটেনশন লেয়ারের সাথে ক্রস অ্যাটেনশনকে ইন্টারলিভ করে। ইনফারেন্স খরচ একটি ডিজাইন সীমাবদ্ধতা ছিল, কোনো পরবর্তী চিন্তা নয়।

বেঞ্চমার্কগুলিই হল কারণ কেন মানুষ একটি ৪৫০ M মডেল নিয়ে মাথা ঘামায়। LIBERO-তে এটি ৭ B-এর OpenVLA-এর ৭৬.৫ শতাংশ এবং ৩.৩ B-এর রোবোটিক্স-প্রিট্রেইনড Pi0-এর ৮৬.০ শতাংশের বিপরীতে গড়ে ৮৭.৩ শতাংশ অর্জন করে; Meta-World-এ, ৪৭.৯-এর বিপরীতে ৫৭.৩। বাস্তব SO-100 হার্ডওয়্যারে, মাল্টি-টাস্ক ট্রেনিং পিক অ্যান্ড প্লেসে ৭৫ শতাংশ, স্ট্যাকিংয়ে ৯০ শতাংশ, সর্টিংয়ে ৭০ শতাংশ দেয়, যার গড় ৭৮.৩, যেখানে ACT প্রতি টাস্কে প্রশিক্ষিত হয়ে গড়ে ৪৮.৩ অর্জন করে। একই সারিগুলি SmolVLA এরিনা এন্ট্রি এবং ACT বনাম SmolVLA তুলনা-তে প্রকাশিত প্রতিটি VLA-এর পাশে বসে।

কেন একটি 24 GB কার্ড প্রথম রানের জন্য সঠিক পছন্দ

LeRobot একটি কম্পিউট সাইজিং গাইড সরবরাহ করে, যা এই কাজের জন্য রিপোজিটরিটির সবচেয়ে দরকারী পৃষ্ঠা। এটি ব্যাকবোন আকার অনুসারে নীতিগুলিকে গোষ্ঠীভুক্ত করে এবং প্রতি গ্রুপে একটি VRAM এনভেলপ দেয়, যা AdamW সহ ব্যাচ সাইজ 8-এ পরিমাপ করা হয়, যা lerobot-এর ডিফল্ট। অপ্টিমাইজার স্টেট একা একটি খালি ফরোয়ার্ড এবং ব্যাকওয়ার্ড পাসের উপর 30 থেকে 100 শতাংশ যোগ করে, তাই এগুলি শুধুমাত্র ওজনের হিসাব নয়।

ব্যাচ 8-এ দশ থেকে ষোল গিগাবাইটই মূল যুক্তি: একটি 24 GB কার্ডে এটি এবং ডেটা লোডার উভয়ই ধরে। AY-Robots SmolVLA-কে RTX 4090 বা যেকোনো 24 GB কার্ডে চালায়, ন্যূনতম 30 এপিসোড, LeRobot v3.0 ডেটা সহ, প্রতি অ্যাকশন স্টেপে 245 ms। ভাড়া করা হলে, এটি প্রতি ঘন্টায় 0.30 থেকে 0.60 USD-তে 2 থেকে 5 ঘন্টা, প্রায় 1 থেকে 3 USD একটি ফাইন-টিউনিং রানের জন্য, যেখানে 80 GB টায়ারের GR00T এবং Pi0.5-এর জন্য 4 থেকে 12 USD প্রয়োজন (মূল্য)। একটি ব্যর্থ SmolVLA রান মানে এক কাপ কফি; একটি ব্যর্থ GR00T রান মানে দুপুরের খাবার।

ধাপ 0: ডেটা সেট রান নির্ধারণ করে, ফ্ল্যাগ নয়

যদি রেকর্ডিং খারাপ হয় তবে নীচের কিছুই গুরুত্বপূর্ণ নয়। LeRobot SmolVLA পৃষ্ঠাটি স্পষ্ট: রেফারেন্স ডেটা সেটটি 5টি কিউব পজিশনে 50টি পর্ব জুড়ে ছিল, প্রতি পজিশনে 10টি, এবং 25টি পর্বে একই কাজ খারাপভাবে সম্পাদিত হয়েছিল। প্রতি ভিন্নতার পুনরাবৃত্তি সাধারণীকরণ করে, কাঁচা পর্বের সংখ্যা নয়। কখনও একটি রেকর্ড করেননি? আপনার প্রথম ডেটা সেট রেকর্ড করুন দিয়ে শুরু করুন, সাথে ডেস্কটপ ক্লায়েন্ট, যা একটি টেলিঅপারেশন সেশন থেকে LeRobot ফরম্যাট লেখে, অথবা ডেটা সেট ডিরেক্টরি থেকে একটি ধার করুন।

• AY-Robots-এ কমপক্ষে 30টি পর্ব, LeRobot রেফারেন্স রেসিপির জন্য প্রায় 50টি।
• রোলআউটের সময় আপনি যে প্রতিটি বৈচিত্র্য আশা করেন, তা কয়েকবার পুনরাবৃত্তি করা হয়েছে।
• একটি টাস্ক স্ট্রিং, যা রেকর্ড এবং রোলআউটের সময় অভিন্নভাবে লেখা হয়। মডেলটি সেই টেক্সটের উপর শর্তযুক্ত।
• স্থির ক্যামেরা। রেকর্ডিং এবং রোলআউটের মধ্যে একটি ক্যামেরা সরানো হলে একটি পরিষ্কার লস কার্ভ একটি গতিহীন বাহু দেওয়ার সবচেয়ে সাধারণ কারণ।
• একটি ধরে রাখা বৈচিত্র্য যার উপর আপনি কখনও প্রশিক্ষণ দেননি, যাতে আপনার কাছে পরীক্ষা করার জন্য কিছু সৎ থাকে।

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

এ বিষয়ে আরও জানতে দেখুন উচ্চ মানের VLA প্রশিক্ষণ ডেটা কীভাবে সংগ্রহ করবেন। সংক্ষিপ্ত সংস্করণ: একটি নির্দিষ্ট কাজের 30 থেকে 50টি পরিষ্কার পর্ব, ইচ্ছাকৃত বৈচিত্র্য সহ, তিনটি কাজের 200টি অগোছালো পর্বকে হারায়, এমন একটি ব্যবধানে যা কোনো হাইপারপ্যারামিটার পূরণ করতে পারে না।

lerobot 0.6.1 ইনস্টল করুন

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

বেস lerobot ইনস্টল পাতলা এবং অতিরিক্তগুলির পিছনে ভারী নির্ভরতা গেট করে: smolvla ট্রান্সফরমার, num2words এবং accelerate যোগ করে, training ডেটাসেট স্ট্যাক এবং wandb, core_scripts হার্ডওয়্যার এবং ভিজ্যুয়ালাইজেশন নির্ভরতা। লিনাক্সে ইনস্টল পাথ আপনার CUDA হুইলও নির্ধারণ করে: PyPI ডিফল্ট হল 580.65 এর ড্রাইভার ফ্লোর সহ একটি cu130 হুইল, তাই একটি পুরানো ড্রাইভারে প্রথমে cu128 ইনডেক্স থেকে টর্চ ইনস্টল করুন, তারপর lerobot।

প্রশিক্ষণ রান, কমান্ড বাই কমান্ড

1. 1
   হাবের বিরুদ্ধে প্রমাণীকরণ করুন

   বেস চেকপয়েন্ট হাব থেকে আসে, এবং আপনার ডেটাসেটও সম্ভবত সেখান থেকেই আসে।

   bash

   hf auth login

2. 2
   একবার অপশনগুলো পড়ুন

   পাইপলাইন এবং পলিসি কনফিগের প্রতিটি ক্ষেত্র একটি ফ্ল্যাগ। সোর্স কোডে ঢোকার আগে এটি একবার দেখে নিন।

   bash

   lerobot-train --help

3. 3
   ফাইন-টিউন শুরু করুন

   ডক্সের উদাহরণ একটি একক A100-এ ব্যাচ 64 চালায়; কম্পিউট গাইডের নিজস্ব A100 40 GB অ্যাঙ্কর হল ব্যাচ 16, এবং 8 হল 24 GB-এর সমতুল্য। এখানে ইচ্ছাকৃতভাবে কোনো শিডিউলার ফ্ল্যাগ নেই, নিচে দেখুন।

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   শুধু লস নয়, লগ লাইনটি পড়ুন

   প্রতি --log_freq ধাপে lerobot লস, grdn, lr, updt_s, data_s, smp/s এবং CUDA-তে mem_gb প্রিন্ট করে। mem_gb বলে যে ব্যাচটি ফিট করে কিনা, lr বলে যে শিডিউলটি ক্ষয় হচ্ছে কিনা, এবং data_s যদি updt_s-এর কাছাকাছি আসে তবে এর অর্থ হল ডেটা লোডারটি বাধা, GPU নয়।

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   তুলনা করার জন্য চেকপয়েন্ট সংগ্রহ করুন

   save_freq ডিফল্টরূপে 20000, তাই 20000 ধাপের একটি রান একটি চেকপয়েন্ট রেখে যায় এবং এর সাথে তুলনা করার মতো আর কিছু থাকে না। 2000 সেট করুন। হাবে পুশ করার জন্য --policy.repo_id প্রয়োজন।

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   মেশিন বন্ধ হয়ে গেলে পুনরায় শুরু করুন

   চেকপয়েন্টের পাশে থাকা train_config.json-এর দিকে --config_path নির্দেশ করুন। lerobot একটি বিদ্যমান output_dir-এ শুরু করতে অস্বীকার করে যদি না আপনি পুনরায় শুরু করেন, তাই আপনি দুর্ঘটনাক্রমে একটি রান ওভাররাইট করতে পারবেন না।

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

যে ফ্ল্যাগগুলি আসলে ফলাফল পরিবর্তন করে

আপনি যদি কিছু না করেন তবে যে ডিফল্টগুলি আপনি উত্তরাধিকার সূত্রে পাবেন

lerobot-এ একটি কনফিগারেশন তার নিজস্ব অপ্টিমাইজার এবং শিডিউলার প্রিসেট বহন করে, এবং যদি না আপনি use_policy_training_preset=false সেট করেন, তবে সেই প্রিসেটগুলিই কার্যকর হয়। SmolVLA প্রশিক্ষণ সম্পর্কে লোকেরা যে প্রশ্নগুলি জিজ্ঞাসা করে তার অর্ধেকই এমন একটি ডিফল্ট দ্বারা উত্তর দেওয়া হয় যা তারা জানত না।

যে দুটি লাইন মানুষকে অবাক করে তা হল freeze_vision_encoder এবং train_expert_only, উভয়ই সত্য। ডিফল্টভাবে আপনি প্রায় 100 M প্যারামিটার প্রশিক্ষণ দেন, 450 M নয়, এই কারণেই এটি 24 GB-তে ফিট করে। একটি চার-GPU H100 ক্লাস্টারে LeRobot-এর নিজস্ব রেফারেন্স রান উভয়কে মিথ্যাতে পরিবর্তন করে; একটি 24 GB কার্ডে এটি একটি কার্যকরী রানকে .

রানটি কতক্ষণ সময় নেয় এবং কতগুলি ধাপ যথেষ্ট

LeRobot প্রায় 50 এপিসোডের একটি ডেটাসেটের উপর পাঁচটি ইপোকের জন্য ওয়াল-ক্লক অ্যাঙ্কর প্রকাশ করে, প্রায় 45000 ফ্রেম 30 fps-এ। ডকুমেন্টেশন অনুসারে এগুলি অর্ডার অফ ম্যাগনিটিউড ফিগার, তবে এগুলি এক ঘন্টা এবং একদিনের মধ্যে প্রত্যাশার পার্থক্য।

আর্মের উপর ফাইন-টিউনড পলিসি পুনরায় চালানো

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

প্রতি অ্যাকশন স্টেপে 245 ms ভুলভাবে পড়া সহজ: পলিসি chunk_size = 50 ফরোয়ার্ড পাসে অ্যাকশন নির্গত করে এবং এক্সিকিউট করে n_action_steps = 50 সেগুলির মধ্যে, তাই আপনি কত ঘন ঘন সেই খরচ দেন তা এই নবগুলি দ্বারা নির্ধারিত হয়, সার্ভো কত ঘন ঘন একটি কমান্ড পায় তার দ্বারা নয়। এটাই কেনে, এবং কেন একটি 245 ms মডেল একটি 30 Hz আর্ম চালাতে পারে। যা অবশিষ্ট থাকে তা হল চাংকের শেষে।

তৃতীয় সারিটি বেশিরভাগ লেখায় বাদ দেওয়া হয়। অ্যাসিঙ্ক ইনফারেন্স প্রায় 30 শতাংশ দ্রুত এবং একটি নির্দিষ্ট উইন্ডোতে থ্রুপুট প্রায় দ্বিগুণ করে, এবং গবেষণাপত্রটি সাফল্যের হারকে তুলনীয় বলে অভিহিত করে, যা গড়ে তারা তাই। এর নিচে, বাছাই 70 থেকে 50 শতাংশে নেমে আসে যখন পিক অ্যান্ড প্লেস 5 বৃদ্ধি পায়। lerobot 0.6.1 একই বাইনারিতে অন্য লিভারটি বহন করে: --inference.type=rtc রোলআউটকে রিয়েল টাইম চাংকিংয়ে স্যুইচ করে, যা স্ক্রিপ্টের নিজস্ব ব্যবহার ব্লক ধীর VLAs, Pi0, Pi0.5 এবং SmolVLA-এর জন্য সুপারিশ করে।

একই চেকপয়েন্টে যাওয়ার দুটি পথ

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

যখন SmolVLA ভুল পছন্দ

SmolVLA সঠিক প্রথম রান ছিল কিনা তার পরীক্ষা এটি কাজ করেছে কিনা তা নয়, বরং ব্যর্থতা আপনাকে কিছু শিখিয়েছে কিনা। 60 বা 70 শতাংশে পৌঁছালে একটি বড় মডেল পরবর্তী যুক্তিসঙ্গত বিনিয়োগ: ডেটা সংকেত বহন করে। 10 শতাংশে পৌঁছালে একটি 3 B মডেলও সম্ভবত 10 শতাংশে পৌঁছাবে, যা আপনি বারো ডলারের পরিবর্তে তিন ডলারে শিখলেন।

আরও খরচ করার আগে পড়া উচিত: Pi0.5 বনাম SmolVLA একই ধারণার উপর আরও ক্ষমতার জন্য, এবং GR00T N1.7 বনাম SmolVLA NVIDIA রুটের জন্য, উভয়ই 80 GB টায়ার প্রতি রান 4 থেকে 12 USD। অন্যভাবে, ACT হল সস্তা বেসলাইন: 80 M parameters, প্রতি অ্যাকশন স্টেপে 20 ms, কোনো ভাষা কন্ডিশনিং নেই। এই পাঁচটি আছে পলিসি পৃষ্ঠায়; অ্যারেনায় 85টি মডেল এবং 332টি বেঞ্চমার্ক ফলাফল রয়েছে।

কিছু স্কেল করার আগে আপনার চেকলিস্ট

1. lr কি তার 2.5e-6 ফ্লোরে পৌঁছেছে? 30000 স্টেপের নিচে lerobot ক্ষয়কে পুনরায় স্কেল করে এবং স্টার্টআপে তা জানায়; এর উপরে, --policy.scheduler_decay_steps নিজে সেট করুন।
2. একের বেশি চেকপয়েন্ট, এবং --dataset.eval_split দিয়ে এপিসোডগুলি আলাদা করে রাখা হয়েছে যাতে ইভাল লসের একটি অর্থ থাকে।
3. পলিসি কি আদৌ নড়াচড়া করে? একটি গতিহীন হাতের সাথে লস কমে যাওয়া কিছু নির্দিষ্ট কারণের জন্য হয়: লস কমে, পলিসি কিছু করে না।
4. এটি কি দৃশ্যের পরিবর্তন সহ্য করে? যদি না করে: পলিসি শুধুমাত্র একটি সেটআপে কাজ করে।
5. আপনি কি সিডটি লিখে রেখেছেন? lerobot ডিফল্টরূপে 1000 ব্যবহার করে, তাই দুটি অপরিবর্তিত রান তুলনীয় থাকে।
6. শুধুমাত্র তখনই: আরও এপিসোড, আরও বৈচিত্র্য, অথবা একটি বড় মডেল। এই ক্রমেই।

এই মডেলগুলি কেন বিদ্যমান এবং ভাষার ইনপুট দিয়ে তারা কী করে, তার জন্য, হল পটভূমি; অ্যাসেম্বলি চালায় থেকে প্রথম রান পর্যন্ত। সমাপ্ত চেকপয়েন্টের জন্য, ; যদি হাতটি কখনও না আসে, ।