SmolVLA-г 24 ГБ GPU дээр хэрхэн сургах вэ (lerobot 0.6.1)

Ихэнх хүмүүс харааны хэлний үйлдлийн загвар бодит гар дээр ашиглахыг хүсвэл техник хангамжийн хязгаарт тулгардаг. GR00T N1.7 болон Pi0.5 тус бүр гурван тэрбум орчим параметр бөгөөд A100 80 ГБ эсвэл H100 шаарддаг. Хэрэв танд RTX 4090-тэй тоглоомын компьютер байгаа бол энэ нь замын төгсгөл юм. SmolVLA бол үл хамаарах зүйл: 450 сая параметр, LeRobot дотор, нэг хэрэглээний карт дээр нарийн тааруулах, мөн CPU-ээс үйлчлэх зорилгоор бүтээгдсэн.

Эхлээд гарын авлагын арга: lerobot суулгах, lerobot/smolvla_base шалгах цэгийг татах, бодит командыг ажиллуулах, ажиллаж байх үед нь унших. Дараа нь платформын арга, мөн энэ нь хаана тус болохгүй вэ.

SmolVLA гэж юу вэ, таны шалгаж болох тоогоор

SmolVLA нь урсгалын тааруулалт бодлогыг жижиг харааны хэлний загварт нэгтгэсэн загвар юм. Үндсэн бүтэц нь SmolVLM2-500M-Video-Instruct бөгөөд уг баримт бичигт түүний хэлний загварын эхний 16 давхаргыг л ашиглаж, камерын хүрээ бүрийг зураг хавтанцарлахын оронд пикселийн холигчоор 64 харааны токен болгон хязгаарлаж, хоёр дахь блок бүрт хөндлөн анхаарлыг өөрийн анхаарлын давхаргатай ээлжлүүлэн ашигласан байна. Таамаглалын зардал нь дизайны хязгаарлалт байсан бөгөөд хожим бодож олсон зүйл биш байв.

450 сая параметртэй загварыг хүмүүс яагаад сонирхож байгаагийн шалтгаан нь гүйцэтгэлийн үнэлгээ юм. LIBERO дээр энэ нь 7B OpenVLA-ийн 76.5 хувь, 3.3B робот техникээр урьдчилан сургасан Pi0-ийн 86.0 хувьтай харьцуулахад дунджаар 87.3 хувьтай байна; Meta-World дээр 47.9 хувьтай харьцуулахад 57.3 хувьтай байна. Бодит SO-100 техник хангамж дээр олон үүрэгт сургалт нь сонгож байрлуулахад 75 хувь, давхарлахад 90 хувь, ангилахад 70 хувь, дунджаар 78.3 хувийн үр дүнг өгсөн бөгөөд үүнд ACT үүрэг тус бүрээр сургасан нь дунджаар 48.3 хувьтай байв. Эдгээр ижил мөрүүд нь нийтлэгдсэн VLA бүрийн хажууд SmolVLA талбайн бичилт болон ACT болон SmolVLA-ийн харьцуулалт.

Яагаад 24 ГБ карт нь эхний ажилд тохиромжтой вэ

LeRobot нь тооцооллын хэмжээг тодорхойлох гарын авлагыг нийлүүлдэг бөгөөд энэ нь репо дахь хамгийн хэрэгтэй хуудас юм. Энэ нь бодлогуудыг үндсэн бүтцийн хэмжээгээр бүлэглэж, бүлэг тус бүрд нэг VRAM-ийн хязгаарыг өгдөг бөгөөд энэ нь AdamW-тэй 8 багц хэмжээгээр хэмжигдсэн, lerobot-ийн анхдагч тохиргоо юм. Оптимизаторын төлөв нь зөвхөн урагш болон хойш дамжуулалтын үед 30-аас 100 хувиар нэмэгддэг тул эдгээр нь зөвхөн жингийн тоо биш юм.

8 багц дээр аравнаас арван зургаан гигабайт нь гол үндэслэл юм: 24 ГБ карт нь үүнд нэмээд өгөгдөл ачаалагчийг багтаана. AY-Robots нь SmolVLA-г RTX 4090 эсвэл ямар ч 24 ГБ карт дээр суулгадаг бөгөөд хамгийн багадаа 30 эпизод, LeRobot v3.0 өгөгдөл, үйлдлийн алхам тутамд 245 мс. Түрээслэхэд, энэ нь цагт 0.30-аас 0.60 ам.доллараар 2-оос 5 цаг, ойролцоогоор 1-ээс 3 ам.доллар нарийн тааруулалт ажиллуулахад, 80 ГБ-ын GR00T болон Pi0.5-д шаардлагатай түвшинд 4-өөс 12 ам.доллартай харьцуулахад (үнэ). Амжилтгүй болсон SmolVLA ажиллуулалт нь кофе; амжилтгүй болсон GR00T ажиллуулалт нь үдийн хоолтой тэнцэнэ.

Алхам 0: өгөгдлийн багц нь ажиллагааг шийддэг, тугуудыг биш

Бичлэг муу байвал доорх зүйлс хамаагүй. LeRobot SmolVLA хуудас нь шулуухан хэлдэг: лавлах өгөгдлийн багц нь 5 шоо байрлалд нийт 50 анги, байрлал тутамд 10 анги байсан бөгөөд 25 анги дээрх ижил даалгавар муу гүйцэтгэгдсэн. Хувилбар тутамд давталт нь ерөнхийлөн дүгнэдэг, харин түүхий ангийн тоо биш. Хэзээ ч бичиж байгаагүй юу? Эхлэхдээ анхны өгөгдлийн багцаа бичих -ийг ашиглан ширээний компьютер клиент, энэ нь телеоперацийн сессээс LeRobot форматыг бичдэг, эсвэл өгөгдлийн багцын лавлах-аас нэгийг нь зээлж авна уу.

• AY-Robots дээр дор хаяж 30 анги, LeRobot-ийн лавлах жорд 50 орчим анги.
• Хэрэгжүүлэх үед таны хүлээж буй хувилбар бүрийг хэд хэдэн удаа давтана.
• Нэг даалгаврын мөрийг бичих болон хэрэгжүүлэх үед ижилхэн бичнэ. Загвар нь уг текстээс хамаарна.
• Тогтмол камерууд. Бичлэг хийх болон хэрэгжүүлэх үед камер хөдөлсөн нь цэвэр алдагдлын муруй хөдөлгөөнгүй гар өгөх хамгийн түгээмэл шалтгаан юм.
• Таны хэзээ ч сургаагүй, хадгалсан хувилбар, ингэснээр танд үнэн зөв турших зүйл байна.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Энэ тухай дэлгэрэнгүйг өндөр чанартай VLA сургалтын өгөгдлийг хэрхэн цуглуулах вэ. Товчхондоо: нэг даалгаврын 30-50 цэвэр анги, зориудаар өөрчлөлттэйгээр, гурван даалгаврын 200 хайнга ангийг ямар ч хэт параметр хааж чадахгүйгээр давна.

lerobot 0.6.1 суулгах

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Үндсэн lerobot суулгац нь нимгэн бөгөөд нэмэлтүүдийн ард хүнд хамаарлуудыг хязгаарладаг: smolvla нь transformers, num2words болон accelerate-ийг нэмдэг, training нь өгөгдлийн багц болон wandb-ийг, core_scripts нь техник хангамж болон дүрслэлийн хамаарлуудыг нэмдэг. Линукс дээр суулгах зам нь таны CUDA wheel-ийг мөн тодорхойлдог: PyPI-ийн анхдагч нь 580.65-аас доошгүй драйвертай cu130 wheel байдаг тул хуучин драйвер дээр эхлээд cu128 индексээс torch-ийг суулгаад дараа нь lerobot-ийг суулгана.

Сургалтын ажиллагаа, тушаал тушаалаар

1. 1
   Hub-д нэвтрэх

   Суурь шалгах цэг Hub-аас ирдэг бөгөөд таны өгөгдлийн багц ч мөн адил байх магадлалтай.

   bash

   hf auth login

2. 2
   Сонголтуудыг нэг удаа унших

   Дамжуулах хоолой болон бодлогын тохиргооны талбар бүр нь туг юм. Эх кодыг судлахаасаа өмнө гүйлгэж харна уу.

   bash

   lerobot-train --help

3. 3
   Нарийвчилсан тохируулгыг эхлүүлэх

   Баримт бичгийн жишээ нь нэг A100 дээр 64 багц ажиллуулдаг; тооцооллын гарын авлагын A100 40 ГБ зангуу нь 16 багц, харин 8 нь 24 ГБ-тай тэнцүү юм. Энд зориудаар хуваарьт туг байхгүй, доороос харна уу.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Зөвхөн алдагдлыг биш, бүртгэлийн мөрийг унших

   Lerobot нь --log_freq алхам тутамд loss, grdn, lr, updt_s, data_s, smp/s болон CUDA дээр mem_gb-г хэвлэдэг. mem_gb нь багц багтаж байгаа эсэх, lr нь хуваарь буурч байгаа эсэх, мөн data_s нь updt_s-д ойртож байгаа нь өгөгдөл ачаалагч нь саад болж байгааг илтгэдэг, GPU биш.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Харьцуулах боломжтой шалгах цэгүүдийг цуглуулах

   save_freq нь анхдагчаар 20000 байдаг тул 20000 алхамтай ажиллагаа нь нэг шалгах цэг үлдээж, харьцуулах зүйлгүй болгодог. 2000-г тохируулна уу. Hub руу түлхэхийн тулд --policy.repo_id шаардлагатай.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Машин унтарвал үргэлжлүүлэх

   --config_path-г шалгах цэгийн хажууд байрлах train_config.json руу чиглүүлнэ үү. lerobot нь таныг үргэлжлүүлж байгаагаас бусад тохиолдолд одоо байгаа output_dir руу эхлэхээс татгалздаг тул та санамсаргүйгээр ажиллагааг дарж бичих боломжгүй.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Үр дүнг бодитоор өөрчилдөг тугууд

Та юунд ч хүрэхгүй бол өвлөн авах анхдагч тохиргоонууд

Нэг бодлого тохиргоо нь lerobot-д өөрийн оновчлогч болон хуваарийн урьдчилсан тохиргоог агуулдаг бөгөөд хэрэв та use_policy_training_preset=false гэж тохируулаагүй бол эдгээр урьдчилсан тохиргоонууд давамгайлна. SmolVLA сургалтын талаар хүмүүсийн асуудаг асуултуудын тал хувь нь тэдний мэдэхгүй байсан анхдагч тохиргоогоор хариулагддаг.

Хүмүүсийг гайхшруулдаг хоёр мөр бол freeze_vision_encoder болон train_expert_only, хоёулаа үнэн. Анхдагч тохиргоогоор та 450 M биш, ойролцоогоор 100 M параметрийг сургадаг бөгөөд энэ нь 24 GB-д багтах шалтгаан юм. LeRobot-ийн дөрвөн GPU H100 кластер дээрх өөрийн жишиг ажиллагаа нь хоёуланг нь худал болгодог; нэг 24 GB карт дээр энэ нь ажиллаж буй ажиллагааг .

Ажиллагаа хэр удаан үргэлжлэх, хэдэн алхам хангалттай вэ

LeRobot нь ойролцоогоор 50 ангит өгөгдлийн багц дээр таван эпохын хувьд бодит цагийн хэмжүүрийг нийтэлдэг, энэ нь 30 fps хурдтай 45000 орчим фрэйм юм. Эдгээр нь хэмжээний дарааллын тоо баримт гэж баримт бичигт дурдсан байдаг ч, нэг цаг эсвэл нэг өдөр хүлээх хоорондын ялгааг харуулдаг.

Нарийвчилсан тохируулга хийсэн бодлогыг роботын гарт буцаан ажиллуулах

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

Үйлдэл тутамд 245 мс гэдэг нь буруу ойлгоход амархан: учир нь бодлого нь chunk_size = 50 үйлдлийг нэг урагш дамжуулалтаар ялгаруулж, тэдгээрийн n_action_steps = 50-ийг гүйцэтгэдэг, тиймээс та энэ зардлыг хэр олон удаа төлөх нь серво хэр олон удаа тушаал авахтай бус, харин эдгээр тохиргооноос хамаарна. Энэ бол үйлдлийн хуваарилалт-ийн үр дүн, мөн яагаад 245 мс загвар нь 30 Гц гарыг удирдаж чаддагийн шалтгаан юм. Үлдсэн нь chunk-ийн төгсгөлд үүсэх таамаглалын хоцрогдол юм.

Энэ гурав дахь мөрийг ихэнх тайлбарт орхигдуулдаг. Асинхрон таамаглал нь ойролцоогоор 30 хувиар хурдан бөгөөд тогтмол хугацааны цонхонд гүйцэтгэлийг бараг хоёр дахин нэмэгдүүлдэг, мөн уг судалгаанд амжилтын хувийг харьцуулах боломжтой гэж үзсэн бөгөөд дунджаар тийм байдаг. Үүний дор эрэмбэлэх нь 70-аас 50 хувь хүртэл буурсан бол сонгох ба байрлуулах нь 5-аар нэмэгдсэн. lerobot 0.6.1 нь ижил бинари дотор өөр нэг хөшүүргийг агуулдаг: --inference.type=rtc нь гүйцэтгэлийг бодит цагийн хуваарилалт руу шилжүүлдэг, үүнийг скриптийн өөрийн хэрэглээний хэсэг нь удаан VLA-ууд болох Pi0, Pi0.5 болон SmolVLA-д санал болгодог.

Нэг цэгт хүрэх хоёр зам

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

SmolVLA буруу сонголт байх үед

SmolVLA-г анхны зөв ажиллагаа байсан эсэхийг шалгах нь тэр ажилласан эсэхээс бус, харин алдаа нь танд ямар нэгэн зүйл хэлсэн эсэхээс хамаарна. 60 эсвэл 70 хувьд хүрэхэд илүү том загвар нь дараагийн боломжит зардал болно: өгөгдөл нь дохиог агуулдаг. 10 хувьд хүрэхэд 3B загвар нь ихэнх тохиолдолд мөн 10 хувьд хүрэх бөгөөд үүнийг та арван хоёр долларын оронд гурван доллараар сурсан болно.

Илүү их зардал гаргахаасаа өмнө унших нь зүйтэй: Pi0.5-ыг SmolVLA-тай харьцуулах ижил санаан дээр илүү их хүчин чадал авахын тулд, мөн GR00T N1.7-ыг SmolVLA-тай харьцуулах NVIDIA-ийн замыг сонгохын тулд, хоёулаа 80 GB-ын түвшинд нэг ажиллагаа нь 4-12 USD. Нөгөө талаар, ACT нь хямд суурь юм: 80 M параметр, үйлдлийн алхам тутамд 20 ms, хэлний нөхцөлгүй. Бүх тав нь дараах хуудсанд байрладаг: бодлогын хуудас; талбар нь 85 загвар болон 332 бенчмарк үр дүнтэй.

Юуг ч өргөжүүлэхийн өмнөх шалгах хуудас

1. `lr` нь 2.5e-6 хязгаарт хүрсэн үү? 30000 алхамаас доош бол lerobot нь бууралтыг дахин масштабчилж, эхлүүлэх үед мэдэгддэг; түүнээс дээш бол `--policy.scheduler_decay_steps`-ийг өөрөө тохируулна уу.
2. Нэгээс олон чекпойнт, мөн `--dataset.eval_split`-ээр хадгалсан эпизодууд байгаа эсэх, ингэснээр үнэлгээний алдагдал нь утга учиртай болно.
3. Бодлого огт хөдөлж байна уу? Хөдөлгөөнгүй гар дээр алдагдал буурах нь тодорхой шалтгаантай: алдагдал буурч, бодлого юу ч хийхгүй байна.
4. Энэ нь орчны өөрчлөлтийг даван туулж байна уу? Хэрэв үгүй бол: бодлого зөвхөн нэг тохиргоонд ажилладаг.
5. Та seed-ийг тэмдэглэж авсан уу? lerobot нь анхдагчаар 1000-г ашигладаг тул хоёр өөрчлөгдөөгүй ажиллагаа харьцуулагдахуйц хэвээр байна.
6. Зөвхөн дараа нь: илүү олон эпизод, илүү олон хувилбар, эсвэл илүү том загвар. Энэ дарааллаар.

Эдгээр загварууд яагаад оршин тогтнодог, мөн хэлний оролтоор юу хийдэг талаар, нь үндэс суурь юм; нь угсралтыг -аас эхний ажиллагаа хүртэл явуулдаг. Дууссан чекпойнтын хувьд, ; хэрэв гар хэзээ ч харагдахгүй бол, .