Cách huấn luyện SmolVLA trên GPU 24 GB (lerobot 0.6.1)

Hầu hết những người muốn một mô hình hành động ngôn ngữ thị giác trên một cánh tay robot thực tế thường dừng lại ở giới hạn phần cứng. GR00T N1.7 và Pi0.5 có khoảng ba tỷ tham số mỗi loại và yêu cầu A100 80 GB hoặc H100. Nếu bạn sở hữu một PC chơi game với RTX 4090, đó là giới hạn. SmolVLA là một ngoại lệ: 450 M tham số, bên trong LeRobot, được xây dựng để tinh chỉnh trên một card tiêu dùng và phục vụ từ CPU.

Trước tiên là cách thủ công: cài đặt lerobot, kéo checkpoint lerobot/smolvla_base, chạy lệnh thực tế, đọc quá trình chạy khi nó diễn ra. Sau đó là cách nền tảng, và những điểm nó không giúp ích.

SmolVLA là gì, với các con số bạn có thể kiểm tra

SmolVLA là một khớp dòng chảy chính sách được tích hợp vào một mô hình ngôn ngữ thị giác nhỏ. Kiến trúc cốt lõi là SmolVLM2-500M-Video-Instruct; bài báo chỉ giữ lại 16 lớp đầu tiên của mô hình ngôn ngữ, giới hạn mỗi khung hình camera ở 64 token thị giác bằng cách sử dụng pixel shuffle thay vì xếp gạch hình ảnh, và xen kẽ cơ chế cross attention với một lớp self attention sau mỗi khối thứ hai. Chi phí suy luận là một ràng buộc thiết kế, không phải là một yếu tố được xem xét sau.

Các điểm chuẩn là lý do tại sao mọi người quan tâm đến một mô hình 450 triệu tham số. Trên LIBERO, nó đạt trung bình 87.3 percent so với 76.5 của OpenVLA ở 7 B và 86.0 của Pi0 được huấn luyện trước cho robot ở 3.3 B; trên Meta-World, 57.3 so với 47.9. Trên phần cứng SO-100 thực tế, huấn luyện đa nhiệm mang lại 75 percent cho tác vụ nhặt và đặt, 90 cho xếp chồng, 70 cho phân loại, trung bình 78.3, trong khi ACT được huấn luyện cho từng tác vụ đạt trung bình 48.3. Các hàng tương tự nằm cạnh mọi VLA đã xuất bản trong mục nhập đấu trường SmolVLA và so sánh ACT với SmolVLA.

Tại sao thẻ 24 GB là lựa chọn phù hợp cho lần chạy đầu tiên

LeRobot cung cấp hướng dẫn định cỡ tính toán, trang hữu ích nhất trong kho lưu trữ cho mục đích này. Hướng dẫn này nhóm các chính sách theo kích thước backbone và cung cấp một giới hạn VRAM cho mỗi nhóm, được đo ở kích thước batch 8 với AdamW, cài đặt mặc định của lerobot. Riêng trạng thái bộ tối ưu hóa đã thêm 30 đến 100 phần trăm so với một lượt truyền xuôi và ngược đơn thuần, vì vậy đây không phải là các con số chỉ riêng trọng số.

Mười đến mười sáu gigabyte ở batch 8 là lập luận: một thẻ 24 GB phù hợp với dung lượng đó cộng với dataloader. AY-Robots đặt SmolVLA trên RTX 4090 hoặc bất kỳ thẻ 24 GB nào, tối thiểu 30 tập, LeRobot v3.0 dữ liệu, 245 ms mỗi bước hành động. Thuê, đó là 2 đến 5 giờ với giá 0.30 đến 0.60 USD một giờ, khoảng 1 đến 3 USD cho một lần tinh chỉnh lần chạy, so với 4 đến 12 USD trên cấp 80 GB mà GR00T và Pi0.5 cần (giá cả). Một lần chạy SmolVLA thất bại chỉ tốn một ly cà phê; một lần chạy GR00T thất bại, tốn một bữa trưa.

Bước 0: tập dữ liệu quyết định lần chạy, không phải các cờ

Không có gì dưới đây quan trọng nếu bản ghi kém chất lượng. Trang LeRobot SmolVLA thẳng thắn: tập dữ liệu tham chiếu là 50 tập trên 5 vị trí khối, 10 tập mỗi vị trí, và cùng một nhiệm vụ với 25 tập đã thực hiện kém. Lặp lại theo từng biến thể sẽ tổng quát hóa, số lượng tập thô thì không. Chưa bao giờ ghi lại một cái? Bắt đầu tại ghi lại tập dữ liệu đầu tiên của bạn, với ứng dụng máy tính để bàn, cái mà ghi định dạng LeRobot từ một điều khiển từ xa phiên, hoặc mượn một cái từ thư mục tập dữ liệu.

• Ít nhất 30 tập trên AY-Robots, khoảng 50 tập cho công thức tham chiếu LeRobot.
• Mọi biến thể bạn mong đợi khi triển khai, lặp lại nhiều lần.
• Một chuỗi tác vụ, được viết giống hệt nhau tại thời điểm ghi và triển khai. Mô hình được điều kiện hóa dựa trên văn bản đó.
• Camera cố định. Camera bị di chuyển giữa lúc ghi và triển khai là lý do phổ biến nhất khiến đường cong mất mát sạch cho ra một cánh tay không chuyển động.
• Một biến thể được giữ lại mà bạn chưa bao giờ huấn luyện, để bạn có thứ gì đó trung thực để kiểm tra.

# v2.1 -> v3.0: aggregates per-episode files into shards and writes the episode offsets
python -m lerobot.scripts.convert_dataset_v21_to_v30 --repo-id=${HF_USER}/so100_pick_place

Tìm hiểu thêm về điều này tại cách thu thập dữ liệu huấn luyện VLA chất lượng cao. Tóm lại: 30 đến 50 tập sạch của một tác vụ với biến thể có chủ ý đánh bại 200 tập cẩu thả của ba tác vụ, với một biên độ mà không siêu tham số nào có thể thu hẹp.

Cài đặt lerobot 0.6.1

# LeRobot needs Python 3.12 or newer as of 0.6.x
conda create -y -n lerobot python=3.12
conda activate lerobot

# TorchCodec decodes the dataset videos and wants ffmpeg
conda install ffmpeg -c conda-forge

# Base package is deliberately thin; extras pull the rest
pip install 'lerobot[smolvla,training,core_scripts]'

# Sanity check: prints the lerobot version, the GPU torch sees, and the console scripts you got
lerobot-info

Bản cài đặt lerobot cơ bản khá gọn nhẹ và quản lý các phụ thuộc nặng thông qua các gói bổ sung (extras): smolvla bổ sung transformers, num2words và accelerate, training bổ sung ngăn xếp dữ liệu và wandb, core_scripts bổ sung các phụ thuộc phần cứng và trực quan hóa. Trên Linux, đường dẫn cài đặt cũng quyết định phiên bản CUDA wheel của bạn: mặc định của PyPI là cu130 wheel với yêu cầu driver tối thiểu là 580.65, vì vậy trên driver cũ hơn, hãy cài đặt torch từ chỉ mục cu128 trước, sau đó là lerobot.

Quá trình huấn luyện, từng lệnh một

1. 1
   Xác thực với Hub

   Checkpoint cơ sở đến từ Hub, và tập dữ liệu của bạn có thể cũng vậy.

   bash

   hf auth login

2. 2
   Đọc các tùy chọn một lần

   Mọi trường trong cấu hình pipeline và policy đều là một cờ (flag). Hãy lướt qua nó trước khi đi sâu vào mã nguồn.

   bash

   lerobot-train --help

3. 3
   Bắt đầu tinh chỉnh

   Ví dụ trong tài liệu chạy batch 64 trên một A100 duy nhất; hướng dẫn tính toán của riêng A100 40 GB là batch 16, và 8 là tương đương với 24 GB. Không có cờ scheduler ở đây một cách có chủ ý, xem bên dưới.

   bash

   lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/so100_pick_place \
     --batch_size=8 \
     --steps=20000 \
     --save_freq=2000 \
     --log_freq=200 \
     --seed=1000 \
     --output_dir=outputs/train/smolvla_pick_place \
     --job_name=smolvla_pick_place \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Đọc dòng nhật ký, không chỉ riêng loss

   Mỗi --log_freq bước, lerobot in ra loss, grdn, lr, updt_s, data_s, smp/s và, trên CUDA, mem_gb. mem_gb cho biết liệu batch có vừa không, lr cho biết liệu lịch trình có đang giảm dần không, và data_s tiến gần đến updt_s có nghĩa là dataloader là nút thắt cổ chai, chứ không phải GPU.

   bash

   # if data_s creeps toward updt_s
   lerobot-train ... --num_workers=8

5. 5
   Thu thập các checkpoint bạn có thể so sánh

   save_freq mặc định là 20000, vì vậy một lần chạy 20000 bước chỉ để lại một checkpoint và không có gì để so sánh. Đặt là 2000. Đẩy lên Hub cần --policy.repo_id.

   bash

   --save_freq=2000 \
   --policy.repo_id=${HF_USER}/smolvla_pick_place \
   --save_checkpoint_to_hub=true

6. 6
   Tiếp tục nếu máy gặp sự cố

   Chỉ --config_path vào train_config.json bên cạnh checkpoint. lerobot từ chối bắt đầu vào một output_dir hiện có trừ khi bạn đang tiếp tục, vì vậy bạn không thể vô tình ghi đè một lần chạy.

   bash

   lerobot-train \
     --config_path=<path to the saved train_config.json> \
     --resume=true

Các cờ thực sự thay đổi kết quả

Các giá trị mặc định bạn kế thừa nếu không thay đổi gì

Một cấu hình trong lerobot mang theo bộ tối ưu hóa và cài đặt lịch trình riêng, và trừ khi bạn đặt use_policy_training_preset=false các cài đặt trước đó sẽ được ưu tiên. Một nửa số câu hỏi mọi người hỏi về việc huấn luyện SmolVLA được trả lời bởi một giá trị mặc định mà họ không biết là có tồn tại.

Hai dòng khiến mọi người ngạc nhiên là freeze_vision_encoder và train_expert_only, cả hai đều đúng. Ngay từ đầu, bạn huấn luyện khoảng 100 triệu tham số, không phải 450 triệu, đó là lý do tại sao nó vừa với 24 GB. Chạy tham chiếu của LeRobot trên cụm H100 bốn GPU chuyển cả hai thành false; trên một card 24 GB, điều đó biến một lần chạy hoạt động thành một lỗi tràn bộ nhớ.

Thời gian chạy mất bao lâu và bao nhiêu bước là đủ

LeRobot công bố các mốc thời gian thực cho năm epoch trên một tập dữ liệu khoảng 50 tập, khoảng 45000 khung hình ở 30 fps. Các tài liệu nói rằng đây là những con số ước tính, nhưng chúng tạo ra sự khác biệt giữa việc mong đợi một giờ và một ngày.

Chạy lại chính sách đã tinh chỉnh trên cánh tay robot

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower_arm \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --task="Grasp the cube and put it in the box." \
  --policy.path=${HF_USER}/smolvla_pick_place

245 ms mỗi bước hành động dễ bị hiểu sai: chính sách phát ra chunk_size = 50 hành động mỗi lần chuyển tiếp và thực hiện n_action_steps = 50 trong số đó, vì vậy tần suất bạn phải trả chi phí đó được đặt bởi các thông số này, chứ không phải bởi tần suất servo nhận lệnh. Đó là điều mà mang lại, và tại sao một mô hình 245 ms có thể điều khiển một cánh tay 30 Hz. Phần còn lại là ở cuối phân đoạn.

Hàng thứ ba đó là điều mà hầu hết các bài viết bỏ qua. Suy luận bất đồng bộ nhanh hơn khoảng 30 phần trăm và gần như tăng gấp đôi thông lượng trong một khoảng thời gian cố định, và bài báo gọi tỷ lệ thành công là tương đương, điều này đúng trên mức trung bình. Bên dưới đó, việc sắp xếp giảm từ 70 xuống 50 phần trăm trong khi nhặt và đặt tăng 5. lerobot 0.6.1 mang theo đòn bẩy khác trong cùng một tệp nhị phân: --inference.type=rtc chuyển đổi quá trình triển khai sang phân đoạn thời gian thực, điều mà khối sử dụng của tập lệnh khuyến nghị cho các VLA chậm, Pi0, Pi0.5 và SmolVLA.

Hai lộ trình đến cùng một điểm kiểm tra

pip install 'lerobot[smolvla,training,core_scripts]'
hf auth login

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/so100_pick_place \
  --batch_size=8 --steps=20000 \
  --save_freq=2000 --seed=1000 \
  --output_dir=outputs/train/smolvla_pick_place \
  --job_name=smolvla_pick_place \
  --policy.device=cuda --wandb.enable=true

Khi SmolVLA là lựa chọn sai lầm

Bài kiểm tra xem SmolVLA có phải là lần chạy đầu tiên phù hợp hay không không phải là liệu nó có hoạt động hay không, mà là liệu thất bại đó có cho bạn biết điều gì đó hay không. Đạt 60 hoặc 70 phần trăm và một mô hình lớn hơn là một khoản đầu tư tiếp theo hợp lý: dữ liệu mang tín hiệu. Đạt 10 phần trăm và một mô hình 3 B rất có thể cũng đạt 10 phần trăm, điều mà bạn vừa học được với ba đô la thay vì mười hai.

Đáng đọc trước khi chi tiêu thêm: Pi0.5 so với SmolVLA để có thêm dung lượng với cùng ý tưởng, và GR00T N1.7 so với SmolVLA cho lộ trình NVIDIA, cả hai đều ở cấp 80 GB với giá 4 đến 12 USD mỗi lần chạy. Cách khác, ACT là nền tảng cơ bản rẻ hơn: 80 triệu tham số, 20 ms mỗi bước hành động, không có điều kiện ngôn ngữ. Cả năm đều nằm trên trang chính sách; đấu trường có 85 mô hình và 332 kết quả benchmark.

Danh sách kiểm tra trước khi bạn mở rộng quy mô bất cứ điều gì

1. `lr` đã đạt đến mức sàn 2.5e-6 chưa? Dưới 30000 bước, lerobot sẽ điều chỉnh lại độ suy giảm và thông báo khi khởi động; trên mức đó, hãy tự đặt `--policy.scheduler_decay_steps`.
2. Có nhiều hơn một checkpoint, và các tập được giữ lại với `--dataset.eval_split` để tổn thất đánh giá có ý nghĩa.
3. Chính sách có di chuyển chút nào không? Tổn thất giảm với cánh tay bất động có những nguyên nhân cụ thể: tổn thất giảm, chính sách không làm gì.
4. Nó có tồn tại khi thay đổi cảnh không? Nếu không: chính sách chỉ hoạt động trong một thiết lập.
5. Bạn đã ghi lại seed chưa? lerobot mặc định là 1000, vì vậy hai lần chạy không thay đổi vẫn có thể so sánh được.
6. Chỉ sau đó: nhiều tập hơn, nhiều biến thể hơn, hoặc một mô hình lớn hơn. Theo thứ tự đó.

Để hiểu tại sao các mô hình này tồn tại và chúng làm gì với đầu vào ngôn ngữ, , là thông tin cơ bản; chạy lắp ráp thông qua đến lần chạy đầu tiên. Đối với checkpoint đã hoàn thành, ; nếu cánh tay không bao giờ xuất hiện, .