Maži VLA modeliai: TinyVLA, SmolVLA ir atvejis iki 1 mlrd. parametrų

Beveik kiekvienas regos-kalbos-veiksmų modelis, apie kurį rašoma, numato duomenų centro kortelę. OpenVLA turi 7 mlrd. parametrų. GR00T N1.7 ir Pi0.5 yra apie 3 mlrd. ir reikalauja A100 80 GB kortelės smulkiam derinimui. Jei ant jūsų stalo yra 4090 kortelė, tokios klasės modelis yra nepasiekiamas.

Du straipsniai teigia, kad jums to nereikia. TinyVLA (arXiv 2409.12514, priimtas IEEE Robotics and Automation Letters 2025 m. vasarį) sukuria VLA iš 400 mln. iki 1,3 mlrd. parametrų pagrindo ir difuzijos veiksmų galvutės. SmolVLA (arXiv 2506.01844, pateiktas 2025 m. birželio 2 d.) turi 450 mln. parametrų su atvirais svoriais, atvirais duomenimis ir scenarijumi, kuris veikia vienoje vartotojo kortelėje. Štai ką abu išmatavo ir kur argumentas, kad mažiau nei 1 mlrd. parametrų yra pakankama, nustoja galioti.

Kas iš tikrųjų laikoma mažu VLA

Parametrų skaičius modelio kortelėje nėra vienas skaičius. Jis gali reikšti bendrą svorių skaičių, svorius, įkeltus inferencijos metu, arba svorius, kurie gauna gradientus metu. TinyVLA praneša abu, ir skirtumas yra didelis: TinyVLA-H yra 1,3 mlrd. iš viso, bet 143 mln. apmokomų, nes vizijos bokštas ir didžioji dalis kalbos modelio lieka užšaldyti, o LoRA adapteriai ir veiksmo galvutė juda. Straipsnyje nurodoma, kad apmokoma dalis sudaro apie 5 procentus.

Dvi eilutės vertos diskusijos. su maždaug 80 mln. yra mažesnis už visus kitus čia, bet neturi kalbos modelio, todėl tai nėra VLA: jis išmoksta vieną užduotį ir jam negalima nurodyti daryti kitos. su 27 mln. yra sąlygojamas per T5-Base teksto koduotuvą, o ne LLM pagrindą. Geros bazinės linijos, tačiau nė viena iš jų nesuteikia instrukcijų vykdymo, kurį numano pavadinimas.

TinyVLA: greitis kyla iš galvos, ne iš stuburo

Akivaizdu, kad jie sumažino kalbos modelį, todėl jis tapo greitesnis. Tačiau straipsnio abliacija rodo kitaip. Pakeitus OpenVLA 7 B pagrindą maždaug 1 B pagrindu, veiksmo numatymas sumažėjo nuo 292 ms iki 140 ms, t. y. 2 kartus pagreitėjo. TinyVLA-H, turintis panašų parametrų skaičių, veikia 14 ms ant tos pačios kortelės. Kiti 10 kartų yra veiksmo galva.

OpenVLA išleidžia veiksmus kaip diskretizuotus žetonus per kalbos modelio galvą, po vieną kiekvienai veiksmo dimensijai, autoregresyviai. TinyVLA prijungia difuzijos dekoderį, kuris sukuria visą fragmentą vienu metu. V lentelėje pateikiama TinyVLA-H architektūra ir pakeičiama tik galva, atliekant tas pačias penkias realaus roboto užduotis. Tai yra aiškiausias įrodymas bet kuriame straipsnyje, patvirtinantis argumentą, kad srauto derinimas politikos sukuria, ir priežastis, kodėl Pi0 atsisakė žetonų dekodavimo.

Ką pasiekė TinyVLA

Dvirankė eilutė turi nuobodų paaiškinimą, kurį pateikia pats straipsnis: OpenVLA yra išmokytas naudojant Open X-Embodiment, kuris susideda tik iš vienos rankos duomenų, todėl dviejų rankų veiksmų erdvė yra už pasiskirstymo ribų ir gauna nulį taškų. Difuzijos politikos bazinė linija aplenkia TinyVLA-H dviejose iš tų trijų užduočių. Daugiau informacijos rasite Open X-Embodiment aprašyme.

TinyVLA saugykla, 2026 m. rugpjūčio mėn. duomenimis

Straipsnis geras. Kodas yra tyrimų rezultatas. Saugykla yra github.com/liyaxuanliyaxuan/TinyVLA; jos README nurodo kodo išleidimo datą 2025 m. vasario 17 d., o paskutinis įsipareigojimas – 2025 m. kovo 11 d. Tinka straipsniui atkartoti, bet problema, jei norėtumėte prižiūrimos bibliotekos.

git clone https://github.com/liyaxuanliyaxuan/TinyVLA
conda create -n tinyvla python=3.10 -y
conda activate tinyvla
pip install --upgrade pip
pip install -r requirements.txt
cd policy_heads && pip install -e .
cd ../llava-pythia && pip install -e .

TinyVLA taip pat neskaito LeRobot duomenų rinkinių. Jo formatas yra ACT stiliaus HDF5: veiksmas, language_raw ir stebėjimų grupė su kelių vaizdų atvaizdais, joint_positions, qpos ir qvel. Saugykloje yra data_utils/rlds_to_h5py.py, skirtas RLDS įvestims, o kiekviena užduotis rankiniu būdu registruojama aloha_scripts/constants.py su savo dataset_dir, episode_len ir camera_names. Jei jūsų epizodai gauti iš lerobot arba darbalaukio kliento, konversija priklauso jums.

# scripts/train.sh, the real flags from the repository
ACTION_HEAD=droid_diffusion

deepspeed --master_port 29600 --num_gpus=8 --num_nodes=1 ./train_tinyvla.py \
  --deepspeed scripts/zero2.json \
  --lora_enable True \
  --lora_module 'vit llm' \
  --lora_r 64 \
  --lora_alpha 256 \
  --non_lora_lr 2e-5 \
  --task_name "example_task_config" \
  --model_name_or_path /path/to/pretrained_vlm \
  --freeze_vision_tower True \
  --freeze_backbone True \
  --bf16 True \
  --max_steps 10000 \
  --per_device_train_batch_size 32 \
  --gradient_accumulation_steps 1 \
  --learning_rate 2e-4 \
  --lr_scheduler_type "cosine" \
  --warmup_ratio 0.005 \
  --save_steps 1000 \
  --action_head_type $ACTION_HEAD \
  --use_state True \
  --window_size 6

• --num_gpus=8 daro prielaidą, kad mazgas turi aštuonias korteles. Nustatykite jį į 1 ir sumažinkite paketų dydį gerokai žemiau 32. Nėra vienos GPU varianto, kuris būtų tiekiamas aukščiau, todėl komandos negalima paleisti pažodžiui ant 4090.
• --deepspeed scripts/zero2.json nurodo failą, kuris nėra aukščiausio lygio scripts kataloge. DeepSpeed konfigūracijos yra llava-pythia/scripts/zero2.json. Pataisykite kelią prieš pirmąjį paleidimą.
• README reikalauja, kad išvesties katalogo pavadinime būtų llava_pythia, plius lora, jei LoRA yra įjungta.
• Pagrindas yra atskiras atsisiuntimas: lesjie/Llava-Pythia-400M, -700M arba -1.3B. Nėra vieno bazinio kontrolinio taško, į kurį nukreiptumėte politiką taip, kaip nukreipiate į lerobot/smolvla_base.

SmolVLA: mažesnis nei 1 mlrd. parametrų modelis, kurį galite paleisti šią popietę

SmolVLA pateikia tą patį argumentą prižiūrimoje bibliotekoje. Jis turi 450 mln. parametrų ant SmolVLM2-500M-Video-Instruct pagrindo, o efektyvumas kyla iš nustatymų, kuriuos galite perskaityti iš configuration_smolvla.py, o ne iš teiginio apie jo mažumą.

Išankstiniam apmokymui buvo panaudoti 481 bendruomenės LeRobot duomenų rinkiniai, 22,9 tūkst. epizodų ir 10,6 mln. kadrų ant 4 GPU, 200000 žingsnių su 256 globaliu paketu; straipsnyje visas projektas įvertinamas maždaug 30 tūkst. GPU valandų. Vienas skaičius, į kurį reikia atkreipti dėmesį: „Hugging Face“ paleidimo tinklaraštyje teigiama, kad yra 487 kuruoti duomenų rinkiniai, o straipsnio lentelėje – 481. Mes naudojame straipsnio skaičių ir pažymime neatitikimą.

Vienas atsitiktinumas padeda: SmolVLA straipsnio Meta-World lentelėje pateikiami paties TinyVLA paskelbti skaičiai kaip bazinė linija, todėl šįkart abu modeliai yra vienoje lentelėje: SmolVLA-0.45B su 57.3 prieš TinyVLA-H su 31.6. Taip pat pranešama, kad SmolVLA treniruojasi maždaug 40 procentų greičiau nei Pi0, naudodamas 6 kartus mažiau atminties. Visa tai pateikė SmolVLA autoriai; arenos įrašas susieja kiekvieną reikšmę su jos šaltiniu.

Kam SmolVLA skiria savo laiką

AY-Robots nurodo SmolVLA 245 ms vienam veiksmo žingsniui ir ACT 20 ms politikų kataloge. TinyVLA praneša apie 14 ms vienam veiksmo numatymui. Šie skaičiai nėra palyginami, ir elgtis su jais taip, tarsi jie būtų, yra dažniausia klaida šioje temoje: kai kurie matuoja vieną tiesioginį praleidimą, kai kurie padalija tą praleidimą per gabalą, kai veiksmų skaidymas jį amortizuoja.

• SmolVLA išleidžia 50 veiksmų per vieną tiesioginį praleidimą ir įvykdo visus 50. Esant 30 kadrų per sekundę (fps), kuriuos straipsnis naudoja su realiais robotais, vienas išvedimas apima apie 1.7 sekundės judesio.
• Asinchroninis išvedimas apskaičiuoja kitą gabalą, kol dabartinis dar vykdomas: 9.7 s vidutinis užduoties atlikimas, palyginti su 13.75 s sinchroniniu, maždaug 30 procentų greičiau, ir 19 paėmimo-padėjimo ciklų per fiksuotą 60 sekundžių langą, palyginti su 9.
• Sėkmės rodikliai buvo palyginami, o ne geresni: 78.3 sinchroninis prieš 73.3 asinchroninį. Asinchroninis režimas padidina pralaidumą, o ne tikslumą.
• Skaidymas paslepia skaičiavimo vėlavimą, o ne tinklo vėlavimą, ir daro politiką mažiau reaktyvią, nes ji yra įsipareigojusi 50 veiksmų.

SmolVLA tikslinimas vienoje vartotojo kortelėje

Rankinis kelias, naudojant lerobot 0.6.1, dabartinį PyPI leidimą nuo 2026 m. rugpjūčio 23 d. Viskas, kas aprašyta toliau, paimta iš Hugging Face lerobot SmolVLA dokumentacijos, gautos tą pačią dieną; vadovaujama versija yra švelnesnė.

1. 1
   Įdiekite lerobot su smolvla priedu

   SmolVLA priklausomybės yra pasirenkamas priedas, neįeinantis į bazinį diegimą. Įdiegus be jo ir vėliau stebintis, kodėl politikos tipas nežinomas, dažnai prarandama pusvalandis.

   bash

   git clone https://github.com/huggingface/lerobot.git
   cd lerobot
   pip install -e ".[smolvla]"

2. 2
   Gaukite duomenų rinkinį su pakankamai epizodų

   Dokumentacijoje rekomenduojama apie 50 epizodų ir teigiama, kad tos pačios užduoties su 25 nepakako. AY-Robots nustato minimumą ties 30. Įrašykite savo, arba pradėkite nuo duomenų rinkinių katalogo.

   bash

   # any LeRobotDataset on the Hub works as --dataset.repo_id
   # lerobot/svla_so100_pickplace is the paper's own 50-episode set:
   # 5 cube positions, 10 episodes each

3. 3
   Pradėkite tikslų derinimą

   Komanda iš lerobot vadovo, nepakeista. Dokumentacijoje nurodoma, kad 20000 žingsnių užtrunka maždaug 4 valandas su viena A100. Su 24 GB kortele tikėkitės ilgesnio laiko ir jį išmatuokite.

   bash

   cd lerobot && lerobot-train \
     --policy.path=lerobot/smolvla_base \
     --dataset.repo_id=${HF_USER}/mydataset \
     --batch_size=64 \
     --steps=20000 \
     --output_dir=outputs/train/my_smolvla \
     --job_name=my_smolvla_training \
     --policy.device=cuda \
     --wandb.enable=true

4. 4
   Sumažinkite partijos dydį, kol tilps

   batch_size=64 yra dokumentuotas pavyzdys, o ne pažadas dėl jūsų kortelės. Dokumentacijoje patariama pradėti nuo mažo dydžio ir didinti, kol įkėlimo laikas išlieka trumpas.

   bash

   lerobot-train --help

5. 5
   Išleiskite kontrolinį tašką ant roboto rankos

   Ta pati biblioteka, viena komanda. Realaus laiko skaidymo vėliavėlės dokumentacijoje yra užkomentuotos ir yra tos, kurias reikia naudoti mažos galios aparatinėje įrangoje.

   bash

   lerobot-rollout \
     --strategy.type=base \
     --robot.type=so101_follower \
     --robot.port=/dev/ttyACM0 \
     --robot.id=my_blue_follower_arm \
     --robot.cameras="{ front: {type: opencv, index_or_path: 8, width: 640, height: 480, fps: 30}}" \
     --task="Grasp a lego block and put it in the bin." \
     --policy.path=HF_USER/FINETUNE_MODEL_NAME

Du būdai, kaip įdiegti mažą VLA ant roboto rankos

Kai mažas modelis yra netinkamas pasirinkimas

Abu straipsniai čia yra atidesni nei jų santraukos. TinyVLA gedimų analizė yra specifinė: 0,4 B variantas tris kartus nepavyko neteisingai perskaičius instrukciją, ką autoriai priskiria ribotam kalbos supratimui mažesniame VLM, ir šis režimas išnyko ties 1,3 B. SmolVLA rodo tą pačią kreivę iš kito galo: 2,25 B identiškos architektūros versija LIBERO įvertina 88,75, o Meta-World – 68,24, palyginti su 87,3 ir 57,3 0,45 B modeliui.

Palyginimas, kurį verta atlikti, nėra TinyVLA prieš SmolVLA. Tai SmolVLA prieš ACT jūsų pačių užduotyje, ir SmolVLA straipsnis yra argumentas, kodėl. Apmokytas vienos užduoties režimu be robotikos išankstinio apmokymo, SmolVLA vidutiniškai pasiekė 40,0 per tris SO-100 užduotis, kur vienos užduoties ACT pasiekė 48,3. Kas pakelia jį iki 78,3, tai bendruomenės išankstinis apmokymas plius daugiaprogramis apmokymas, o ne vien architektūra. SO-101 lego užduotyje, abi vienos užduoties, SmolVLA laimi: 90 prieš 70 pasiskirstyme. Tada SmolVLA prieš Pi0.5 jei leidžia biudžetas.

Sprendimų lentelė, pagal kurią galite veikti

Paskutinei eilutei, tiesioginė ranka transliuoja fizinį SO-100, kurį galite valdyti iš naršyklės be paskyros, o trys būdai pradėti apima likusius. SO-100 yra etaloninė ranka, kainuojanti maždaug nuo 110 iki 150 EUR dalimis, su išsamiu nustatymo vadovu.

Kas seka po mažesnių nei 1 mlrd. modelių

Parametrų skaičiaus mažinimas yra vienas iš būdų, kaip padaryti VLA pigų, ir ne akivaizdžiai laimintis. OpenVLA-OFT (arXiv 2502.19645) išlaiko 7 mlrd. pagrindą ir keičia tik veiksmų dekodavimo būdą, pranešdamas apie 26 kartus didesnį veiksmų generavimo pralaidumą ir LIBERO padidėjimą nuo 76,5 iki 97,1 procento. BitVLA (arXiv 2506.07530) kiekvieną 1 bito BitNet b1.58 2B4T pagrindo svorį padaro trejybiniu, pranešdamas apie 11,0 karto mažesnę atmintį ir 4,4 karto mažesnį galutinio vėlavimą, atitinkantį pilno tikslumo OpenVLA-OFT. X-VLA-0.9B (arXiv 2510.10274) yra 1 mlrd. linijoje su srauto atitikimu.

Bendra gija: veiksmų dekoderis, o ne kalbos modelis, yra vieta, kur atsiranda vėlavimas. Paklauskite, kaip politika išleidžia veiksmus, prieš klausdami, kiek parametrų ji turi. arena turi 85 modelius ir 332 rezultatus, kiekvienas susietas su savo šaltiniu; platesnė apžvalga pateikiama mūsų VLA įvade.