Jinsi ya Kufunza ACT kwenye SO-100 Kutoka Mwanzo

ACT ni tofauti kati ya sera za SO-100. GR00T N1.7 na N1.5 huanza kutoka nvidia/GR00T-N1.7-3B na nvidia/GR00T-N1.5-3B, Pi0.5 kutoka lerobot/pi05_base. ACT huanza kutoka mwanzo: hakuna kituo cha msingi cha ukaguzi, kwa sababu si mfumo msingi. Ni transformer yenye takriban vigezo milioni 80 unayoifundisha kutoka mwanzo kwenye kazi moja, kwenye mkono wako, chini ya mwangaza wako.

Hiyo pia ndiyo sababu inatekeleza hatua ya udhibiti katika milisekunde 20 ambapo VLA yenye vigezo bilioni 3 inahitaji milisekunde 152 hadi 485, na inagharimu USD 1 hadi 3 kwa kila utekelezaji badala ya 4 hadi 12. Mwongozo huu unaeleza njia ya mikono na lerobot kwenye SO-100: rekodi, usanidi wa act, nini chunk_size na n_action_steps hudhibiti, ratiba ya hatua 100000, utekelezaji. Kisha kazi hiyo hiyo kwenye AY-Robots, ikiwemo pale ambapo jukwaa halisaidii.

ACT ni nini hasa

Action Chunking with Transformers inatokana na karatasi ya ALOHA, Kujifunza Udhibiti wa Mikono Miwili kwa Usahihi wa Juu kwa Kutumia Vifaa vya Gharama Nafuu, na Zhao, Kumar, Levine na Finn, arXiv, 23 Aprili 2023. Mfumo huo hurekodi kwa 50 Hz na kamera nne za wavuti zinazotiririsha 480x640 kwa 30 fps: mbili kwenye vishikio, moja juu, moja mbele. Muhtasari unadai ujuzi sita kwa asilimia 80 hadi 90 ya mafanikio, miongoni mwao kufungua kikombe cha mchuzi kisichoonekana wazi na kuweka betri, kutoka dakika 10 za maonyesho.

Sehemu ya maelezo ni muhimu zaidi wakati wa kupanga kipindi cha kurekodi: maonyesho 50 kwa kila kazi, isipokuwa Thread Velcro kwa 100, ambayo ni dakika 10 hadi 20 za data na dakika 30 hadi 60 za muda halisi baada ya kuhesabu uwekaji upya. Mafanikio si sawa pia: Thread Velcro huishia kwa asilimia 20, Put On Shoe kwa 92, Cup Open 84, Prep Tape 64.

Kugawanya vitendo ni wazo zima

Uigaji wa tabia wa kawaida huunganisha uchunguzi mmoja na kitendo kimoja, na makosa hujikusanya: mkengeuko huweka mkono nje ya usambazaji, na kutoa kitendo kibaya zaidi, na hatua thelathini baadaye kishika hakiko karibu na kitu. Kugawanya vitendo hutabiri vitendo k mara moja na kuvitekeleza, ikipunguza upeo halisi kwa sababu ya k. Pia inashughulikia kero maalum kwa data ya binadamu: waendeshaji wa mbali husitisha, na Markovian ya hatua moja sera haiwezi kuiga kusitisha kunakotegemea kilichotangulia.

Karatasi inachunguza k badala ya kudai. Kwa kuunganisha kwa muda kumezimwa, kwa wastani wa mipangilio minne, mafanikio huongezeka kutoka asilimia 1 kwa k = 1 hadi asilimia 44 kwa k = 100, kisha hupungua kwa 200 na 400 kadri sera inavyokaribia udhibiti wa wazi. Mchoro huo ndio sababu chaguo-msingi ni 100.

• chunk_size: idadi ya vitendo vya baadaye ambavyo kidekodari hutabiri kwa kila pasi ya mbele. Chaguomsingi 100.
• n_action_steps: ni vingapi kati ya hivyo unavyotekeleza kabla ya kuuliza tena. Chaguomsingi 100, hivyo lerobot huendesha kipande chote kwa kitanzi huru.
• lerobot inathibitisha n_action_steps <= chunk_size na huibua ValueError ikiwa utaweka kinyume.

Kinachohitajika kiutendaji ni chunk_size kugawanywa na kasi ya fremu. Kwa fremu 30 kwa sekunde ambazo mifano ya SO-100 ya lerobot hutumia, kipande cha 100 huahidi takriban sekunde 3.3 kutoka uchunguzi mmoja. Ikiwa kazi inahitaji marekebisho ndani ya dirisha hilo, punguza n_action_steps, si chunk_size: unaweka utabiri mrefu na kuchunguza tena mara nyingi zaidi.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Wakati ACT inaposhinda modeli msingi

Sera tano zinazoweza kufunzwa zikiwa sambamba, pamoja na nambari ambazo AY-Robots hupima na kutumia kuamua ukubwa wa GPU inayoikodi.

Chagua ACT wakati kazi na eneo zimerekebishwa na mwendo lazima uwe wa haraka na sahihi. Chagua wakati sehemu moja ya kukagua lazima ifunike maelekezo kadhaa. Kurasa mbili zinafanya kazi ya uamuzi ana kwa ana: na . Kwa vigezo vilivyochapishwa, huunganisha kila nambari na chanzo chake.

Unachohitaji kabla ya kuanza

Mkono mmoja wa mfuasi, mkono mmoja wa kiongozi kwa , angalau kamera moja, GPU ya GB 24. ACT husoma picha na nafasi za viungo pekee. Kamera mbili ndio mahali pazuri: mtazamo wa mbele uliowekwa kwa ajili ya mahali vitu vilipo, kamera ya mkono kwa ajili ya kile kinakaribia kugusa, kama ilivyo kwenye ALOHA.

Kutoka mkono tupu hadi seti ya data iliyorekodiwa

Mchakato ufuatao ni lerobot 0.6.x. Uruke ikiwa una mkono uliorekebishwa na seti ya data. Vinginevyo mwongozo wa kuanza wa SO-100 unashughulikia uunganishaji, mwongozo wa kurekodi unashughulikia kunasa na nyaraka za seti ya data umbizo.

1. 1
   Sakinisha lerobot na nyongeza sahihi

   Kurekodi kunahitaji core_scripts, mafunzo training, serva za Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Pata bandari ya USB ya kila mkono

   Endesha ikiwa na mikono yote miwili imeunganishwa, ukichomoa mmoja unapoombwa. Kwenye Linux unaweza kuhitaji kufungua ruhusa za nodi.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Weka vitambulisho vya motor na kasi ya baud

   Kwenye SO-100 hii hutokea kabla ya kuunganisha: tofauti na SO-101 viunganishi haviwezi kufikiwa mara tu vinapojengwa. Skripti hupitia basi motor moja kwa wakati kutoka kwa kishika, ikiandika vitambulisho kwenye EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Rekebisha mikono yote miwili

   Weka kila kiungo katikati ya masafa yake, bonyeza Enter, kisha pitisha kila kimoja kupitia masafa yake kamili. Urekebishaji huruhusu sera iliyefunzwa kwenye mkono mmoja kuendeshwa kwenye mwingine. Tumia tena id sawa.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Endesha kwa mbali mara moja na kamera zikiwa zimewashwa

   Kanuni ya jumla ya lerobot: unapaswa kuweza kufanya kazi ukiangalia tu picha za kamera. Ikiwa huwezi, ACT pia haiwezi. Hii inakamata seti mbaya za data zaidi kuliko utatuzi wa baadaye.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   Rekodi vipindi 50

   50 ni kiwango cha chini cha AY-Robots na kile ALOHA ilitumia kwa kila kazi. lerobot inashauri 10 kwa kila eneo la kitu, kamera zimewekwa sawa, mshiko thabiti. n inamaliza kipindi, r inarekodi upya, q inasimamisha na kusimba.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Kabla ya mafunzo, cheza tena angalau vipindi vitano. Muundo wa seti ya data ya LeRobot huhifadhi mitiririko ya kamera, hali za viungo na vitendo kwa kila kipindi, na uchezaji tena hurudisha vitendo hivyo kwenye mkono. Ikiwa uchezaji tena haufanyi kazi, data haijumuishi na mafunzo hayataibuni.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Kufunza sera ya ACT

Huu ndio amri nzima. Kila kitu mahususi kwa ACT tayari ni chaguo-msingi, ndiyo maana ukurasa wa lerobot ACT unasema kuanza nao.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act hupakia ACTConfig, ambayo hujirekebisha kulingana na idadi ya mota na kamera ambazo seti yako ya data ilirekodi, kwa hivyo hutawahi kutangaza umbo la uchunguzi. --wandb.enable=true ni hiari na inafaa: mkunjo wa hasara ndio ishara pekee ya bei nafuu katika mchakato wa hatua 100000. Ratiba inatoka kwenye usanidi wa mafunzo wa lerobot, sio ACTConfig: hatua 100000, kundi 8, mbegu 1000, kituo cha ukaguzi kila hatua 20000, na kuweka kumbukumbu kila 200.

Mchakato kamili huacha saraka tano za vituo vya ukaguzi, 020000 hadi 100000, pamoja na kiungo cha ishara cha mwisho. Zihifadhi zote: sera bora mara nyingi si ile ya mwisho.

Muda: takriban saa 5 kwenye RTX 2080 Ti ya GB 11 kwenye karatasi, saa chache kwa hatua 100k kwa kila ukurasa wa ACT wa lerobot, saa 2 hadi 5 kwenye kiwango cha AY-Robots cha GB 24. Usiikate fupi. README ya repo ya marejeleo inasema sera inayoyumbayumba au kusimama mara kwa mara kwa kawaida inahitaji tu zaidi mafunzo, kwa sababu mafanikio na ulaini huendelea kuboreka baada ya hasara kufikia kiwango cha juu: kwa data halisi inahitaji angalau epoki 5000, au mara 3 hadi 4 urefu tena baada ya kiwango cha juu.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Kuendesha sera iliyefunzwa kwenye mkono

Utekelezaji hutumia lerobot-rollout. Funguo za kamera lazima zilingane na zile zilizorekodiwa: sera iliyefunzwa kwenye front na wrist haitakubali cam0 na cam1, na rename_map haisaidii, kwani inahitaji kituo cha ukaguzi kilichofunzwa awali. Mfuatano wa kazi unaweza kuachwa; mfano wa lerobot wenyewe unauweka kama unaoweza kurukwa kwa ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Ili kubandika sehemu ya kukagua badala ya modeli ya mwisho, ongeza --policy.pretrained_revision. Hiyo inahitaji utekelezaji uwe umeanza na --save_checkpoint_to_hub=true, imezimwa kwa chaguo-msingi: bila hiyo lerobot inasukuma modeli ya mwisho na hakuna kingine. Kwa hiyo, kila sehemu ya kukagua inawekewa lebo na hatua yake iliyojazwa sifuri, hivyo --policy.pretrained_revision=060000 inarejesha ile ya hatua 60000. Kuilinganisha na 100000 kwenye mkono halisi ndio jaribio la bei nafuu zaidi linalopatikana.

Njia mbili za kufikia sehemu moja ya kukagua

Yote yaliyo hapo juu ni njia ya mikono na inafanya kazi. Njia ya jukwaa inabadilisha udhibiti kwa kutomiliki GPU au mazingira ya Python.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Nini hasa kinachoenda vibaya

Karibu maumivu yote hayapo kwenye amri ya mafunzo. Yapo kwenye mambo yanayoizunguka, yamepangwa kwa jinsi yanavyojitokeza mara ya kwanza.

Safu mbili zinastahili kusisitizwa. ACT inafunzwa kwenye LeRobot v3.0 wakati kipakiaji cha GR00T kinagonga kwenye hiyo na kinahitaji v2.1, kwa hivyo seti ya data inayofunza ACT inaweza kufeli utekelezaji wa GR00T. Na safu ya mwisho ina marekebisho mawili: waandishi wa ACT hujibu mwendo wa kutetemeka kwa mafunzo zaidi, wakati na n_action_steps kwa 100 kusimama halisi hutua kwenye mpaka wa kipande, kusimama kunakoonekana kila sekunde 3.3 kwa 30 fps. Mengine mawili ya kujua: kiungo kimoja kilichokufa kwa kawaida ni kitambulisho cha servo ambacho hakikuandikwa kamwe, na kibano kinachokaribia lakini hakifungi kamwe inamaanisha safu ndogo sana ya kibano katika maonyesho. Kielezo kamili: kurasa za aina za hitilafu.

Gharama ya utekelezaji

Huu ndio hoja ya kuanza na ACT hata kama unataka VLA baadaye. Uendeshaji wa ACT ulioshindwa unagharimu bei ya kahawa na hukujulisha ndani ya masaa kama seti yako ya data ina kazi hiyo. Uendeshaji wa GR00T ulioshindwa unagharimu mara nne zaidi kwa somo hilo hilo. Kuhamia kwenye GR00T N1.7 au SmolVLA baadaye ni mabadiliko ya fomu, sio ujenzi upya. Mandharinyuma: miundo ya maono-lugha-vitendo, mwongozo kamili wa SO-100, funza sera yako ya kwanza na ujifunzaji wa kuiga. Hakuna mkono? ukurasa wa moja kwa moja huonyesha SO-100 halisi ya kuendesha bila kujisajili.