SO-100 मा ACT लाई सुरुदेखि कसरी तालिम दिने

SO-100 नीतिहरूमध्ये ACT एउटा फरक हो। GR00T N1.7 र N1.5 यहाँबाट सुरु हुन्छन्: nvidia/GR00T-N1.7-3B र nvidia/GR00T-N1.5-3B, Pi0.5 यहाँबाट: lerobot/pi05_base। ACT शून्यबाट सुरु हुन्छ: यसको कुनै आधार चेकपोइन्ट छैन, किनकि यो फाउन्डेसन मोडेल होइन। यो लगभग ८० मिलियन प्यारामिटरको ट्रान्सफर्मर हो जसलाई तपाईं एउटै कार्यका लागि, आफ्नो रोबोटिक आर्ममा, आफ्नो प्रकाश व्यवस्था अन्तर्गत सुरुदेखि नै तालिम दिनुहुन्छ।

यही कारणले गर्दा यसले २० मिलिसेकेन्डमा नियन्त्रण चरण चलाउँछ जहाँ ३ बिलियन प्यारामिटर VLA लाई १५२ देखि ४८५ मिलिसेकेन्ड लाग्छ, र प्रति रन ४ देखि १२ USD को सट्टा १ देखि ३ USD खर्च हुन्छ। यो गाइडले म्यानुअल मार्ग देखाउँछ लेरोबोट मा SO-100: रेकर्ड, act कन्फिग, के chunk_size र n_action_steps नियन्त्रण गर्छ, १,००,००० चरणको तालिका, र रोलआउट। त्यसपछि AY-Robots मा उही काम, जसमा प्लेटफर्मले मद्दत नगर्ने अवस्थाहरू पनि समावेश छन्।

ACT वास्तवमा के हो

एक्शन चंकिङ विथ ट्रान्सफर्मरहरू ALOHA पेपरबाट आएको हो, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, झाओ, कुमार, लेभिन र फिनद्वारा, arXiv, २३ अप्रिल २०२३। यो रिगले ५० हर्जमा रेकर्ड गर्छ जसमा चार वेबक्यामहरूले ४८०x६४० रिजोलुसनमा ३० एफपीएसमा स्ट्रिम गर्छन्: दुई ग्रिपरमा, एउटा माथि, एउटा अगाडि। सारले ८० देखि ९० प्रतिशत सफलताका साथ छवटा सीपहरू दाबी गर्छ, जसमा १० मिनेटको प्रदर्शनबाट पारदर्शी मसला कप खोल्ने र ब्याट्री स्लट गर्ने समावेश छ।

रेकर्डिङ सत्रको योजना बनाउँदा मुख्य भाग बढी उपयोगी हुन्छ: प्रति कार्य ५० प्रदर्शन, Thread Velcro १०० मा बाहेक, जुन १० देखि २० मिनेटको डेटा र रिसेटहरू गणना गरिसकेपछि ३० देखि ६० मिनेटको वास्तविक समय हो। सफलता पनि एकरूप छैन: Thread Velcro २० प्रतिशतमा समाप्त हुन्छ, Put On Shoe ९२ मा, Cup Open ८४ मा, Prep Tape ६४ मा।

एक्शन चंकिङ नै मुख्य विचार हो

साधारण व्यवहारिक क्लोनिङले एउटा अवलोकनलाई एउटा कार्यमा नक्सा गर्छ, र त्रुटिहरू बढ्दै जान्छन्: विचलनले हातलाई वितरणबाट बाहिर राख्छ, खराब कार्य उत्पादन गर्छ, र तीस चरण पछि ग्रिपर वस्तुको नजिक कतै हुँदैन। एक्शन चंकिङ ले एकै पटक k कार्यहरूको भविष्यवाणी गर्छ र तिनीहरूलाई कार्यान्वयन गर्छ, जसले प्रभावकारी क्षितिजलाई k को कारकले घटाउँछ। यसले मानव डेटामा विशेष समस्यालाई पनि ह्यान्डल गर्छ: टेलिअपरेटरहरू रोकिन्छन्, र एकल-चरण मार्कोभियन नीति ले पहिले के भयो भन्नेमा निर्भर हुने विरामलाई मोडेल गर्न सक्दैन।

कागजले k लाई दाबी गर्नुको सट्टा एब्लेट गर्छ। टेम्पोरल एन्सेम्ब्लिङ बन्द हुँदा, चार सेटिङहरूमा औसतमा, k = 1 मा 1 प्रतिशतबाट k = 100 मा 44 प्रतिशतमा सफलता बढ्छ, त्यसपछि नीति ओपन-लूप नियन्त्रणको नजिक पुग्दा 200 र 400 मा घट्दै जान्छ। त्यो वक्र नै पूर्वनिर्धारित 100 हुनुको कारण हो।

• chunk_size: डिकोडरले प्रति फर्वार्ड पासमा कति भविष्यका कार्यहरू भविष्यवाणी गर्छ। पूर्वनिर्धारित 100।
• n_action_steps: तपाईंले फेरि क्वेरी गर्नु अघि ती मध्ये कति कार्यान्वयन गर्नुहुन्छ। पूर्वनिर्धारित 100, त्यसैले lerobot ले सम्पूर्ण चङ्क खुला लूपमा चलाउँछ।
• lerobot ले n_action_steps <= chunk_size लाई प्रमाणित गर्छ र यदि तपाईंले यसलाई उल्टो गर्नुभयो भने ValueError उत्पन्न गर्छ।

परिचालन रूपमा महत्त्वपूर्ण कुरा chunk_size लाई फ्रेम दरले भाग गर्नु हो। lerobot को SO-100 उदाहरणहरूले प्रयोग गर्ने 30 fps मा, 100 को एक चङ्कले एक अवलोकनबाट लगभग 3.3 सेकेन्ड प्रतिबद्ध गर्छ। यदि कार्यलाई त्यो विन्डो भित्र सुधार चाहिन्छ भने, n_action_steps घटाउनुहोस्, chunk_size होइन: तपाईं लामो भविष्यवाणी राख्नुहुन्छ र प्रायः पुन: अवलोकन गर्नुहुन्छ।

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

जब ACT ले फाउन्डेसन मोडललाई जित्छ

पाँच तालिम योग्य नीतिहरू एकसाथ, AY-Robots ले मापन गर्ने र आफूले भाडामा लिने GPU को आकार निर्धारण गर्न प्रयोग गर्ने संख्याहरूसहित।

कार्य र दृश्य निश्चित हुँदा र गति छिटो र सटीक हुनुपर्दा ACT छान्नुहोस्। एउटा जब एउटा चेकपोइन्टले धेरै निर्देशनहरू समेट्नुपर्छ। दुई पृष्ठहरूले निर्णयलाई आमनेसामने काम गर्छन्: र । प्रकाशित बेन्चमार्कहरूको लागि, ले प्रत्येक संख्यालाई यसको स्रोतसँग जोड्छ।

सुरु गर्नु अघि तपाईंलाई के चाहिन्छ

एउटा फलोअर आर्म, एउटा लिडर आर्म को लागि, कम्तिमा एउटा क्यामेरा, 24 GB GPU। ACT ले छविहरू र जोइन्ट पोजिसनहरू मात्र पढ्छ। दुई क्यामेरा उपयुक्त हुन्छ: वस्तुहरू कहाँ छन् भनेर देखाउनको लागि एउटा निश्चित अगाडिको दृश्य, र ले के छुन लागेको छ भनेर देखाउनको लागि एउटा नाडी क्यामेरा, ALOHA मा जस्तै।

खाली आर्मबाट रेकर्ड गरिएको डेटासेटसम्म

तलको प्रवाह lerobot 0.6.x हो। यदि तपाईंसँग क्यालिब्रेट गरिएको आर्म र डेटासेट छ भने यसलाई छोड्नुहोस्। अन्यथा SO-100 सुरु गर्ने गाइड, एसेम्बली कभर गर्दछ, रेकर्डिङ वाकथ्रु क्याप्चर कभर गर्दछ र डेटासेट कागजातहरू ढाँचा।

1. 1
   सही एक्स्ट्रासहित लेरोबोट स्थापना गर्नुहोस्

   रेकर्डिङका लागि core_scripts, तालिमका लागि training, Feetech सर्भोका लागि feetech चाहिन्छ। पाइथन 3.12+।

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   प्रत्येक आर्मको USB पोर्ट पत्ता लगाउनुहोस्

   दुवै आर्म प्लग इन गरेर चलाउनुहोस्, प्रोम्प्ट गर्दा एउटा अनप्लग गर्नुहोस्। लिनक्समा तपाईंले नोड अनुमतिहरू खोल्नुपर्ने हुन सक्छ।

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   मोटर आईडी र बाउडरेट सेट गर्नुहोस्

   SO-100 मा यो एसेम्बली अघि हुन्छ: SO-101 भन्दा फरक, एकपटक बनेपछि कनेक्टरहरू पहुँचयोग्य हुँदैनन्। स्क्रिप्टले ग्रिपरबाट एक पटकमा एउटा मोटर बसमा हिँड्छ, EEPROM मा आईडीहरू लेख्छ।

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   दुवै आर्म क्यालिब्रेट गर्नुहोस्

   प्रत्येक जोइन्टलाई यसको दायराको बीचमा सेट गर्नुहोस्, इन्टर थिच्नुहोस्, त्यसपछि प्रत्येकलाई यसको पूर्ण दायरामा घुमाउनुहोस्। क्यालिब्रेसनले एउटा आर्ममा तालिम प्राप्त नीतिलाई अर्कोमा चलाउन अनुमति दिन्छ। उही id पुन: प्रयोग गर्नुहोस्।

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   क्यामेरा अन गरेर एक पटक टेलिओपरेट गर्नुहोस्

   लेरोबोटको सामान्य नियम: तपाईंले क्यामेराका छविहरू मात्र हेरेर कार्य गर्न सक्षम हुनुपर्छ। यदि तपाईं सक्नुहुन्न भने, ACT ले पनि सक्दैन। यसले पछिको डिबगिङ भन्दा बढी खराब डेटासेटहरू पत्ता लगाउँछ।

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 एपिसोड रेकर्ड गर्नुहोस्

   50 AY-Robots को न्यूनतम हो र ALOHA ले प्रति कार्य प्रयोग गरेको संख्या हो। लेरोबोटले प्रति वस्तु स्थान 10, क्यामेरा स्थिर, पकड सुसंगत सल्लाह दिन्छ। n ले एक एपिसोड समाप्त गर्छ, r ले पुन: रेकर्ड गर्छ, q ले रोक्छ र इन्कोड गर्छ।

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

तालिम अघि, कम्तिमा पाँच एपिसोडहरू पुन: प्ले गर्नुहोस्। ले क्यामेरा स्ट्रिमहरू, जोइन्ट अवस्थाहरू र कार्यहरू प्रति , र रिप्लेले ती कार्यहरूलाई आर्ममा फिर्ता धकेल्छ। यदि रिप्लेले कार्य गर्दैन भने, डेटामा त्यो समावेश हुँदैन र तालिमले त्यसलाई आविष्कार गर्दैन।

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

ACT नीतिलाई तालिम दिँदै

यो पूर्ण कमाण्ड हो। ACT-विशेष सबै कुरा पहिले नै पूर्वनिर्धारित छ, त्यसैले लेरोबोट ACT पृष्ठले तिनीहरूसँग सुरु गर्न भन्छ।

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act ले ACTConfig लोड गर्छ, जसले तपाईंको डेटासेटले रेकर्ड गरेका मोटर र क्यामेराहरूको संख्या अनुसार अनुकूलन गर्छ, त्यसैले तपाईंले अवलोकन आकार कहिल्यै घोषणा गर्नु पर्दैन। --wandb.enable=true वैकल्पिक हो र यसको मूल्य छ: 100000 चरणको रनमा लस कर्भ मात्र सस्तो संकेत हो। तालिका lerobot को ट्रेन कन्फिगबाट आउँछ, ACTConfig बाट होइन: 100000 चरण, ब्याच 8, सीड 1000, एउटा चेकपोइन्ट प्रत्येक 20000 चरणमा, र प्रत्येक 200 मा लगिङ।

पूर्ण रनले पाँच चेकपोइन्ट डाइरेक्टरीहरू छोड्छ, 020000 देखि 100000 सम्म, साथै एउटा last सिम्लिंक। ती सबै राख्नुहोस्: प्रायः सबैभन्दा राम्रो नीति अन्तिम हुँदैन।

अवधि: पेपरमा ११ GB RTX २०८० Ti मा लगभग ५ घण्टा, lerobot को ACT पृष्ठ अनुसार १००k स्टेप्सका लागि केही घण्टा, AY-Robots २४ GB टियरमा २ देखि ५ घण्टा। यसलाई छोटो नगर्नुहोस्। सन्दर्भ रेपोको README भन्छ कि एक झट्का दिने वा रोकिने नीतिलाई सामान्यतया थप तालिम, किनभने घाटा स्थिर भएपछि पनि सफलता र सहजतामा सुधार भइरहन्छ: वास्तविक-विश्व डेटाका लागि यसलाई कम्तिमा ५००० इपोकहरू, वा पठार पछि फेरि ३ देखि ४ गुणा लम्बाइ चाहिन्छ।

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

तालिम प्राप्त नीतिलाई पाखुरामा चलाउँदै

डिप्लोयमेन्टले lerobot-rollout प्रयोग गर्दछ। क्यामेरा कुञ्जीहरू रेकर्ड गरिएकाहरूसँग मिल्नुपर्छ: front र wrist मा तालिम प्राप्त नीतिले cam0 र cam1 स्वीकार गर्दैन, र rename_map ले मद्दत गर्दैन, किनकि यसलाई पूर्व-तालिम प्राप्त चेकपोइन्ट चाहिन्छ। कार्य स्ट्रिङ छोड्न सकिन्छ; lerobot को आफ्नै उदाहरणले यसलाई ACT को लागि छोड्न मिल्ने भनेर चिन्ह लगाउँछ।

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

अन्तिम मोडेलको सट्टा चेकपोइन्ट पिन गर्न, --policy.pretrained_revision थप्नुहोस्। त्यसका लागि रन --save_checkpoint_to_hub=true बाट सुरु भएको हुनुपर्छ, जुन पूर्वनिर्धारित रूपमा बन्द हुन्छ: यस बिना lerobot ले अन्तिम मोडेल मात्र पुश गर्छ र अरू केही गर्दैन। यसका साथ, प्रत्येक चेकपोइन्टलाई यसको शून्य-प्याडेड चरणको साथ ट्याग गरिन्छ, त्यसैले --policy.pretrained_revision=060000 ले 60000 चरणको एकलाई पुन: प्राप्त गर्छ। यसलाई वास्तविक आर्ममा 100000 सँग तुलना गर्नु उपलब्ध सबैभन्दा सस्तो प्रयोग हो।

एउटै चेकपोइन्टमा पुग्ने दुई मार्ग

माथिका सबै म्यानुअल तरिका हुन् र तिनीहरूले काम गर्छन्। प्लेटफर्मको तरिकाले GPU वा Python वातावरणको स्वामित्व नलिने सुविधाको लागि नियन्त्रणको सट्टामा व्यापार गर्छ।

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

वास्तवमा के गलत हुन्छ

प्रशिक्षण कमाण्डमा लगभग कुनै पीडा छैन। यो यसको वरिपरिका चीजहरूमा छ, जुन पहिलो पटक कति पटक समस्या दिन्छन् भन्ने आधारमा क्रमबद्ध गरिएको छ।

दुई पङ्क्तिहरूमा जोड दिनुपर्छ। ACT ले LeRobot v3.0 मा प्रशिक्षण गर्छ जबकि GR00T को लोडर यसमा क्र्यास हुन्छ र v2.1 चाहिन्छ, त्यसैले ACT लाई प्रशिक्षण दिने डेटासेटले GR00T रन असफल बनाउन सक्छ। र अन्तिम पङ्क्तिमा दुई समाधानहरू छन्: ACT लेखकहरूले झट्कापूर्ण गतिको जवाफ थप प्रशिक्षणले दिन्छन्, जबकि n_action_steps 100 मा एक वास्तविक स्टल चंक बाउन्ड्रीमा हुन्छ, 30 fps मा प्रत्येक 3.3 सेकेन्डमा एक देखिने रोक। जान्नका लागि थप दुई कुरा: एउटा मृत जोइन्ट सामान्यतया सर्भो आईडी जुन कहिल्यै लेखिएको थिएन, र एउटा ग्रिपर जुन नजिक आउँछ तर कहिल्यै बन्द हुँदैन को अर्थ प्रदर्शनहरूमा ग्रिपरको दायरा धेरै कम छ। पूर्ण अनुक्रमणिका: असफलता मोड पृष्ठहरू।

एक रनको लागत कति हुन्छ

पछि VLA चाहिए पनि ACT बाट सुरु गर्नुको तर्क यही हो। ACT को असफल रनको लागत कफीको मूल्य जति हुन्छ र यसले केही घण्टाभित्रै तपाईंको डेटासेटमा कार्य समावेश छ कि छैन भनी बताउँछ। GR00T को असफल रनको लागत त्यही पाठको लागि चार गुणा बढी हुन्छ। पछि GR00T N1.7 वा SmolVLA मा जानु भनेको स्वरूप परिवर्तन हो, पुनर्निर्माण होइन। पृष्ठभूमि: भिजन-भाषा-कार्य मोडेलहरू, पूर्ण SO-100 गाइड, आफ्नो पहिलो नीति तालिम दिनुहोस् र अनुकरण सिकाइ। हात छैन? लाइभ पृष्ठ ले साइन अप नगरी चलाउनको लागि वास्तविक SO-100 स्ट्रिम गर्दछ।