วิธีฝึก ACT บน SO-100 ตั้งแต่เริ่มต้น

ACT เป็นตัวที่แตกต่างจากนโยบาย SO-100 อื่นๆ GR00T N1.7 และ N1.5 เริ่มต้นจาก nvidia/GR00T-N1.7-3B และ nvidia/GR00T-N1.5-3B, Pi0.5 จาก lerobot/pi05_base. ACT เริ่มต้นจากศูนย์: ไม่มีจุดตรวจสอบพื้นฐาน เนื่องจากไม่ใช่โมเดลพื้นฐาน เป็นทรานส์ฟอร์เมอร์ที่มีพารามิเตอร์ประมาณ 80 ล้านตัวที่คุณฝึกฝนตั้งแต่เริ่มต้นสำหรับงานเดียว บนแขนหุ่นยนต์ของคุณ ภายใต้สภาพแสงของคุณ

นั่นคือเหตุผลที่มันทำงานขั้นตอนการควบคุมได้ใน 20 ms ในขณะที่ VLA ที่มีพารามิเตอร์ 3 พันล้านตัวต้องการ 152 ถึง 485 ms และมีค่าใช้จ่าย 1 ถึง 3 USD ต่อการรัน แทนที่จะเป็น 4 ถึง 12 คู่มือนี้จะแนะนำเส้นทางแบบแมนนวลด้วย lerobot บน SO-100: การบันทึก, การกำหนดค่า act, สิ่งที่ chunk_size และ n_action_steps ควบคุม, ตารางเวลา 100000 ขั้นตอน, การทดสอบ จากนั้นงานเดียวกันบน AY-Robots รวมถึงส่วนที่แพลตฟอร์มไม่ช่วย

ACT คืออะไรกันแน่

Action Chunking with Transformers มาจากเอกสาร ALOHA ที่ชื่อว่า Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, โดย Zhao, Kumar, Levine และ Finn, arXiv, 23 เมษายน 2023. อุปกรณ์บันทึกข้อมูลที่ 50 Hz ด้วยเว็บแคมสี่ตัวที่สตรีมภาพขนาด 480x640 ที่ 30 fps: สองตัวที่ตัวจับ, หนึ่งตัวด้านบน, หนึ่งตัวด้านหน้า. บทคัดย่ออ้างว่ามีทักษะหกอย่างที่ประสบความสำเร็จ 80 ถึง 90 เปอร์เซ็นต์ ซึ่งรวมถึงการเปิดถ้วยเครื่องปรุงรสโปร่งแสงและการใส่แบตเตอรี่ โดยใช้เวลาสาธิต 10 นาที

ส่วนเนื้อหาของเอกสารมีประโยชน์มากขึ้นเมื่อวางแผนการบันทึก: การสาธิต 50 ครั้งต่องาน ยกเว้น Thread Velcro ที่ 100 ครั้ง ซึ่งเป็นข้อมูล 10 ถึง 20 นาที และเวลาจริง 30 ถึง 60 นาที เมื่อนับรวมการรีเซ็ต. ความสำเร็จก็ไม่สม่ำเสมอเช่นกัน: Thread Velcro จบที่ 20 เปอร์เซ็นต์, Put On Shoe ที่ 92, Cup Open 84, Prep Tape 64.

การแบ่งการกระทำเป็นส่วนๆ คือแนวคิดหลัก

การโคลนพฤติกรรมแบบธรรมดาจะจับคู่การสังเกตหนึ่งครั้งกับการกระทำหนึ่งครั้ง และข้อผิดพลาดจะสะสม: การเบี่ยงเบนทำให้แขนหลุดจากขอบเขตการกระจายตัว ทำให้เกิดการกระทำที่แย่ลง และสามสิบขั้นตอนต่อมา ตัวจับก็อยู่ห่างจากวัตถุมาก การแบ่งการกระทำเป็นส่วนๆ คาดการณ์การกระทำ k ครั้งพร้อมกันและดำเนินการ ทำให้ขอบเขตการทำงานที่มีประสิทธิภาพลดลงด้วยปัจจัย k นอกจากนี้ยังจัดการกับปัญหาเฉพาะของข้อมูลมนุษย์: ผู้ควบคุมระยะไกลหยุดชั่วคราว และ Markovian แบบขั้นตอนเดียว นโยบาย ไม่สามารถจำลองการหยุดชั่วคราวที่ขึ้นอยู่กับสิ่งที่เกิดขึ้นก่อนหน้านี้ได้

เอกสารนี้ทำการทดลองเพื่อหาค่า k แทนที่จะยืนยันค่าใดค่าหนึ่ง เมื่อปิดการรวมแบบชั่วคราว โดยเฉลี่ยจากการตั้งค่าสี่แบบ อัตราความสำเร็จเพิ่มขึ้นจาก 1 เปอร์เซ็นต์ที่ k = 1 เป็น 44 เปอร์เซ็นต์ที่ k = 100 จากนั้นลดลงที่ 200 และ 400 เมื่อนโยบายเข้าใกล้การควบคุมแบบวงเปิด เส้นโค้งนั้นคือเหตุผลที่ค่าเริ่มต้นคือ 100

• chunk_size: จำนวนการกระทำในอนาคตที่ตัวถอดรหัสคาดการณ์ต่อการส่งผ่านหนึ่งครั้ง ค่าเริ่มต้น 100.
• n_action_steps: จำนวนการกระทำที่คุณดำเนินการก่อนที่จะสอบถามอีกครั้ง ค่าเริ่มต้น 100 ดังนั้น lerobot จะรันทั้งส่วนแบบ open loop.
• lerobot ตรวจสอบว่า n_action_steps <= chunk_size และจะส่ง ValueError หากคุณตั้งค่ากลับกัน

สิ่งที่สำคัญในการปฏิบัติงานคือ chunk_size หารด้วยอัตราเฟรม ที่ 30 fps ที่ตัวอย่าง SO-100 ของ lerobot ใช้, ส่วนข้อมูล 100 รายการจะใช้เวลาประมาณ 3.3 วินาทีจากการสังเกตหนึ่งครั้ง หากงานต้องการการแก้ไขภายในช่วงเวลานั้น ให้ลด n_action_steps ไม่ใช่ chunk_size: คุณยังคงการคาดการณ์ระยะยาวไว้และสังเกตการณ์บ่อยขึ้น

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

เมื่อ ACT เหนือกว่าโมเดลพื้นฐาน

นโยบายที่ฝึกฝนได้ทั้งห้าแบบเคียงข้างกัน พร้อมตัวเลขที่ AY-Robots วัดและใช้ในการกำหนดขนาด GPU ที่เช่า

เลือก ACT เมื่องานและฉากถูกกำหนดตายตัว และการเคลื่อนไหวต้องรวดเร็วและแม่นยำ เลือก เมื่อหนึ่งเช็คพอยต์ต้องครอบคลุมหลายคำสั่ง สองหน้าเปรียบเทียบการตัดสินใจแบบตัวต่อตัว: และ สำหรับเกณฑ์มาตรฐานที่เผยแพร่ เชื่อมโยงทุกตัวเลขไปยังแหล่งที่มา

สิ่งที่คุณต้องมีก่อนเริ่มต้น

แขนผู้ตามหนึ่งข้าง แขนผู้นำหนึ่งข้างสำหรับ กล้องอย่างน้อยหนึ่งตัว GPU ขนาด 24 GB ACT อ่านเฉพาะภาพและตำแหน่งข้อต่อ กล้องสองตัวคือจุดที่เหมาะสมที่สุด: มุมมองด้านหน้าแบบคงที่สำหรับตำแหน่งของสิ่งต่างๆ กล้องข้อมือสำหรับสิ่งที่ กำลังจะสัมผัส เช่นเดียวกับใน ALOHA

จากแขนกลเปล่าสู่ชุดข้อมูลที่บันทึกไว้

ขั้นตอนด้านล่างนี้เป็นของ lerobot 0.6.x หากคุณมีแขนกลที่ปรับเทียบแล้วและชุดข้อมูล ให้ข้ามไปได้เลย มิฉะนั้น คู่มือเริ่มต้นใช้งาน SO-100 ครอบคลุมการประกอบ, ส่วน คำแนะนำการบันทึก ครอบคลุมการจับภาพ และ เอกสารชุดข้อมูล ครอบคลุมรูปแบบ

1. 1
   ติดตั้ง lerobot พร้อมส่วนเสริมที่ถูกต้อง

   การบันทึกต้องใช้ core_scripts, การฝึกอบรม training, เซอร์โว Feetech feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   ค้นหาพอร์ต USB ของแขนแต่ละข้าง

   เรียกใช้โดยเสียบแขนทั้งสองข้าง และถอดปลั๊กข้างหนึ่งเมื่อได้รับแจ้ง บน Linux คุณอาจต้องเปิดสิทธิ์โหนด

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   ตั้งค่า ID มอเตอร์และอัตราบอด

   บน SO-100 ขั้นตอนนี้จะเกิดขึ้นก่อนการประกอบ: ซึ่งแตกต่างจาก SO-101 คือขั้วต่อจะไม่สามารถเข้าถึงได้เมื่อประกอบเสร็จแล้ว สคริปต์จะเดินบัสทีละมอเตอร์จากกริปเปอร์ โดยเขียน ID ลงใน EEPROM

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   ปรับเทียบแขนทั้งสองข้าง

   ตั้งข้อต่อแต่ละข้อให้อยู่ตรงกลางช่วงการเคลื่อนที่ กด Enter จากนั้นกวาดแต่ละข้อต่อให้เคลื่อนที่เต็มช่วง การปรับเทียบ ช่วยให้ policy ที่ฝึกบนแขนข้างหนึ่งสามารถทำงานบนแขนอีกข้างหนึ่งได้ ใช้ id เดิมซ้ำ

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   ควบคุมระยะไกลหนึ่งครั้งโดยเปิดกล้อง

   กฎง่ายๆ ของ lerobot: คุณควรจะสามารถทำงานได้โดยดูจากภาพกล้องเท่านั้น หากคุณทำไม่ได้ ACT ก็ทำไม่ได้เช่นกัน วิธีนี้ช่วยตรวจจับชุดข้อมูลที่ไม่ดีได้มากกว่าการดีบักในภายหลัง

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   บันทึก 50 ตอน

   50 คือค่าต่ำสุดของ AY-Robots และเป็นจำนวนที่ ALOHA ใช้ต่องาน lerobot แนะนำ 10 ต่อตำแหน่งวัตถุ, กล้องคงที่, การจับที่สอดคล้องกัน n สิ้นสุดตอน, r บันทึกซ้ำ, q หยุดและเข้ารหัส

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

ก่อนการฝึกอบรม ให้เล่นซ้ำอย่างน้อยห้าตอน จัดเก็บสตรีมกล้อง, สถานะข้อต่อ และการกระทำต่อ และการเล่นซ้ำจะส่งการกระทำเหล่านั้นกลับไปยังแขน หากการเล่นซ้ำไม่ทำงานตามที่กำหนด ข้อมูลนั้นก็ไม่มีอยู่ และการฝึกอบรมก็จะไม่สร้างมันขึ้นมา

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

การฝึกนโยบาย ACT

นี่คือคำสั่งทั้งหมด ทุกอย่างที่เฉพาะเจาะจงกับ ACT ได้ถูกตั้งค่าเป็นค่าเริ่มต้นอยู่แล้ว ซึ่งเป็นเหตุผลที่หน้า ACT ของ lerobot แนะนำให้เริ่มต้นด้วยสิ่งเหล่านี้

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act โหลด ACTConfig ซึ่งปรับให้เข้ากับจำนวนมอเตอร์และกล้องที่ชุดข้อมูลของคุณบันทึกไว้ ดังนั้นคุณจึงไม่ต้องประกาศรูปร่างของการสังเกต --wandb.enable=true เป็นทางเลือกและคุ้มค่า: เส้นโค้งการสูญเสียเป็นสัญญาณราคาถูกเพียงอย่างเดียวในการรัน 100000 ขั้นตอน กำหนดการมาจาก lerobot's train config ไม่ใช่ ACTConfig: 100000 ขั้นตอน, แบตช์ 8, ซีด 1000, เช็คพอยต์ ทุกๆ 20000 ขั้นตอน, บันทึกข้อมูลทุกๆ 200 ขั้นตอน

การรันเต็มรูปแบบจะเหลือไดเรกทอรีเช็คพอยต์ห้าชุด ตั้งแต่ 020000 ถึง 100000 พร้อมด้วย symlink สุดท้าย เก็บไว้ทั้งหมด: นโยบายที่ดีที่สุดมักจะไม่ใช่ตัวสุดท้าย

ระยะเวลา: ประมาณ 5 ชั่วโมงบน RTX 2080 Ti 11 GB ตามที่ระบุในเอกสาร, สองสามชั่วโมงสำหรับ 100k สเต็ปตามหน้า ACT ของ lerobot, 2 ถึง 5 ชั่วโมงบน AY-Robots 24 GB tier. อย่าตัดให้สั้นลง. README ของ reference repo ระบุว่านโยบายที่กระตุกหรือหยุดชะงักมักต้องการเพียงแค่ การฝึกเพิ่มขึ้น, เนื่องจากความสำเร็จและความราบรื่นยังคงดีขึ้นหลังจากที่ loss คงที่: สำหรับข้อมูลจริง มันต้องการอย่างน้อย 5000 epochs หรือ 3 ถึง 4 เท่าของความยาวอีกครั้งหลังจากที่ loss คงที่แล้ว

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

การรันนโยบายที่ผ่านการฝึกบนแขนกล

การปรับใช้ใช้ lerobot-rollout. คีย์กล้องต้องตรงกับที่บันทึกไว้: นโยบายที่ฝึกบน front และ wrist จะไม่ยอมรับ cam0 และ cam1, และ rename_map ไม่ช่วยอะไร เนื่องจากมันต้องการ pretrained checkpoint. สามารถละเว้น task string ได้; ตัวอย่างของ lerobot เองระบุว่าสามารถข้ามได้สำหรับ ACT.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

หากต้องการปักหมุดจุดตรวจสอบแทนโมเดลสุดท้าย ให้เพิ่ม --policy.pretrained_revision. ซึ่งต้องให้การรันเริ่มต้นด้วย --save_checkpoint_to_hub=true, ซึ่งปิดใช้งานโดยค่าเริ่มต้น: หากไม่มี lerobot จะอัปโหลดเฉพาะโมเดลสุดท้ายเท่านั้น หากมี จุดตรวจสอบแต่ละจุดจะถูกแท็กด้วยขั้นตอนที่เติมศูนย์ ดังนั้น --policy.pretrained_revision=060000 จะกู้คืนจุดตรวจสอบที่ขั้นตอน 60000 การเปรียบเทียบกับ 100000 บนแขนหุ่นยนต์จริงเป็นการทดลองที่ประหยัดที่สุด

สองเส้นทางสู่จุดตรวจสอบเดียวกัน

ทั้งหมดที่กล่าวมาข้างต้นคือเส้นทางแบบแมนนวลและใช้งานได้ดี เส้นทางแพลตฟอร์มแลกเปลี่ยนการควบคุมกับการไม่ต้องเป็นเจ้าของ GPU หรือสภาพแวดล้อม Python

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

สิ่งที่ผิดพลาดจริงๆ

ปัญหาแทบทั้งหมดไม่ได้อยู่ที่คำสั่งการฝึก แต่อยู่ที่สิ่งรอบข้าง โดยเรียงตามความถี่ที่มักจะเกิดปัญหาตั้งแต่ครั้งแรก

มีสองแถวที่ควรเน้นย้ำ ACT ฝึกบน LeRobot v3.0 ในขณะที่ตัวโหลดของ GR00T จะขัดข้องเมื่อใช้เวอร์ชันนี้และต้องการ v2.1 ดังนั้นชุดข้อมูลที่ใช้ฝึก ACT อาจทำให้การรันของ GR00T ล้มเหลวได้ และแถวสุดท้ายมีสองวิธีแก้ไข: ผู้เขียน ACT แนะนำให้แก้ไขการเคลื่อนไหวที่ติดขัดด้วยการฝึกเพิ่มเติม ในขณะที่ n_action_steps เป็น 100 การหยุดชะงักจริงจะเกิดขึ้นที่ขอบเขตของส่วนข้อมูล ซึ่งเป็นการหยุดชั่วคราวที่เห็นได้ชัดทุก 3.3 วินาทีที่ 30 fps อีกสองสิ่งที่ควรรู้: ข้อต่อที่ตายไปหนึ่งข้อโดยปกติแล้วคือ รหัสเซอร์โวที่ไม่เคยถูกเขียน, และ กริปเปอร์ที่เข้าใกล้แต่ไม่เคยปิด หมายถึงช่วงการทำงานของกริปเปอร์น้อยเกินไปในการสาธิต ดัชนีทั้งหมด: หน้าโหมดความล้มเหลว.

ค่าใช้จ่ายในการรัน

นี่คือเหตุผลที่ควรเริ่มต้นด้วย ACT แม้ว่าคุณจะต้องการ VLA ในภายหลัง การรัน ACT ที่ล้มเหลวมีค่าใช้จ่ายเท่ากับกาแฟหนึ่งแก้ว และจะบอกคุณภายในไม่กี่ชั่วโมงว่าชุดข้อมูลของคุณมีงานนั้นหรือไม่ การรัน GR00T ที่ล้มเหลวมีค่าใช้จ่ายเป็นสี่เท่าสำหรับบทเรียนเดียวกัน การย้ายไปใช้ GR00T N1.7 หรือ SmolVLA หลังจากนั้นเป็นการเปลี่ยนรูปแบบ ไม่ใช่การสร้างใหม่ ข้อมูลพื้นฐาน: โมเดลการมองเห็น-ภาษา-การกระทำ, คู่มือ SO-100 ฉบับสมบูรณ์, ฝึกนโยบายแรกของคุณ และ การเรียนรู้แบบเลียนแบบ. ไม่มีแขนหุ่นยนต์? หน้าถ่ายทอดสด สตรีม SO-100 จริงให้ขับเคลื่อนได้โดยไม่ต้องลงทะเบียน