DROID፣ BridgeData V2 እና Open Xን በSO-100 ላይ መጠቀም

በGoogle Cloud bucket ላይ አንድ ሚሊዮን-ትራጀክተሪ የህዝብ ዳታ ስብስብ አለ እና SO-100 በጠረጴዛው ላይ በ110 እስከ 150 EUR ክፍሎች ያስወጣ SO-100 አለ። የመጀመሪያው ሁለተኛውን ማስተማር የማይችለው ለምንድን ነው? በከፊል ይችላል፣ ነገር ግን አብዛኛው ሽግግር ሰዎች በሚጠብቁት ቦታ አይከሰትም፣ እና በጣም ቀላል የሚመስለው ክፍል በጭራሽ አይሰራም።

የሚከተለው፡ በውስጥ ያለው ምንድን ነው DROID፣ BridgeData V2 እና Open X-Embodiment፣ እያንዳንዳቸው ከዝቅተኛ ወጪ 5-DoF ክንድ ጋር የሚጋጩበት፣ እና በምትኩ ምን ማድረግ እንዳለብን። ከታች ያለው እያንዳንዱ ቁጥር የመጣው ከወረቀቱ፣ ከዳታ ስብስብ ካርዱ ወይም ከሚመለከተው ምንጭ ፋይል ነው።

ሦስቱ የዳታ ስብስቦች በትክክል የያዙት ነገር

DROID

ከሶስቱ በጣም ደረጃውን የጠበቀ። በሁሉም ቦታ አንድ ሪግ: Franka Panda ከ Robotiq 2F-85 ግሪፐር ጋር፣ ሁለት የሚስተካከሉ ZED 2 ስቴሪዮ ካሜራዎች እና የእጅ አንጓ ZED Mini፣ በ Meta Quest 2 መቆጣጠሪያዎች በቴሌኦፕሬትድ የሚሰራ፣ በ Polymetis በ 15 Hz በሁለቱም የመገጣጠሚያ እና መጨረሻ-ተፅዕኖ ፈጣሪ ቦታ። የቋንቋ መለያዎች በኋላ በ tasq.ai በኩል መጡ፣ በእያንዳንዱ ክፍል እስከ ሶስት።

• 76ሺህ ትራጀክተሪዎች፣ 350 ሰዓታት፣ 564 ትዕይንቶች፣ 84 ተግባራት፣ በሶስት አህጉራት ላይ 50 ሰብሳቢዎች።
• ዋናው ውጤት የጋራ ስልጠና እንጂ ብቸኛ ስልጠና አይደለም፡ 50/50 ከውስጥ-ጎራ ማሳያዎች ጋር የተቀላቀሉ ባችዎች በሚሰራጭበት ጊዜ ቀጣዩን ምርጥ ዘዴ በ22 በመቶ ፍጹም ስኬት፣ ከሱ ውጪ ደግሞ በ17 በመቶ አሸንፈዋል።
• IPEC-COMMUNITY/droid_lerobot: 92,233 ክፍሎች፣ 27,044,326 ፍሬሞች፣ ፍራንካ፣ 15 fps፣ codebase_version v2.0፣ ሶስት AV1 ዥረቶች በ180x320፣ 392 ጂቢ።
• 2 ጂቢ፣ 100-ክፍል ማረሚያ ናሙና በ gs://gresearch/robotics/droid_100 ላይ ይገኛል። ከዚያ ይጀምሩ።

ብሪጅዳታ V2

ለሆቢ ማዋቀር በጣም ቅርብ የሆነው፡ WidowX 250 6-DoF ክንድ፣ 60,096 ትራጀክተሪዎች በ24 አካባቢዎች እና 13 ክህሎቶች በ5 Hz። አወቃቀሩን ልብ ይበሉ፡ 50,365 የባለሙያ ቴሌኦፕሬትድ ማሳያዎች እና 9,731 ከዘፈቀደ ስክሪፕት ከተደረገ የፒክ-አንድ-ፕሌስ ፖሊሲ፣ ስለዚህ ወደ 16 በመቶ የሚሆነው የሰው ልጅ ማሳያ አይደለም፣ ይህም ለ የመኮረጅ ትምህርት ጥራት አስፈላጊ ነው። የተለመደው ማውረጃ፣ IPEC-COMMUNITY/bridge_orig_lerobot፣ 53,192 ክፍሎች እና 1,893,026 ፍሬሞች በ5 fps፣ robot_type widowx ሪፖርት ያደርጋል፡ ከወረቀቱ 60,096 ያነሰ ነው፣ ስለዚህ ቁጥሩን ከ meta/info.json ያንብቡ እንጂ አንዱንም አይጥቀሱ።

ክፍት ኤክስ-ኢምቦዲመንት

በተመሳሳይ መልኩ የውሂብ ስብስብ አይደለም፡ ከ34 ላብራቶሪዎች የተገኙ 60 ነባር የሮቦት የውሂብ ስብስቦች በአንድ የRLDS ስብስብ ውስጥ ተሰብስበው 22 አካላትን እና ከአንድ ሚሊዮን በላይ የትራጀክተሪዎችን ይሸፍናል። BridgeData V2 በውስጡ እንደ bridge_orig ይገኛል፤ የ google_robot ክፍል፣ fractal20220817_data፣ በ3 fps ወደ 87,212 ክፍሎች ይቀየራል።

ይህ አሰባሰብ ወረቀቱ በግልጽ የሚገልጸውን ማስጠንቀቂያ ይዟል። ለRT-X ሙከራዎች ደራሲዎቹ እያንዳንዱን ምንጭ ወደ 7-DoF የመጨረሻ-አክተር እርምጃ ይለውጣሉ፣ ነገር ግን የውሂብ ስብስቦች ላይ የማስተባበሪያ ፍሬሞችን አያስተካክሉም፣ እና የእርምጃ እሴቶች እንደ እያንዳንዱ ሮቦት የመጀመሪያ የቁጥጥር እቅድ ፍጹም ወይም አንጻራዊ አቀማመጥ ወይም ፍጥነት እንዲሆኑ ይፈቅዳሉ። የእነሱ መደምደሚያ፡ ተመሳሳይ የእርምጃ ቬክተር ለተለያዩ ሮቦቶች በጣም የተለያዩ እንቅስቃሴዎችን ሊያስከትል ይችላል።

ያልተጣጣመው ነገር፣ በአራት ክፍሎች

የአካላዊ መመሳሰል አለመጣጣም ብዙውን ጊዜ እንደ አንድ ግልጽ ያልሆነ ችግር ይቆጠራል። አራት ናቸው፣ በተለያየ መንገድ ይበላሻሉ፣ እና ሁለቱ በስክሪፕት ሊስተካከሉ አይችሉም።

1. የእንቅስቃሴ ነጻነት ደረጃዎች

አንድ SO-100 አምስት የእጅ መገጣጠሚያዎች እና አንድ ግሪፐር አለው። እንደ ሞተሮች ሲቆጠር 6-DoF ክንድ ነው፣ እና የSmolVLA ወረቀትም እንደዚያ ይጠራዋል። እንደ አቀማመጥ ዘዴ ሲቆጠር 5-DoF ነው፣ እና LeRobot በእሱ inverse-kinematics docstring ውስጥ እንደዚያ ይጠራዋል፣ ይህም የእጅ አንጓው አቅጣጫን በከፊል ብቻ በሚከታተልበት 5-DOF SO-101 ላይ ያለውን ለስላሳ-አቅጣጫ IK ይገልጻል። አንድ Franka ሰባት የአቀማመጥ መገጣጠሚያዎች አሉት። ይህ ክፍተት የትኞቹ አቀማመጦች እንዳሉ ይወስናል፡ 5-DoF ክንድ በአጠቃላይ የዘፈቀደ አቀማመጥ እና አቅጣጫን በአንድ ጊዜ መድረስ አይችልም፣ ስለዚህ መፍቻው ሊደርስበት የሚችለውን ቅርብ የሆነውን ይመልሳል፣ ይህም ከታየው እንቅስቃሴ የተለየ ነው። ዳራ: የእንቅስቃሴ ነጻነት ደረጃዎች.

# src/lerobot/robots/so_follower/so_follower.py
motors = {
    "shoulder_pan":  Motor(1, "sts3215", norm_mode_body),
    "shoulder_lift": Motor(2, "sts3215", norm_mode_body),
    "elbow_flex":    Motor(3, "sts3215", norm_mode_body),
    "wrist_flex":    Motor(4, "sts3215", norm_mode_body),
    "wrist_roll":    Motor(5, "sts3215", norm_mode_body),
    "gripper":       Motor(6, "sts3215", MotorNormMode.RANGE_0_100),
}
# action keys are "<motor>.pos"; send_action sync_writes them to
# "Goal_Position"  ->  a 6-D ABSOLUTE JOINT POSITION command


# openpi/src/openpi/policies/droid_policy.py
def make_droid_example() -> dict:
    return {
        "observation/exterior_image_1_left": np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/wrist_image_left":      np.random.randint(256, size=(224, 224, 3), dtype=np.uint8),
        "observation/joint_position":        np.random.rand(7),   # seven Franka joints
        "observation/gripper_position":      np.random.rand(1),
        "prompt": "do something",
    }
# state = concat(joint_position, gripper_pos)  ->  8-D

ስለዚህ ዝግጁ የሆነ የ DROID ቼክፖይንት አቋራጭ መንገድ አይደለም። Physical Intelligence pi05_droidን በ gs://openpi-assets/checkpoints/pi05_droid ያቀርባል፣ እና ስፋቱን የሚያወድሰው ተመሳሳይ README እነዚህ የባለሙያ ቼክፖይንቶች ለእርስዎ ማዋቀር ላይሰሩ እንደሚችሉ ያስጠነቅቃል። የእሱ ሁኔታ ስምንት የፍራንካ መገጣጠሚያ ቁጥሮች ሲሆኑ የምስል ቁልፎቹ exterior_image_1_left እና wrist_image_left ናቸው። ምንም ባንዲራ ያንን ወደ ስድስት ሞተር SO-100 ትዕዛዝ አይለውጠውም።

2. የድርጊት ቬክተሩ በትክክል የሚናገረው

ከመጠን በላይ ጥልቀት ያለው። በ LeRobot ለውጦች ውስጥ ሦስቱም ግሪፐሩ ወዴት መሄድ እንዳለበት በካርቴዥያን ቦታ ይናገራሉ። አንድ SO-100 ስድስት ሰርቮዎች ወዴት መሄድ እንዳለባቸው ይናገራል። ለመቀየር የኪነማቲክ ሞዴል እና መፍቻ ያስፈልጋል እንጂ ቅርፅን መቀየር አይደለም።

LeRobot የጎደለውን ክፍል ይልካል፡ የSO follower InverseKinematicsEEToJoints እና ForwardKinematicsJointsToEE ደረጃዎች ያሉት የኪነማቲክስ ፕሮሰሰር አለው። ቁልፎቹ ee.x, ee.y, ee.z በተጨማሪም የሽክርክር ቬክተር ee.wx, ee.wy, ee.wz እና ee.gripper_pos ናቸው፣ ስለዚህ የአቅጣጫ ኢንኮዲንግ እንኳን በፋይሎቹ ውስጥ ካለው roll-pitch-yaw የተለየ ነው። የIK ደረጃ ነባሪው 0.01 የሆነ orientation_weight ይወስዳል፣ የዶክስትሪንግ 0.0 ለቦታ-ብቻ IK ከስር-ተንቀሳቃሽ ክንዶች ላይ እንዲቀመጥ ይናገራል። ድልድዩን መገንባት ይችላሉ፣ ነገር ግን የእያንዳንዱ የተበደረ ተግባር የአቅጣጫ ግማሽ ግምታዊ ሆኖ ይቆያል።

3. የቁጥጥር ፍጥነት

DROID 15 Hz ነው፣ BridgeData V2 5 Hz ነው፣ የgoogle_robot slice 3 fps ነው፤ የpi0 ደራሲዎች የቅይጣቸውን ክፍት ምንጭ ክፍል በ2 እና 10 Hz መካከል ያለ ዝቅተኛ-ድግግሞሽ ቁጥጥር አድርገው ይገልጹታል። የLeRobot DatasetRecordConfig ነባሪው fps 30፣ episode_time_s 60፣ reset_time_s 60፣ num_episodes 50 ነው። አንድ በ5 Hz ዳታ የሰለጠነ አንድ ተግባር 200 ms እንደሚሸፍን ተማረ። በ30 Hz መልሰው ሲያጫውቱት ክንዱ ይሳባል፤ በዋህነት እንደገና ከለኩት የግሪፐር መዝጊያ ፍሬሙን ያበላሻሉ። ከዚህ ጋርም መጥፎ ግንኙነት አለው ፡ 100-ደረጃ መቆራረጥ በ5 Hz 20 ሰከንድ፣ በ30 Hz 3.3 ነው።

4. ካሜራዎች

BridgeData V2 በየ50 ትራጀክተሪዎች ሁለት የካሜራ አቀማመጦችን በዘፈቀደ መርጧል፣ እና የፕሮጀክቱ ገጽ አብዛኛው ዳታ ቋሚ እይታን ብቻ እንደያዘ ይገልጻል። DROID የሚስተካከሉ የZED 2 መጫኛዎችን እና የእጅ አንጓ ZED Mini ተጠቅሟል። እርስዎ በዓይንዎ ያስቀመጧቸው ሁለት የዩኤስቢ ዌብካሞች አሉዎት። የካሜራ አቀማመጥ ለ የሚያስቸግር ተለዋዋጭ አይደለም፤ የእይታ ኢንኮደር በአብዛኛው የተመካው በእሱ ላይ ነው፣ እና በፋይል ቅርጸቱ ውስጥ አቀማመጦቹ የተለዩ መሆናቸውን የሚነግርዎት ምንም ነገር የለም።

ዳታውን ለማዋሃድ ሲሞክሩ ምን ይከሰታል

ግልጽ የሆነው እቅድ ማጣመር ነው፡ ጥቂት ሺህ የDROID ክፍሎች እና የእርስዎ 50። LeRobot እምቢ ይላል፣ እና እምቢታው የሚለያዩትን ሶስት ነገሮች ይዘረዝራል።

1. 1
   ሙሉውን 1.7 ቴባ ሳይሆን የ100 ክፍል ናሙናውን ያውርዱ

   አወቃቀሩን ለማየት 2 ጊባ በቂ ነው።

   bash

   pip install gsutil tensorflow tensorflow-datasets
   gsutil -m cp -r gs://gresearch/robotics/droid_100 ~/tensorflow_datasets/

2. 2
   RLDSን ወደ LeRobot ቅርጸት ቀይር

   openx2lerobot የOXE መደበኛ ለውጦችን ያጠቃልላል እና የሮቦት አይነትንና የቁጥጥር ድግግሞሽን ያብራራል። README ይህንን በ convert.sh ውስጥ ያስቀምጣል።

   bash

   git clone https://github.com/Tavish9/any4lerobot.git
   cd any4lerobot/openx2lerobot
   
   python openx_rlds.py \
       --raw-dir ~/tensorflow_datasets/droid_100/1.0.0 \
       --local-dir ~/lerobot_droid100 \
       --repo-id you/droid100_lerobot \
       --use-videos

3. 3
   ከማንኛውም ነገር በፊት meta/info.jsonን ያንብቡ

   ይህ ፋይል የቀሪው ስራዎ እንደሚሰራ ይወስናል።

   bash

   python -c "import json;d=json.load(open('meta/info.json'));\
   print(d['codebase_version'], d['robot_type'], d['fps']);\
   print(d['features']['action']['shape'], d['features']['observation.state']['shape'])"

4. 4
   ውህደቱን ይሞክሩ እና ስህተቱን ያንብቡ

   merge እያንዳንዱን የውሂብ ስብስብ ይጭናል፣ ከዚያም validate_all_metadata የfps፣ robot_type እና featuresን ከዝርዝሩ ውስጥ ከመጀመሪያው ጋር ያነጻጽራል፣ የመጀመሪያው ልዩነት ሲገኝ ስህተት ያሳያል።

   bash

   lerobot-edit-dataset \
       --new_repo_id you/mixed \
       --operation.type merge \
       --operation.repo_ids "['you/droid100_lerobot', 'you/my_so100_task']"
   
   # ValueError: Same fps is expected, but got fps=30 instead of 15.

የማጣቀሻ እሴቶቹ መጀመሪያ ከዘረዘሩት የውሂብ ስብስብ የመጡ ናቸው፣ ለዚህም ነው መልዕክቱ የDROIDን 15 ሳይሆን የእርስዎን 30 fps የሚያማርረው። fpsን ሲያስተካክሉ የrobot_type ፍተሻ ያጋጥምዎታል፤ ያንን ሲያስተካክሉ የባህሪ ፍተሻ ያጋጥምዎታል፣ ለድርጊቱ 7 ከ 6 ጋር። ምንም አይነት ቅደም ተከተል አያልፍም፣ እና ተመሳሳይ ጥበቃ በምዝገባ ጊዜ በ sanity_check_dataset_robot_compatibility በኩል ይሰራል።

ታዲያ በትክክል የሚተላለፈው ምንድን ነው?

ክብደቶች እንጂ ክፍሎች አይደሉም። እያንዳንዱ ዘመናዊ አጠቃላይ ፖሊሲ በቅድመ-ስልጠናው ወቅት የተወሰነውን ክፍል ወስዷል፣ እና እርስዎ ጥሩ-ማስተካከያ ያደርጉ ከተለቀቀ የፍተሻ ነጥብ ሲያደርጉት በትክክል ለማከናወን የሚያስችል ስሌት ባላቸው ሰዎች አስቀድሞ የተስተካከለውን ይወርሳሉ። የ pi0 ወረቀት ስለ መጠኑ ግልጽ ነው፡ 9.1 በመቶ የሚሆነው የቅድመ-ስልጠና ድብልቅ፣ በጊዜ ደረጃዎች የተቆጠረ፣ OXE፣ Bridge v2 እና DROIDን ጨምሮ ክፍት ምንጭ ዳታ ነው። ያ አሃዝ የ pi0 ነው፤ የእያንዳንዱ አቅራቢ ድብልቅ ይለያያል።

ለዚህ ነው SmolVLA ዝቅተኛ ዋጋ ባለው ክንድ ላይ በተለየ መንገድ የሚሰራው። ጥናቱ ከHugging Face 481 የማህበረሰብ ዳታ ስብስቦችን ይመርጣል፣ በእምቦዲመንት አይነት፣ የክፍሎች ብዛት፣ የዳታ ጥራት እና የፍሬም ሽፋን ተጣርቶ: 22.9K ክፍሎች፣ 10.6M ፍሬሞች፣ በእውነተኛ SO-100 እና SO-101 ክንዶች ላይ ተገምግሟል። ትንሽ እና የተዛመደ ትልቅ እና ያልተዛመደውን ያሸንፋል። በ ACT against SmolVLA ያወዳድሩ።

መወሰድ ያለባቸው ሶስት መንገዶች

መንገድ ሀ: ዳታውን አስቀድሞ ከወሰደ ቼክፖይንት ማስተካከል

አብዛኛዎቹ ሰዎች ይህንን መውሰድ አለባቸው። DROID ወይም Open X-Embodimentን በጭራሽ አይነኩም: ቅድመ-ስልጠናው አስቀድሞ የክሮስ-እምቦዲመንት ዳታ የወሰደ ፖሊሲ ይምረጡ፣ የራስዎን ክፍሎች ይመዝግቡ፣ ያስተካክሉ።

ACT ሐቀኛ የሆነ ልዩ ሁኔታ ነው፡ ምንም መሰረታዊ ሞዴል የለውም፣ ስለዚህ ምንም አይነት የህዝብ ዳታ አይደርሰውም። ይህ በራስ-ሰር ጉዳት አይደለም፣ ምክንያቱም በአንድ የድርጊት እርምጃ 20 ms ስለሚወስድ፣ ፈጣን ዑደትን መዝጋት ከሚችሉት አምስቱ ውስጥ ብቸኛው ነው፣ እንደ የACT ገጽ ያብራራል። ተግባርን በመጠቀም ይምረጡ አምስቱም ሲነጻጸሩ, GR00T N1.7 ከ Pi0.5 ጋር ሲነጻጸር, እና በ85 ሞዴሎች ላይ የተደረጉ 332 የቤንችማርክ ውጤቶች በ አሬናው.

መንገድ B: DROIDን እንደ የሙከራ መሳሪያ መጠቀም

የ100-ክፍል ናሙና በዚህ ወር ከሚያወርዷቸው ምርጥ 2 ጊባ ውስጥ አንዱ ነው፣ እና ለስልጠና አይደለም። ትክክል መሆኑን የሚያውቁት የዳታ ስብስብ ነው። የእርስዎን መቀየሪያ፣ ሎደር እና አጭር የGPU ስራ በእሱ ላይ ያሂዱ፤ የሚከሽፍ ማንኛውም ነገር ርካሽ በሆነበት ጊዜ የተገኘ የመሠረተ ልማት ስህተት ነው። NVIDIA በትልቅ ደረጃ ተመሳሳይ ነገር ያደርጋል፡ የGR00T N1.7 ካርድ አራት ከስልጠና በኋላ የተሰሩ ልዩነቶችን ይዘረዝራል፣ ለ Bridge እና Fractal በ SimplerEnv፣ DROID እና LIBERO።

መንገድ ሐ: የራስዎን ሆን ብለው ይመዝግቡ

ከሠላሳ እስከ ሃምሳ ክፍሎች ከ76,000 ጋር ሲነጻጸር ትንሽ ይመስላል፣ ነገር ግን የእርስዎ ክንድ፣ ካሜራዎችዎ እና ጠረጴዛዎ ያሉት የእርስዎ ብቻ መሆናቸውን እስኪያስታውሱ ድረስ። በLeRobot ነባሪዎች፣ 50 ክፍሎች 100 ደቂቃ የሰዓት ጊዜ ነው። ይመልከቱ የመጀመሪያውን የውሂብ ስብስብዎን ይመዝግቡ፣ SO-100 የውሂብ ስብስብ እና የውሂብ ጥራት መመሪያውን።

ከህዝብ መረጃ ወደሚሰራ ፖሊሲ ለመድረስ ሁለት መንገዶች

እያንዳንዱ መንገድ ምን ያህል ያስከፍላል

አለመመጣጠኑ ቁም ነገሩ ነው፡ ብዙ ዳታ የሚበደረው መንገድ በጣም ውድ እና ክንድዎን የማንቀሳቀስ እድሉ አነስተኛ ነው። ከሁለት ሰዓት ባነሰ ጊዜ ውስጥ የራስዎ ቴሌኦፕሬሽን የሌላ ሰው ፍራንካን ቴራባይት ይበልጣል። ገና ክንድ የለዎትም? /live ምንም ምዝገባ ሳይኖር አካላዊ SO-100ን ያሰራጫል። ከዚያ የመጀመሪያ ፖሊሲዎን ያሰለጥኑ, እና SmolVLA on SO-100 ለተለየ መመሪያ።