ሰው ሰራሽ ዳታ ለሮቦት ፖሊሲዎች: ሲሙሌሽን የሚረዳበት ቦታ

በየጥቂት ወራት አንድ ሰው ሃምሳ ክፍሎችን በእጅ መቅዳት ቀርፋፋ እንደሆነ ይገነዘባል፣ እናም አስመሳይ (simulator) በምትኩ ሊያመርታቸው ይችል እንደሆነ ይጠይቃል። ይህ ትክክለኛ ጥያቄ ነው። እውነተኛው መልስ ሶስት ክፍሎች አሉት፡ የተፈጠረ መረጃ ይረዳል፣ እውነተኛ ቅጂዎችን አይተካም፣ እና በእነዚህ ሁለት እውነታዎች መካከል ያለው ጥምርታ ሙሉ በሙሉ በሚያመለክቱት ሰው ሰራሽ መረጃ አይነት ላይ የተመሰረተ ነው።

ይህ ገጽ የታተመው ስራ በትክክል ምን እንደለካ፣ እንደ SO-100 ባሉ ዝቅተኛ ዋጋ ባላቸው ክንዶች ላይ ዛሬ ምን ማሄድ እንደሚችሉ፣ እና የሲም-ወደ-እውነተኛ ክፍተት ትርፎችን የት እንደሚበላ ይዳስሳል። አጭር ማብራሪያው፣ ዝርዝሩ ከመቅረቡ በፊት፡ ትልቁን ማባዣዎች ሪፖርት የሚያደርጉት ስርዓቶች አነስተኛ ቁጥር ያላቸውን እውነተኛ የሰው ሰራሽ ማሳያዎችን ያባዛሉ። ለእነሱ ያለውን ፍላጎት አያስወግዱም።

አራት የተለያዩ ነገሮች ሰው ሰራሽ መረጃ ይባላሉ

ቁጥሮችን ከማወዳደርዎ በፊት ቤተሰቦችን መለየት ተገቢ ነው፣ ምክንያቱም 100x ማባዣን ሪፖርት የሚያደርግ ወረቀት እና 5 ነጥብ የስኬት ትርፍን ሪፖርት የሚያደርግ ወረቀት ብዙውን ጊዜ ተመሳሳይ የሥራ ፍሰትን ከተለያዩ አቅጣጫዎች ይገልጻሉ። የጋራው ክር በLeRobot ዳታ ስብስብ ውስጥ ያለ ነገር በአካላዊ ክንድ ከመመዝገብ ይልቅ በማሽን የተሰራ መሆኑ ነው። የሚለየው የትኛው ክፍል እንደሆነ ነው።

በዚህ ጽሑፍ ትርጉም ውስጥ የመጀመሪያዎቹ ሦስቱ ብቻ ሰው ሠራሽ ዳታ ናቸው። አራተኛው መጥቀስ ተገቢ ነው ምክንያቱም ወደ ተመሳሳይ ውይይት ስለሚገባ እና በዝርዝሩ ውስጥ እጅግ በጣም ርካሹ ነገር ነው። አሰልጣኝዎ ከሚልካቸው ማበልጸጊያዎች ገና ካላበሩ፣ ሲሙሌተር ከመጫንዎ በፊት ያንን ያድርጉ።

የታተሙት ቁጥሮች በትክክል የሚናገሩት

የማስረጃው መሠረት እዚህ አለ፣ ቁጥሮቹም የፕሬስ መግለጫዎች እንደሚያጠቃልሏቸው ሳይሆን ምንጮቹ እንደገለጹት ናቸው። ከታች ያለው እያንዳንዱ ረድፍ በኦገስት 23፣ 2026 ከተነበበ ወረቀት ወይም የፕሮጀክት ገጽ የመጣ ነው።

በእያንዳንዱ ትክክለኛ የአብሌሽን ሙከራ ላይ ያለው ስርዓተ-ጥለት ተመሳሳይ ነው። ሰው ሰራሽ መረጃ ሽፋን በዝቅተኛ ወጪ ያሰፋል። ስለ ግሪፐርዎ፣ ስለ ሰርቮዎ መዘግየት፣ ስለ መብራትዎ ወይም ስለ ጠረጴዛዎ ቁመት በእውነተኛ ማሳያዎች ውስጥ ያልነበረ መረጃ አይፈጥርም። የእርስዎ ፖሊሲ ከከሸፈ ምክንያቱም የመጨረሻው ውጤት ሰጪ ግማሽ ሰከንድ ዘግይቶ ስለሚዘጋ፣ ምንም ያህል የተመሰለ ልዩነት ሊያስተካክለው አይችልም። ይህ የግሪፐር ጊዜ አጠባበቅ ችግር በእውነተኛ ቅጂዎች ውስጥ ያለ ችግር ነው።

አንድ የ MimicGen ግኝት ወደ የራስዎ ቀረጻ ክፍለ ጊዜዎች ማምጣት ተገቢ ነው፣ ምክንያቱም ከተለመደው ምክር ጋር የሚቃረን ነው። ፕሮጀክቱ በ Square D2 ላይ ሁለት የውሂብ ስብስቦችን ፈጠረ፤ አንደኛው ከጥሩ ጥራት ካለው የሰው ኦፕሬተር 10 ማሳያዎችን የያዘ ሲሆን ሌላኛው ደግሞ ከመጥፎ ጥራት ካለው ኦፕሬተር 10 ማሳያዎችን የያዘ ሲሆን፣ ሁለቱም ከ robomimic ባለብዙ-ሰው Square የውሂብ ስብስብ የተወሰዱ ናቸው። በእያንዳንዳቸው ላይ የሰለጠኑ ፖሊሲዎች ተመጣጣኝ ውጤቶችን አስመዝግበዋል፣ ይህም ደራሲዎቹ በትልቅ የውሂብ መጠን ውስጥ የውሂብ ጥራት ያን ያህል ላይሆን እንደሚችል የሚያሳይ ምልክት አድርገው ተርጉመውታል። በጥንቃቄ ያንብቡ፣ ይህ ስለ አስሩ የመነሻ ማሳያዎች እንጂ ስለ ሃምሳዎቹ እውነተኛ ክፍሎችዎ አይደለም። ይህ ማለት ትንሽ የተበላሸ የመነሻ ስብስብ በእርስዎ እና በሚሰራ የተፈጠረ የውሂብ ስብስብ መካከል የቆመ ነገር አይደለም። ይህ ማለት አብረው የሚያሰለጥኑባቸው እውነተኛ ክፍሎች የተበላሹ ሊሆኑ ይችላሉ ማለት አይደለም፣ ምክንያቱም እነዚያ አስመሳይ የሌለውን መረጃ የሚይዙት እነሱ ናቸው።

ከሲም ወደ እውነት ያለው ክፍተት፣ በተጨባጭ

ክፍተቱ ብዙውን ጊዜ እንደ አንድ ነጠላ መጠን ይብራራል, ይህም ጠቃሚ አይደለም. ቢያንስ አምስት የተለያዩ አለመጣጣሞች ሲሆኑ, በ110 እስከ 150 ዩሮ በሚሸጥ የትርፍ ጊዜ ማሳለፊያ ክንድ ላይ ከፍራንካ ይልቅ የተለያየ መጠን አላቸው።

• ግንኙነት እና ግጭት። አይዛክ ላብ በግልጽ እንደሚያስቀምጠው ተመሳሳይ ሃርድዌር እና ተመሳሳይ አይዛክ ሲም እና ፊዚክስ ስሪት ከተሰጠ ማስመሰያው ሊደገም ይችላል፣ ነገር ግን ውጤቶቹ በተለያዩ የሃርድዌር ውቅሮች ላይ በተንሳፋፊ ነጥብ ትክክለኛነት እና የማዞሪያ ስህተቶች ምክንያት ይለያያሉ፣ እና ፊዚክስ እንደ ጨርቅ ወይም ለስላሳ አካላት ላሉ ግትር ያልሆኑ አካላት ላለው ማንኛውም ትዕይንት መወሰንን አያረጋግጥም።
• እንቅስቃሴ። በ7.4 V የሚሰራ የFeetech STS3215 አውቶቡስ ሰርቮ በጭነት ስር ይንሸራተታል፣ የኋላ ምት አለው፣ እና ሲሞቅ ባህሪውን ይለውጣል። የSO-101 MJCF ሞዴል የሞተር መለኪያዎቹን ከእጅዎ ላይ ከመለየት ይልቅ ከማይዛመድ ፕሮጀክት ይዋሳል።
• ማሳያ። የካሜራ ጫጫታ፣ ሮሊንግ ሹተር፣ ራስ-ሰር መጋለጥ እና የጠረጴዛዎ ትክክለኛ ቀለም በማሳያው ውስጥ የሉም። ይህ Cosmos-Transfer1 ለመዝጋት የተገነባው ክፍተቱ ግማሽ ነው፡ የሮቦቲክስ ማበልጸጊያ የስራ ፍሰቱ አንድ የሮቦቲክስ ሰው ሰራሽ ምሳሌን ከክፍፍል፣ ከጥልቀት ወይም ከጫፍ ሁኔታ ወደ ብዙ እውነተኛ ምሳሌዎች ያመላክታል።
• ጊዜ አጠባበቅ። አንድ አስመሳይ በተወሰነ ፍጥነት ይራመዳል። እውነተኛ የቁጥጥር ዑደት ግን አይራመድም፣ እና ሞዴሉ ራሱ በመረጡት ላይ በመወሰን ለእያንዳንዱ የድርጊት እርምጃ ከ20 እስከ 485 ሚሴ ያስከፍላል። የመረጃ መዘግየትን ይመልከቱ።
• የነገር ስታቲስቲክስ። የተመሰሉ ትዕይንቶች አንድ ሰው ከጻፈው ስርጭት የተወሰዱ ናቸው። የእርስዎ የወጥ ቤት ጠረጴዛ ግን አይደለም።

የተመሰለ SO-100 ስለ ክንድዎ በትክክል የሚያውቀው ነገር

ይህ ከላይ ከተጠቀሱት ውስጥ አንዳቸውም ቅዳሜና እሁድዎን የሚያስከፍሉ መሆናቸውን የሚወስነው ክፍል ነው፣ እና የመጀመሪያው አስገራሚ ነገር SO-100 እና SO-101 እኩል አገልግሎት አለማግኘታቸው ነው። የTheRobotStudio's SO-ARM100 ማከማቻ የማስመሰያ ንብረቶቹን በSimulation/ ስር ያቆያል። የSO100 ማህደር አንድ የURDF ፋይል ብቻ ይዟል እንጂ ሌላ ምንም የለም። የSO101 ማህደር ሁለቱንም URDF እና MuJoCo ፋይሎች ይዟል፡ scene.xml፣ so101_new_calib.xml፣ so101_old_calib.xml፣ ተዛማጅ URDFs እና joints_properties.xml። የኪነማቲክ ሰንሰለት ሳይሆን የፊዚክስ ሞዴል ከፈለጉ፣ የSO-101 ፋይሎችን ይፈልጋሉ።

እነዚህ የተፈጠሩት በOnshape ውስጥ ከተነደፈ የCAD ሞዴል በonshape-to-robot ፕለጊን ሲሆን፣ ይህም ማለት ኪነማቲክስ እና የእይታ ሜሾች እንደ CADው ጥሩ ናቸው ማለት ነው። ዳይናሚክስ ግን የተለየ ታሪክ ነው፣ እና የሪፖዚቶሪው የራሱ README ሶስት ነገሮችን በግልጽ ይናገራል። የመሠረት ግጭት ሜሾች በሲሙሌሽን እና በእቅድ ወቅት ችግር በሚፈጥር የግጭት ባህሪ ምክንያት ተወግደዋል። የSTS3215 ሞተር ባህሪያት ከSO-101 ላይ ከመለካት ይልቅ ከOpen Duck Mini ፕሮጀክት የተወሰዱ ናቸው። እና የLeRobot ግሪፐር ስምምነት፣ 0 ሙሉ በሙሉ የተዘጋ እና 100 ሙሉ በሙሉ ክፍት የሆነበት፣ በURDF እና MuJoCo ፋይሎች ውስጥ ገና በግልጽ አልተንጸባረቀም። ከእነዚህ ውስጥ እያንዳንዱ በዚያ ሞዴል ውስጥ ብቻ የሰለጠነ ፖሊሲ በጠረጴዛዎ ላይ በተለየ መንገድ የሚሰራበት ቦታ ነው።

የዶሜይን በዘፈቀደ መለዋወጥ፣ እና የማያስተካክለው ነገር

ለክፍተቱ መደበኛው መልስ እውነታውን ለማዛመድ መሞከርን ማቆም እና በምትኩ እውነታው በውስጡ እንዲወድቅ በበቂ ሁኔታ ሰፊ በሆነ ስርጭት ላይ ማሰልጠን ነው። ቶቢን እና ባልደረቦቹ የዚህን ጠንካራ ስሪት በ2017 አሳይተዋል፡ በእውነተኛ ያልሆኑ የዘፈቀደ ሸካራማነቶች ባላቸው ሲሙሌትድ ምስሎች ላይ ብቻ የሰለጠነ የነገር መፈለጊያ፣ በእውነተኛ ምስሎች ላይ ምንም ቅድመ-ስልጠና ሳይደረግበት፣ እውነተኛ ነገሮችን በ1.5 ሴ.ሜ ትክክለኛነት ለይቶ ማወቅ ችሏል እና ለአስቸጋሪ ነገሮች እና ከፊል መሸፈኛዎች ጠንካራ ሆኖ ቆይቷል።

አይዛክ ላብ ከአካባቢ ውቅር ጋር በሚያያይዟቸው የክስተት ቃላት ተመሳሳይ ሀሳብ ያቀርባል። እነዚህ በisaaclab.envs.mdp ውስጥ ባሉ ትክክለኛ የተግባር ስሞቻቸው መቆጣጠሪያዎች ናቸው፣ ስለዚህ ከመገመት ይልቅ ሄደው ማንበብ ይችላሉ።

ገደቡ ይህ ነው፣ እና ሰዎች የሚሰናከሉበትም ይህ ነው። የዘፈቀደነት እርስዎ በገነቡት ሞዴል ውስጥ ፖሊሲው ያየውን ስርጭት ያሰፋዋል። አስመሳይው የማይወክለውን አካላዊ ውጤት ማስተዋወቅ አይችልም። PhysX የ STS3215 ሰርቮስዎን የኋላ ምት እና የሙቀት መጠን መቀነስን የማይቀርጽ ከሆነ፣ ጥንካሬያቸውን በዘፈቀደ ማድረግ ፖሊሲውን ስለኋላ ምት ምንም አያስተምርም። ለዚህም ነው አንድ ክንድ ይርገበገባል ከዚያም ይዝላል በሲም የሰለጠነ ፖሊሲ ስር የዘፈቀደነት-በጀት ችግር አይደለም። የሞዴሊንግ ችግር ነው።

የእጅ መንገድ፡ በአይዛክ ላብ ውስጥ መረጃ ማመንጨት

Isaac Gym ጊዜ ያለፈበት ሶፍትዌር ነው። የNVIDIA ገጽ ርዕስ "Isaac Gym - አሁን ጊዜው ያለፈበት ነው" የሚል ሲሆን፣ ገንቢዎች ማውረድ እና መጠቀም እንደሚችሉ ነገር ግን ከእንግዲህ ድጋፍ እንደማይደረግለት ይገልጻል፣ በምትኩ ወደ Isaac Lab ይጠቁማል። ታሪኩን ማወቅ ከፈለጉ፣ ሁለቱንም ሸፍነናል፦ እና ። በ2026 ለአዲስ ስራ፣ ከIsaac Lab ይጀምሩ።

1. 1
   Isaac Sim እና Isaac Labን ይጫኑ

   የፒፕ መጫኛ ገጽ መመሪያዎቹ ለ Isaac Sim 5.X እንደሆኑ ይገልጻል፣ ይህም Python 3.11ን ይፈልጋል። የምንጭ ክሎኑ ለቀጣይ ደረጃዎች የሚያስፈልጉትን ስክሪፕቶች ይሰጥዎታል።

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   ወደ አስር የሚጠጉ የሰው ማሳያዎችን ይመዝግቡ

   የ Isaac Lab ሰነድ ግልጽ ነው፦ የሚከተሉት እርምጃዎች እንዲሳኩ ወደ 10 የሚጠጉ የተሳካ ማሳያዎች ያስፈልጋሉ። ምክሮቹም እንዲሁ ግልጽ ናቸው። ማሳያዎችን አጭር ያድርጉ፣ በዘፈቀደ ዘንጎች ከመንቀሳቀስ ይልቅ ቀጥተኛ መንገድ ይውሰዱ፣ እና ለአፍታ አያቁሙ፣ ምክንያቱም ፖሊሲው ለምን እና መቼ ለአፍታ ማቆም እንዳለበት ግልጽ አይደለም።

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   የንዑስ ተግባር ወሰኖችን ያብራሩ

   Mimic የገቡትን ማሳያዎች ወደ ንዑስ ተግባራት ይከፍላል ስለዚህ ክፍሎቹን እንደገና ማስተካከል እና እንደገና ማነጣጠር ይችላል። የ --auto ባንዲራ አውቶማቲክ ማብራሪያ ለሚገልጹ ተግባራት ያለ ሰው ጣልቃ ገብነት ይህንን ያደርጋል፤ ያለሱ በ B ለአፍታ ያቆማሉ፣ በ N ይቀጥላሉ እና በ S ወሰን ምልክት ያደርጋሉ። የተግባር መታወቂያው -Mimic ቅጥያ እንደሚያገኝ ልብ ይበሉ።

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   የተባዛውን የውሂብ ስብስብ ያመነጩ

   ይህ 10ን ወደ 1000 የሚቀይር እርምጃ ነው። Mimic ለእያንዳንዱ እጩ የቦሊያን ስኬት መስፈርት ይተገብራል እና ተግባሩን ያጠናቀቁትን ብቻ ይይዛል፣ ስለዚህ የውጤት ብዛት ከሙከራው ብዛት ያነሰ ነው። ሰነዶቹ የእጩ ስኬት መጠን በቀላል ሁኔታዎች እስከ 70 በመቶ እና ለከባድ ተግባራት እና ውስብስብ ሮቦቶች ከ 1 በመቶ በታች እንደሆነ ይገልጻሉ፦ ለ Franka cube stack ወደ 50 በመቶ፣ እና ለ GR1T2 pick and place ከ 65 እስከ 80 በመቶ፣ 1000 ማሳያዎች ከ 18 እስከ 40 ደቂቃዎች የሚወስዱበት (በ RTX ADA 6000 ላይ በ 80 በመቶ 19 ደቂቃዎች)።

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5ን ወደ LeRobot የውሂብ ስብስብ ይቀይሩ

   ከላይ ያለው ሁሉ robomimic-flavoured HDF5 ያመነጫል፣ እና Isaac Lab core የራሱ የሆነ LeRobot መቀየሪያ የለውም፦ ሰነዶቹ የተፈጠረውን የውሂብ ስብስብ ወደ LeRobot ቅርጸት መቀየር እንደሚችሉ ብቻ ይናገራሉ። ሁለት ፕሮጀክቶች ትክክለኛውን መቀየሪያ ያቀርባሉ። IsaacLab-Arena ሙሉ በሙሉ በ YAML config የሚመራ GR00T-targeted መቀየሪያ ያቀርባል፣ እና LeIsaac ለ SO-101 መንገድ የራሱን ጥንድ ያቀርባል (ከዚህ በታች ይመልከቱ)።

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

የማመንጨት ሙከራዎች ለምን ይከሽፋሉ፣ እና ምን መለወጥ እንዳለበት

በ70 በመቶ እና ከ1 በመቶ በታች የሚወዛወዝ የስኬት መጠን ምስጢር አይደለም፣ እና አይዛክ ላብ እርስዎ እንዲገምቱ ከመተው ይልቅ የተለመዱ ስህተቶችን በሰነድ ያቀርባል። እያንዳንዳቸው በሚቀረጽበት ጊዜ የሚቆጣጠሯቸው ነገሮች ናቸው፣ ለዚህም ነው የመጀመሪያው አሳዛኝ የትውልድ ሂደት ከተጠናቀቀ በኋላ ሳይሆን አስሩን የመነሻ ማሳያዎች ከመቅረጽዎ በፊት ይህንን ዝርዝር ማንበብ ጠቃሚ የሆነው።

• ማሳያዎች በጣም ረጅም ናቸው። ረዘም ያለ የጊዜ ገደብ ፖሊሲ ለመማር አስቸጋሪ ነው። ከመጀመሪያው ነገር ጋር ተጠግተው ይጀምሩ እና እንቅስቃሴን ይቀንሱ።
• ማሳያዎች ለስላሳ አይደሉም። ያልተስተካከለ እንቅስቃሴ ፖሊሲ ለመረዳት አስቸጋሪ ነው፣ እና የተሻለ የቴሌኦፕሬሽን ሃርድዌር የተሻለ መረጃ ይሰጣል፡ ሰነዶቹ SpaceMouse ከቁልፍ ሰሌዳ እንደሚበልጥ በግልጽ ይናገራሉ።
• ማቆሚያዎች። ማቆሚያዎች ለመማር አስቸጋሪ ናቸው፣ ምክንያቱም ፖሊሲው ለምን እና መቼ ማቆም እንዳለበት ግልጽ ስላልሆነ። እንቅስቃሴውን ፈሳሽ ያድርጉት።
• ብዙ ንዑስ ተግባራት። ብዙ ንዑስ ተግባራት ማለት በትራጀክተሪ ክፍሎች መካከል ብዙ ማያያዝ ማለት ነው፣ ይህም ለስላሳ ያልሆነ እንቅስቃሴ እና ዝቅተኛ የስኬት መጠን ያስከትላል። ክንዱ ከምንም ነገር ጋር የመጋጨት ዕድሉ አነስተኛ በሆነባቸው ቦታዎች ላይ ድንበሮችን ያመልክቱ።
• የድርጊት ጫጫታ አለመኖር። የድርጊት ጫጫታ የሚመጡትን ፖሊሲዎች የበለጠ ጠንካራ ያደርጋቸዋል።
• ቅጂው በጣም ጠባብ ሆኖ መቆረጡ። ቀረጻው የስኬት ቃል በሚቀሰቀስበት ትክክለኛ ፍሬም ላይ ካቆመ፣ በድጋሚ በሚጫወትበት ጊዜ ላይቀሰቀስ ይችላል። በመጨረሻው ላይ መሸጋገሪያ ይተዉ።
• የማይወሰን ድጋሚ መልሶ ማጫወት። በአይዛክ ላብ ውስጥ ያለው ፊዚክስ በenv.reset ላይ በቆራጥነት ሊባዛ አይችልም፣ ስለዚህ አንዳንድ የሰው ሰራሽ ማሳያዎች በድጋሚ መልሶ ማጫወት ላይ ይወድቃሉ። ከሚያስፈልግዎ በላይ ይሰብስቡ እና ማብራሪያውን ያለፉትን ያስቀምጡ። በMimic-የተፈጠረ HDF5 ፋይል ውስጥ የሚገባ ማንኛውም ነገር የተሳካ ማሳያ ሲሆን ድጋሚ መልሶ ማጫወት በኋላ ቢወድቅም ለስልጠና ሊያገለግል ይችላል።

በተሰፉ ንዑስ ተግባር ክፍሎች መካከል ያለው የማስገባት ደረጃ የራሱ የሆነ ማስተካከያ አለው፣ እና የሚያስፈልግዎ የማስገባት ደረጃዎች ብዛት ሮቦቱ በሚንቀሳቀስበት ፍጥነት እና የነገር ዳግም ማስጀመሪያ ስርጭቱ ምን ያህል ሰፊ እንደሆነ ይወሰናል። ትልቅ ዳግም ማስጀመሪያ ስርጭት ያለው ውስብስብ ተግባር በክፍሎች መካከል ትላልቅ ክፍተቶችን ይተዋል፣ ይህም እንደ ቀጣይነት ያለው እንቅስቃሴ ለመውጣት ብዙ የማስገባት ደረጃዎችን ይፈልጋል። የመነጩ ቪዲዮዎችዎ ክንዱ በደረጃዎች መካከል ሲወዛወዝ ካሳዩ፣ የመነሻ ማሳያዎችን ከመውቀስዎ በፊት ሊመለከቱት የሚገባው መለኪያ ያ ነው።

በSO-101 ላይ ያለው ተመሳሳይ የሥራ ሂደት፣ ከእውነተኛው መሪ ክንድ ጋር

ይህንን ገጽ ለሚያነብ ማንኛውም ሰው አስደሳች የሆነው ይህ ነው፣ ምክንያቱም ክፍት የሆነው ብቸኛው የሥራ ሂደት (pipeline) ነው SO-101 በ Isaac Lab ውስጥ የሚያስገባ እና አስቀድመው በያዙት አካላዊ መሪ ክንድ እንዲነዱት የሚያስችልዎ። LeIsaac፣ ይህ በሚጻፍበት ጊዜ ስሪት 0.4.0፣ በLeRobot's EnvHub ውስጥ የተዋሃደ ይፋዊ የማስመሰል-ትምህርት ማስመሰያ መጫወቻ ስፍራ ነው። የእሱ ተኳሃኝነት ሰንጠረዥ ሶስት የሚሰሩ ውህዶችን ይዘረዝራል፤ አዲሱ Isaac Sim 5.1ን ከ Isaac Lab v2.3.0፣ CUDA 12.8፣ PyTorch 2.7.0 እና Python 3.11 ጋር ያጣምራል፣ እና ሰነዶቹ ለ50-ተከታታይ ካርዶች Isaac Sim 5.0 ወይም ከዚያ በላይ ይመክራሉ።

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

ይህ ከተዘጋጀ በኋላ፣ በ /dev/ttyACM0 ላይ ያለው መሪ ክንድ የተመሰለውን ተከታይ ያንቀሳቅሳል እና በቀጥታ ወደ HDF5 ይመዘግባል። የ መሪ-ተከታይ ዑደት ከእውነተኛ ቀረጻ አስቀድመው የሚያውቁት ተመሳሳይ ነው፣ ተከታዩ በ PhysX ውስጥ ጠንካራ አካል (rigid body) ብቻ ነው።

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

አብዛኛዎቹ እነዚህ መለያዎች እንደ -Direct-v0 ልዩነትም ይገኛሉ፣ እና python scripts/environments/list_envs.py የአሁኑን ዝርዝር ያትማል። የHDF5 ማለፊያን ሙሉ በሙሉ መዝለል እና በቴሌኦፕሬሽን ጊዜ ሶስት ባንዲራዎችን በመጨመር LeRobot ፎርማትን መጻፍ ይችላሉ። ሁለት ማስጠንቀቂያዎች ከሰነዱ ራሱ የመጡ ናቸው፡ መቅጃው ከመጀመሪያዎቹ ሁኔታዎች የሚመጣውን አለመረጋጋት ለማስወገድ የእያንዳንዱን ክፍል የመጀመሪያዎቹን 5 ፍሬሞች በራስ-ሰር ይዘላል፣ እና በቴሌኦፕሬሽን ላይ ትንሽ መዘግየቶችን ሊያስከትል ይችላል፣ ይህም የእርስዎ ማሳያዎች ባህሪን በጸጥታ የሚቀይር አይነት ነገር ነው። እንዲሁም ተግባሩ ስኬታማ ብሎ ምልክት ያደረገባቸውን ክፍሎች ብቻ ነው የሚያስቀምጠው።

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

የማባዛት ደረጃው በእነዚያ ቅጂዎች ላይ ይሰራል። LeIsaac የIsaac Lab Mimicን በአራት ትዕዛዞች ይጠቀልላል፣ ምክንያቱም Mimic ከጫፍ-ተፅዕኖ ፈጣሪ እና የነገር አቀማመጥ የሚመጡ አቅጣጫዎችን ስለሚያጠቃልል ነው፡ የመገጣጠሚያ-ቦታ ድርጊቶችን ወደ IK-ተኮር ድርጊቶች ቀይር፣ አብራራ፣ አፍልቅ፣ ከዚያም ወደ መገጣጠሚያ ቦታ መልስ።

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

ከዚያ ወደ LeRobot ይቀይሩ። ይህ የመድረኩ የቅርጸት ህግ የሚተገበርበት ደረጃ ሲሆን፣ LeIsaac በትክክል የሚያስፈልጉዎትን ሁለት መቀየሪያዎች ይዞ ይመጣል፦ isaaclab2lerobot.py LeRobot v2ን ይጽፋል፣ ይህም GR00T ሎደሮች የሚቀበሉት ነው፣ እና isaaclab2lerobotv3.py ለ v3 ይጽፋል Pi0.5፣ SmolVLA እና ACT። ሁለቱ ስክሪፕቶች ተመሳሳይ ክርክሮችን ይወስዳሉ ነገር ግን የተለያዩ የlerobot ስሪቶችን ይይዛሉ፣ እና የተሳካላቸው ክፍሎች ብቻ ይቀየራሉ።

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

የሰለጠነ ፖሊሲ ለማግኘት ሁለት መንገዶች

የቪዲዮ አለም ሞዴሎች፡ አዲሱ ንብርብር፣ እና በትንሹ የሚለካው

ከDreamGen በስተጀርባ ያለው ሀሳብ፣ ለታለመው ሮቦት አካል የተስተካከለ የቪዲዮ ጀነሬቲቭ ሞዴል፣ ፈጽሞ ያልጎበኟቸውን ትዕይንቶች ውስጥ ሊሆኑ የሚችሉ ክፍሎችን መገመት ይችላል። የቧንቧ መስመሩ አራት ደረጃዎች አሉት፡ የቪዲዮ አለም ሞዴሉን በጥሩ ሁኔታ ማስተካከል፣ ፎቶሪያሊስቲክ ሰው ሰራሽ ሮቦት ቪዲዮዎችን ማመንጨት፣ በድብቅ የድርጊት ሞዴል ወይም በተገላቢጦሽ ዳይናሚክስ ሞዴል የውሸት-ድርጊት ቅደም ተከተሎችን መልሶ ማግኘት፣ ከዚያም የሮቦት ፖሊሲውን በውጤቱ ላይ ማሰልጠን። የNVIDIA GR00T-dreams ሪፖዚቶሪ በትክክል ያንን ይተገብራል።

ዋናው ውጤት እውነት ነው እናም በቁም ነገር መታየት አለበት፡ ከአንድ ነጠላ የመምረጥ እና የማስቀመጥ ተግባር በአንድ አካባቢ የተገኘ የቴሌኦፕሬሽን መረጃ በሰው ሰራሽ ሮቦት ላይ 22 አዳዲስ ባህሪያትን አሳይቷል፣ ሁለቱም በሚታዩ እና በማይታዩ አካባቢዎች። ማስጠንቀቂያውም እንዲሁ እውነት ነው እና በሶስተኛው ደረጃ ላይ ይገኛል።

የጋራ ስልጠና ትርፍ የሚያሳይ እውነተኛ የምግብ አዘገጃጀት ነው

ከሥነ ጽሑፍ አንድ የአሠራር ትምህርት የምትወስድ ከሆነ፣ ይህንን ውሰድ። የሲም-እና-እውነተኛ የጋራ ስልጠና ጥናት (ማዱኩሪ እና ባልደረቦቻቸው፣ 2025) የማስመሰል መረጃን በመጠቀም በእይታ ላይ የተመሰረቱ የሮቦት ማኒፑሌሽን ተግባራትን ለመፍታት ቀላል ዘዴ ለማግኘት ተነሳ፣ በሁለት ዘርፎች፣ የሮቦት ክንድ እና የሰው ሰራሽ አካል፣ እና መደምደሚያው ድብልቅ ላይ ማሰልጠን እንዳለብህ ነው። የማስመሰል መረጃ የእውነተኛ ዓለም ተግባር አፈጻጸምን በአማካይ በ38 በመቶ አሻሽሏል፣ እና ወረቀቱ ይህ በማስመሰል እና በእውነተኛ ዓለም መረጃ መካከል ጉልህ ልዩነቶች ቢኖሩም እንኳ እንደቀጠለ በግልጽ ይገልጻል።

ያ የመጨረሻው አንቀጽ ከ38 በመቶው የበለጠ አስፈላጊ ነው። ይህ ማለት ማስመሰያው ጠቃሚ ለመሆን ፍጹም ዲጂታል መንትያ መሆን የለበትም፣ እውነተኛው መረጃ እንደ መልህቅ በድብልቅ ውስጥ እስካለ ድረስ። ሲም-ብቻ ማስተላለፍ ውድ መንገድ ነው፡ ያው ወረቀት ፖሊሲን በማስመሰል ብቻ ማሰልጠን እና ወደ እውነተኛው ዓለም ማስተላለፍ የእውነታውን ክፍተት ለመሙላት ከፍተኛ የሰው ጥረት እንደሚጠይቅ ይገልጻል። የጋራ ስልጠና ፖሊሲው ክፍተቱን በራሱ እንዲዘጋ ባለመጠየቅ አብዛኛውን ያንን ጥረት ይዘላል።

በተግባር፣ በዚህ መድረክ ላይ፣ የጋራ ስልጠና አንድ ነገር ማለት ነው፡ ሁለቱንም የክፍሎች ስብስቦች በተመሳሳይ LeRobot የውሂብ ስብስብ በተመጣጣኝ የካሜራ ቁልፎች፣ በተመጣጣኝ የመገጣጠሚያ ቅደም ተከተል እና በተመጣጣኝ ክፍሎች ውስጥ አስቀምጥ፣ ከዚያም መደበኛ ጥሩ-ማስተካከያ አሂድ። በስልጠናው ቅጽ ውስጥ ምንም ድብልቅ-ክብደት መቆጣጠሪያ የለም። 3:1 የሲም-ወደ-እውነተኛ ጥምርታ ከፈለግክ፣ በእያንዳንዱ የውሂብ ስብስብ ውስጥ በምታስቀምጣቸው ክፍሎች ብዛት ትገልጸዋለህ።

ከሲሙሌሽን የሚገኘው ርካሽ ጥቅም የስልጠና ዳታ አይደለም

ግምገማ ነው። ሁለት ለማነፃፀር በእያንዳንዱ ተግባር ላይ በደርዘን የሚቆጠሩ እውነተኛ ሙከራዎችን ማካሄድ የአንድ ቀን ክንድ ጊዜ የሚወስድ ሲሆን፣ ክንዱም በሙከራዎች መካከል ይንሸራተታል። SIMPLER (ሊ እና ባልደረቦቹ፣ 2024) እውነተኛ ፖሊሲዎችን ከማሰልጠን ይልቅ ለመመዘን የሚያገለግሉ አስመሳይ አካባቢዎችን ገንብቷል፣ ከዚያም የሲሙሌሽን ደረጃ አሰጣጥ እውነተኛውን ምን ያህል በትክክል እንደሚተነብይ ለክቷል። አንድ የSIMPLER አካባቢ በ3,500 የሲሙሌሽን እርምጃዎች በሰከንድ በሸማች RTX 4090 ላይ በ640 በ512 ጥራት ይሰራል። ይህም በ500 Hz የሲሙሌሽን ድግግሞሽ ከእውነተኛ ግምገማ 7x ፈጣን ነው።

እነዚህ ለስድስት የተለመዱ ክፍት ምንጭ የፍተሻ ነጥቦች፣ በሶስት የGoogle Robot ተግባር ቡድኖች ላይ የተወሰዱ አማካዮች ናቸው፡ ሶስት RT-1 የፍተሻ ነጥቦች በተለያዩ የስልጠና ደረጃዎች፣ RT-1-X፣ RT-2-X እና Octo-Base። እውነተኛው ጎን ወጥ የሆነ የሙከራ ብዛት የለውም፣ ይህም ከመጥቀስዎ በፊት ማወቅ ተገቢ ነው፡ 75 ሙከራዎች ለኮካ ጣሳ ማንሳት፣ 60 ለመጠጋት፣ 54 ለመሳቢያ መክፈትና መዝጋት ተግባራት እና 27 ለረዥሙ የመሳቢያና ፖም ተግባር። ከvalidation MSE ጋር ያለው ንፅፅር ጠቃሚው ክፍል ነው። በvalidation loss የሚደረግ የሞዴል ምርጫ እነዚህን የፍተሻ ነጥቦች በአግባቡ አይመድባቸውም፣ እና በእይታ ማዛመድ ስር ያለው የ0.924 Pearson r ማለት አንድ የፍተሻ ነጥብ በSIMPLER የተሻለ ውጤት ካስመዘገበ፣ በቤንች ላይም የተሻለ ውጤት የማስመዝገብ ዕድሉ ከፍተኛ ነው። ይህ በየቀኑ ሊደገም የሚችል የውጤት ሰሌዳ ሲሆን፣ ስለ sim-to-real የስልጠና ሽግግር ምንም ነገር እንድታምኑ አይጠይቅም።

እነዚህ የቤንችማርክ ቁጥሮች ስለ አንድ የእይታ-ቋንቋ-ድርጊት ሞዴል ምን እንደሚነግሩዎት እና እንደማይነግሩዎት ሰፋ ያለ መረጃ ከፈለጉ፣ በተናጠል በየVLA አጠቃላይ እይታ ውስጥ ጽፈናል።

ይህ መድረክ የማይረዳዎት ቦታ

ስለ ወሰኑ ግልጽ መሆን የሁሉንም ሰው ጊዜ ይቆጥባል። AY-Robots የመቅጃ፣ የማሰልጠኛ እና የማገልገያ መድረክ ነው። በውስጡ ምንም አስመሳይ የለውም።

• ምንም አይዛክ ላብ፣ ምንም ሚሚክጄን፣ ምንም የአለም ሞዴል፣ ምንም የትዕይንት ፈጠራ የለም። የተፈጠረ ዳታ ከፈለጉ፣ በሌላ ቦታ ፈጥረው ውጤቱን ያመጣሉ።
• አሰልጣኞቹ የLeRobot ዳታ ስብስቦችን ብቻ ነው የሚጠቀሙት። የሲሙሌተር ኤክስፖርት እንደ ግብዓት ከመሆኑ በፊት መለወጥ አለበት፣ እና ትክክለኛው ስሪት መሆን አለበት፡ v2.0 ወይም v2.1 ለGR00T N1.5 እና N1.7፣ v3.0 ለPi0.5፣ SmolVLA እና ACT።
• የGR00T የጥሩ ማስተካከያ መግቢያ ነጥብ ምንም seed የማያሳይ tyro CLI ነው፣ ስለዚህ የGR00T ስራዎች በትክክል ሊባዙ አይችሉም። ጥንቃቄ የተሞላበት የሲም-በእውነተኛው ዓለም ንጽጽር እያካሄዱ ከሆነ፣ ይህ ትልቅ ገደብ ነው። የlerobot ነባሪ seed 1000 ነው፣ እና የACT፣ SmolVLA እና Pi0.5 ቅጾች የseed መስክ ያሳያሉ።
• Gradient accumulation የሚተገበረው ለሁለቱ GR00T አሰልጣኞች ብቻ ነው። ለPi0.5 እና SmolVLA መስኩ በቅጹ ውስጥ ቢኖርም lerobot 0.5.1 እንደዚህ አይነት flag ስለሌለው ምንም አያደርግም።
• ፈጣን ስራዎች inference ከሰርቮዎቹ አጠገብ መሆን አለበት። የቁጥጥር ዑደቱ እንደ ሞዴሉ ከ20 እስከ 485 ms በአንድ የድርጊት እርምጃ ሲሆን፣ የህዝብ-ኢንተርኔት ዙር ጉዞዎችን መጨመር የሚሰራ ፖሊሲን ወደ አመንታነት ይለውጠዋል። የርቀት inference ለቀርፋፋ pick-and-place ተስማሚ ነው እንጂ ለፈጣን ምላሽ ሰጪ እንቅስቃሴ አይደለም።

ሊከላከሉት የሚችሉት በጀት

ሁለቱን መንገዶች እያንዳንዱ የሚያወጣቸውን ቁጥሮች ጎን ለጎን ያስቀምጡ፣ እና ውሳኔው ብዙውን ጊዜ ዝቅተኛ ወጪ ባለው ክንድ ላይ ላለ ነጠላ-ተግባር ፕሮጀክት በራሱ ይወሰናል።

በSO-100 ላይ ለመጀመሪያ ፖሊሲ፣ ይመዝግቡ። የ እና በቡና ዋጋ ወደተዘጋጀ ቼክፖይንት ያደርሱዎታል፣ እናም የማንኛውም የወደፊት የጋራ-ስልጠና ድብልቅ እውነተኛውን ግማሽ ይኖራችኋል። የሚሰራ መሰረታዊ መስመር እና ሊሰይሙት የሚችሉት የተወሰነ አጠቃላይ ውድቀት ሲኖርዎት ወደ ሲሙሌተሩ ይድረሱ፣ ለምሳሌ ፖሊሲ ።

ማስረጃውን የሚያከብር የምግብ አሰራር

1. 1
   መጀመሪያ ትክክለኛውን የመነሻ መስመር ይመዝግቡ

   ለSmolVLA 30 ክፍሎች፣ ለACT፣ GR00T N1.7 እና Pi0.5 50 ክፍሎች። አንድ ጊዜ ያሰልጥኑ። ያ ፖሊሲ ያልተሳካለት ነገር ሁሉ ለሰው ሰራሽ መረጃዎ ዝርዝር መግለጫዎ ነው።

2. 2
   የአጠቃላይነት ውድቀትን ይሰይሙ

   የነገር አቀማመጥ? መብራት? የጠረጴዛ ቁመት? ትኩረት የሚከፋፍሉ ነገሮች? የተለየ የአቅጣጫ አገላለጽ? ሰው ሰራሽ መረጃ በአንድ ጊዜ ከእነዚህ ውስጥ በአንዱ ብቻ ጥሩ ነው፣ እና የትኛው እንደሆነ መናገር ካልቻሉ ከንቱ ነው።

3. 3
   የሚሸፍነውን በጣም ርካሹን ቤተሰብ ይምረጡ

   የአቀማመጥ እና የአቀማመጥ ልዩነት: የትራጀክተሪ ማባዛት። መብራት እና ሸካራነት: በመጀመሪያ የምስል ማበልጸጊያ፣ ሁለተኛ የአለም ሞዴል። ሙሉ አዲስ ትዕይንቶች: የፊዚክስ ሮልአውትስ፣ እና የሞዴሊንግ ወጪን ይቀበሉ።

4. 4
   ያመንጩ፣ ከዚያም በኃይል ይጣሉ

   የማመንጨት ሙከራዎች ይከሽፋሉ፣ እና የIsaac Lab የራሱ እጩ የስኬት መጠን እንደ ተግባሩ ከ 70 በመቶ ወደ 1 በመቶ በታች ይደርሳል። የተሳካላቸው፣ ተግባርን የሚያጠናቅቁ ትራጀክተሪዎችን ብቻ ያስቀምጡ፣ እና ባች ከመተማመንዎ በፊት ናሙናውን እንደ ቪዲዮ በዓይን ይፈትሹ።

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   በጋራ ያሰልጥኑ፣ አይተኩ

   የተፈጠሩትን ክፍሎች ከእውነተኛዎቹ ጋር ወደ አንድ የLeRobot ዳታ ስብስብ ተመሳሳይ የካሜራ ቁልፎች እና የመገጣጠሚያ ቅደም ተከተል ያዋህዱ። የ 38 በመቶው አሃዝ የጋራ ስልጠና አሃዝ ነው።

6. 6
   በእውነተኛው ክንድ ላይ ብቻ ይገምግሙ

   የተመሰለ ግምገማ ጥሩ ደረጃ አሰጣጥ ምልክት ነው (በSIMPLER የእይታ-ማዛመጃ ቅንብር ውስጥ Pearson r 0.924) ነገር ግን የመቀበያ ፈተና አይደለም። ከመተማመንዎ በፊት የፍተሻ ነጥቡን በቤንች ላይ ያሂዱ።

ከእውነተኛዎቹ ቅጂዎች የፍተሻ ዝርዝር መጀመር ከፈለጉ፣ የመረጃ አሰባሰብ መመሪያ የካሜራ አቀማመጥን፣ የድርጊት መከፋፈል አንድ የመኮረጅ ትምህርት ዳታ ስብስብ የማይጠቅም የሚያደርጉትን አንድምታዎች እና የውድቀት ሁነታዎችን ይሸፍናል። ስለ ቅርጸቱ ዝርዝሮች በ የዳታ ስብስብ ሰነዶች፣ እና የሃይፐርፓራሜትር ጎን በ የስልጠና ሰነዶች።