রোবট পলিসির জন্য সিন্থেটিক ডেটা: যেখানে সিমুলেশন সাহায্য করে

প্রতি কয়েক মাস অন্তর কেউ না কেউ বুঝতে পারে যে পঞ্চাশটি এপিসোড হাতে রেকর্ড করা ধীরগতির, এবং জিজ্ঞাসা করে যে একটি সিমুলেটর এর পরিবর্তে সেগুলি তৈরি করতে পারে কিনা। এটি একটি ন্যায্য প্রশ্ন। সৎ উত্তরটির তিনটি অংশ রয়েছে: তৈরি করা ডেটা সাহায্য করে, এটি আসল রেকর্ডিংগুলিকে প্রতিস্থাপন করে না, এবং এই দুটি তথ্যের মধ্যে অনুপাত সম্পূর্ণরূপে নির্ভর করে আপনি কোন ধরণের সিন্থেটিক ডেটা বোঝাতে চাইছেন তার উপর।

এই পৃষ্ঠাটি প্রকাশিত কাজ আসলে কী পরিমাপ করেছে, আপনি আজ একটি স্বল্প-মূল্যের আর্ম যেমন SO-100, এর মতো একটিতে কী চালাতে পারেন, এবং কোথায় সিম-টু-রিয়েল গ্যাপ লাভগুলিকে খেয়ে ফেলে তা নিয়ে আলোচনা করে। বিস্তারিত জানার আগে সংক্ষিপ্ত সংস্করণ: যে সিস্টেমগুলি সবচেয়ে বড় গুণকগুলির কথা জানায়, তারা বাস্তব মানুষের প্রদর্শনের একটি ছোট সেটকে গুণ করে। তারা সেগুলির প্রয়োজনীয়তা দূর করে না।

চারটি ভিন্ন জিনিসকে সিন্থেটিক ডেটা বলা হয়

সংখ্যা তুলনা করার আগে পরিবারগুলিকে আলাদা করা মূল্যবান, কারণ একটি 100x গুণক রিপোর্ট করা একটি গবেষণাপত্র এবং একটি 5 পয়েন্ট সাফল্যের লাভ রিপোর্ট করা একটি গবেষণাপত্র প্রায়শই একই পাইপলাইনকে বিভিন্ন প্রান্ত থেকে বর্ণনা করে। সাধারণ বিষয় হল যে LeRobot ডেটাসেট একটি মেশিন দ্বারা উৎপাদিত হয়েছিল, একটি শারীরিক বাহু থেকে রেকর্ড করা হয়নি। পার্থক্য হল কোন অংশটি।

এই নিবন্ধটি যে অর্থে বোঝায়, শুধুমাত্র প্রথম তিনটিই সিন্থেটিক ডেটা। চতুর্থটি উল্লেখ করার মতো কারণ এটি একই কথোপকথনে অন্তর্ভুক্ত হয় এবং তালিকার মধ্যে এটি সবচেয়ে সস্তা জিনিস। আপনার প্রশিক্ষকের সাথে আসা অগমেন্টেশনগুলি যদি আপনি এখনও চালু না করে থাকেন, তবে একটি সিমুলেটর ইনস্টল করার আগে তা করুন।

প্রকাশিত সংখ্যাগুলি আসলে কী বলে

এখানে প্রমাণ ভিত্তি রয়েছে, যেখানে সংখ্যাগুলি উৎসগুলি যেমন উল্লেখ করেছে তেমনই দেওয়া হয়েছে, প্রেস রিলিজগুলি যেমন সংক্ষিপ্ত করেছে তেমন নয়। নীচের প্রতিটি সারি 23 আগস্ট 2026 তারিখে পড়া একটি গবেষণাপত্র বা প্রকল্প পৃষ্ঠা থেকে নেওয়া হয়েছে।

প্রতিটি সৎ অ্যাবলেশনের প্যাটার্ন একই। সিন্থেটিক ডেটা সস্তায় কভারেজ বাড়ায়। এটি আপনার গ্রিপার, আপনার সার্ভো স্যাগ, আপনার আলো বা আপনার টেবিলের উচ্চতা সম্পর্কে এমন কোনও তথ্য তৈরি করে না যা বাস্তব প্রদর্শনীতে কোথাও ছিল না। যদি আপনার পলিসি ব্যর্থ হয় কারণ এন্ড ইফেক্টর আধা সেকেন্ড দেরিতে বন্ধ হয়, তাহলে কোনো পরিমাণ সিমুলেটেড ভ্যারিয়েশন তা ঠিক করতে পারে না। এটি একটি গ্রিপার টাইমিং সমস্যা বাস্তব রেকর্ডিংয়ে।

একটি MimicGen অনুসন্ধান আপনার নিজস্ব রেকর্ডিং সেশনে নিয়ে যাওয়া উচিত, কারণ এটি প্রচলিত পরামর্শের বিরুদ্ধে যায়। প্রকল্পটি Square D2-এ দুটি ডেটাসেট তৈরি করেছে, একটিতে একজন উন্নত মানের মানব অপারেটরের 10টি ডেমো এবং অন্যটিতে একজন নিম্ন মানের অপারেটরের 10টি ডেমো ব্যবহার করা হয়েছে, উভয়ই robomimic মাল্টি-হিউম্যান স্কয়ার ডেটাসেট থেকে নেওয়া হয়েছে। প্রতিটি ডেটাসেটে প্রশিক্ষিত পলিসি তুলনামূলক ফলাফল অর্জন করেছে, যা লেখকরা একটি লক্ষণ হিসাবে দেখেছেন যে বৃহৎ আকারের ডেটা ব্যবস্থায় ডেটার গুণমান ততটা গুরুত্বপূর্ণ নাও হতে পারে। সাবধানে পড়ুন, এটি দশটি বীজ প্রদর্শনী সম্পর্কে একটি বিবৃতি, আপনার পঞ্চাশটি বাস্তব পর্ব সম্পর্কে নয়। এর অর্থ হল একটি সামান্য অগোছালো বীজ সেট আপনার এবং একটি ব্যবহারযোগ্য জেনারেটেড ডেটাসেটের মধ্যে বাধা নয়। এর অর্থ এই নয় যে আপনি যে বাস্তব পর্বগুলিতে সহ-প্রশিক্ষণ করেন সেগুলি অগোছালো হতে পারে, কারণ সেগুলিই সেই তথ্য বহন করে যা সিমুলেটরের কাছে নেই।

সিম-টু-রিয়েল গ্যাপ, সুনির্দিষ্টভাবে

সাধারণত এই ব্যবধানটিকে একটি একক পরিমাণ হিসেবে আলোচনা করা হয়, যা সহায়ক নয়। এটি অন্তত পাঁচটি পৃথক অমিল, এবং একটি 110 থেকে 150 EUR শখের আর্মের ক্ষেত্রে তাদের আকার ফ্রাঙ্কার ক্ষেত্রে যা হয় তার থেকে ভিন্ন।

• যোগাযোগ এবং ঘর্ষণ। আইজ্যাক ল্যাব স্পষ্টভাবে বলে যে একই হার্ডওয়্যার এবং একই আইজ্যাক সিম ও ফিজএক্স সংস্করণ ব্যবহার করলে সিমুলেশনটি পুনরুৎপাদনযোগ্য হয়, কিন্তু ফ্লোটিং পয়েন্ট নির্ভুলতা এবং রাউন্ডিং ত্রুটির কারণে বিভিন্ন হার্ডওয়্যার কনফিগারেশনে ফলাফল ভিন্ন হয়, এবং ফিজএক্স কাপড় বা নরম বস্তুর মতো অনমনীয় বস্তুযুক্ত কোনো দৃশ্যের জন্য ডিটারমিনিজম নিশ্চিত করে না।
• অ্যাকচুয়েশন। একটি Feetech STS3215 বাস সার্ভো 7.4 V এ চললে লোডের নিচে ঝুলে যায়, এতে ব্যাকল্যাশ থাকে এবং গরম হওয়ার সাথে সাথে এর আচরণ পরিবর্তিত হয়। SO-101 এর জন্য MJCF মডেলটি আপনার আর্মের উপর মোটর প্যারামিটারগুলি চিহ্নিত করার পরিবর্তে একটি সম্পর্কহীন প্রকল্প থেকে ধার করে।
• রেন্ডারিং। ক্যামেরার নয়েজ, রোলিং শাটার, অটো-এক্সপোজার এবং আপনার টেবিলের সঠিক রঙ রেন্ডারে থাকে না। এটি সেই ব্যবধানের অর্ধেক যা Cosmos-Transfer1 বন্ধ করার জন্য তৈরি করা হয়েছিল: এর রোবোটিক্স অগমেন্টেশন ওয়ার্কফ্লো একটি রোবোটিক্স সিন্থেটিক উদাহরণকে সেগমেন্টেশন, ডেপথ বা এজ কন্ডিশনিং থেকে একাধিক বাস্তবসম্মত উদাহরণে ম্যাপ করে।
• সময়। একটি সিমুলেটর একটি নির্দিষ্ট হারে চলে। একটি বাস্তব নিয়ন্ত্রণ লুপ তা করে না, এবং মডেলটি নিজেই প্রতি অ্যাকশন স্টেপে 20 থেকে 485 ms খরচ করে, আপনি কোনটি বেছে নিয়েছেন তার উপর নির্ভর করে। দেখুন ইনফারেন্স ল্যাটেন্সি।
• বস্তুর পরিসংখ্যান। সিমুলেটেড দৃশ্যগুলি এমন একটি বিতরণ থেকে নমুনা করা হয় যা কেউ লিখেছিল। আপনার রান্নাঘরের টেবিলটি তা নয়।

একটি সিমুলেটেড SO-100 আসলে আপনার আর্ম সম্পর্কে কী জানে

এটি সেই অংশ যা সিদ্ধান্ত নেয় যে উপরের কোনটি আপনার সপ্তাহান্তের জন্য মূল্যবান কিনা, এবং প্রথম বিস্ময় হলো SO-100 এবং SO-101 সমানভাবে পরিবেশিত হয় না। TheRobotStudio's SO-ARM100 রিপোজিটরি তার সিমুলেশন অ্যাসেটগুলি Simulation/ এর অধীনে রাখে। SO100 ফোল্ডারে একটি একক URDF ফাইল ছাড়া আর কিছুই নেই। SO101 ফোল্ডারে URDF এবং MuJoCo উভয় ফাইল রয়েছে: scene.xml, so101_new_calib.xml, so101_old_calib.xml, সংশ্লিষ্ট URDFs এবং একটি joints_properties.xml। আপনি যদি একটি কাইনেমেটিক চেইনের পরিবর্তে একটি ফিজিক্স মডেল চান, তাহলে আপনি SO-101 ফাইলগুলি চাইবেন।

এগুলি Onshape-এ ডিজাইন করা একটি CAD মডেল থেকে onshape-to-robot প্লাগইন দিয়ে তৈরি করা হয়েছিল, যার অর্থ কাইনেম্যাটিক্স এবং ভিজ্যুয়াল মেশগুলি CAD-এর মতোই ভালো। ডাইনামিক্স একটি ভিন্ন গল্প, এবং রিপোজিটরির নিজস্ব README তিনটি বিষয়ে স্পষ্ট। সিমুলেশন এবং প্ল্যানিংয়ের সময় সমস্যাযুক্ত সংঘর্ষের আচরণের কারণে বেস কলিশন মেশগুলি সরিয়ে ফেলা হয়েছিল। STS3215 মোটর বৈশিষ্ট্যগুলি SO-101-এ পরিমাপ করার পরিবর্তে Open Duck Mini প্রকল্প থেকে অভিযোজিত। এবং LeRobot গ্রিপার কনভেনশন, যেখানে 0 সম্পূর্ণরূপে বন্ধ এবং 100 সম্পূর্ণরূপে খোলা, তা URDF এবং MuJoCo ফাইলগুলিতে এখনও স্পষ্টভাবে প্রতিফলিত হয়নি। এর প্রতিটিই এমন একটি জায়গা যেখানে শুধুমাত্র সেই মডেলে প্রশিক্ষিত একটি নীতি আপনার ডেস্কে ভিন্নভাবে আচরণ করবে।

ডোমেইন র‍্যান্ডমাইজেশন, এবং এটি কী ঠিক করে না

এই ব্যবধানের আদর্শ উত্তর হল বাস্তবতার সাথে মেলানোর চেষ্টা বন্ধ করা এবং এর পরিবর্তে এমন একটি বিতরণ জুড়ে প্রশিক্ষণ দেওয়া যা যথেষ্ট প্রশস্ত যাতে বাস্তবতা এর মধ্যে পড়ে। টবিন এবং সহকর্মীরা 2017 সালে এর শক্তিশালী সংস্করণটি দেখিয়েছিলেন: একটি অবজেক্ট ডিটেক্টর যা শুধুমাত্র অ-বাস্তবসম্মত র‍্যান্ডম টেক্সচার সহ সিমুলেটেড চিত্রগুলিতে প্রশিক্ষিত হয়েছিল, বাস্তব চিত্রগুলিতে কোনও পূর্ব-প্রশিক্ষণ ছাড়াই, বাস্তব বস্তুগুলিকে 1.5 সেমি নির্ভুলতার সাথে স্থানীয়করণ করেছিল এবং বিভ্রান্তি ও আংশিক বাধাগুলির প্রতি শক্তিশালী ছিল।

আইজ্যাক ল্যাব ইভেন্ট টার্মগুলির মতোই ধারণা প্রকাশ করে যা আপনি একটি পরিবেশ কনফিগে সংযুক্ত করেন। এগুলি হল নব, তাদের আসল ফাংশন নাম অনুসারে isaaclab.envs.mdp, যাতে আপনি অনুমান না করে সেগুলি পড়তে পারেন।

এখানেই সীমাবদ্ধতা, এবং এটি এমন একটি যা নিয়ে মানুষ হোঁচট খায়। র‍্যান্ডমাইজেশন আপনার তৈরি করা মডেলের মধ্যে নীতিটি যে বিতরণ দেখেছে তা প্রশস্ত করে। এটি এমন কোনো ভৌত প্রভাব প্রবর্তন করতে পারে না যা সিমুলেটর উপস্থাপন করে না। যদি PhysX আপনার STS3215 সার্ভোগুলির ব্যাকল্যাশ এবং থার্মাল ড্রুপ মডেল না করে, তবে তাদের দৃঢ়তা র‍্যান্ডমাইজ করা নীতিকে ব্যাকল্যাশ সম্পর্কে কিছুই শেখায় না। এই কারণেই একটি বাহু যা আঁতকে ওঠে তারপর ঝুলে পড়ে একটি সিম-প্রশিক্ষিত নীতির অধীনে র‍্যান্ডমাইজেশন-বাজেট সমস্যা নয়। এটি একটি মডেলিং সমস্যা।

ম্যানুয়াল পথ: আইজ্যাক ল্যাবে ডেটা তৈরি করা

আইজ্যাক জিম একটি লিগ্যাসি সফটওয়্যার। এনভিআইডিআইএ-এর নিজস্ব পৃষ্ঠার শিরোনাম হলো "আইজ্যাক জিম - এখন বাতিল" এবং এতে বলা হয়েছে যে ডেভেলপাররা এটি ডাউনলোড করে ব্যবহার চালিয়ে যেতে পারেন তবে এটি আর সমর্থিত নয়, এর পরিবর্তে আইজ্যাক ল্যাব-এর দিকে নির্দেশ করা হয়েছে। আপনি যদি ইতিহাস জানতে চান, আমরা উভয়ই কভার করেছি: এবং । ২০২৬ সালে নতুন কাজের জন্য, আইজ্যাক ল্যাব থেকে শুরু করুন।

1. 1
   আইজ্যাক সিম এবং আইজ্যাক ল্যাব ইনস্টল করুন

   পিপ ইনস্টলেশন পৃষ্ঠাটিতে বলা হয়েছে যে নির্দেশাবলী আইজ্যাক সিম 5.X এর জন্য, যার জন্য পাইথন 3.11 প্রয়োজন। সোর্স ক্লোন আপনাকে পরবর্তী ধাপগুলির জন্য প্রয়োজনীয় স্ক্রিপ্টগুলি দেবে।

   bash

   pip install "isaacsim[all,extscache]==5.1.0" \
       --extra-index-url https://pypi.nvidia.com
   
   git clone https://github.com/isaac-sim/IsaacLab.git --branch main
   cd IsaacLab
   sudo apt install cmake build-essential
   ./isaaclab.sh --install
   
   # smoke test
   ./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

2. 2
   প্রায় দশটি মানব প্রদর্শন রেকর্ড করুন

   আইজ্যাক ল্যাব ডকুমেন্টেশন সুনির্দিষ্ট: নিম্নলিখিত ধাপগুলি সফল হওয়ার জন্য প্রায় ১০টি সফল প্রদর্শনের প্রয়োজন। এর টিপসগুলিও সমানভাবে সুনির্দিষ্ট। প্রদর্শনগুলি সংক্ষিপ্ত রাখুন, নির্বিচার অক্ষ বরাবর না গিয়ে একটি সরাসরি পথ নিন এবং বিরতি দেবেন না, কারণ একটি নীতির কাছে কেন এবং কখন বিরতি দিতে হবে তা স্পষ্ট নয়।

   bash

   ./isaaclab.sh -p scripts/tools/record_demos.py \
       --task Isaac-Stack-Cube-Franka-IK-Rel-v0 \
       --device cpu \
       --teleop_device spacemouse \
       --dataset_file ./datasets/dataset.hdf5 \
       --num_demos 10

3. 3
   উপ-কাজের সীমানা চিহ্নিত করুন

   মিমিক ইনপুট প্রদর্শনগুলিকে উপ-কাজে বিভক্ত করে যাতে এটি সেগমেন্টগুলির সময় এবং লক্ষ্য পুনরায় সেট করতে পারে। `--auto` ফ্ল্যাগ স্বয়ংক্রিয় টীকা সংজ্ঞায়িত করে এমন কাজগুলির জন্য মানব হস্তক্ষেপ ছাড়াই এটি করে; এটি ছাড়া আপনি B দিয়ে বিরতি দেন, N দিয়ে চালিয়ে যান এবং S দিয়ে একটি সীমানা চিহ্নিত করেন। লক্ষ্য করুন যে টাস্ক আইডি একটি -Mimic প্রত্যয় পায়।

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/annotate_demos.py \
       --device cpu \
       --task Isaac-Stack-Cube-Franka-IK-Rel-Mimic-v0 \
       --auto \
       --input_file ./datasets/dataset.hdf5 \
       --output_file ./datasets/annotated_dataset.hdf5

4. 4
   গুণিত ডেটাসেট তৈরি করুন

   এটি সেই ধাপ যা ১০ কে ১০০০ এ পরিণত করে। মিমিক প্রতিটি প্রার্থীর উপর একটি বুলিয়ান সাফল্যের মানদণ্ড প্রয়োগ করে এবং শুধুমাত্র সেইগুলি রাখে যা কাজটি সম্পন্ন করেছে, তাই আউটপুট সংখ্যা ট্রায়াল সংখ্যার চেয়ে কম। ডকুমেন্টেশন অনুসারে, সহজ ক্ষেত্রে প্রার্থীর সাফল্যের হার ৭০ শতাংশ পর্যন্ত এবং কঠিন কাজ ও জটিল রোবটের জন্য ১ শতাংশের নিচে: ফ্রাঙ্কা কিউব স্ট্যাকের জন্য প্রায় ৫০ শতাংশ, এবং GR1T2 পিক অ্যান্ড প্লেসের জন্য ৬৫ থেকে ৮০ শতাংশ, যেখানে ১০০০ ডেমো ১৮ থেকে ৪০ মিনিট সময় নেয় (RTX ADA 6000 এ ৮০ শতাংশে ১৯ মিনিট)।

   bash

   ./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
       --device cpu \
       --num_envs 10 \
       --generation_num_trials 1000 \
       --headless \
       --input_file ./datasets/annotated_dataset.hdf5 \
       --output_file ./datasets/generated_dataset.hdf5

5. 5
   HDF5 কে একটি LeRobot ডেটাসেটে রূপান্তর করুন

   উপরের সবকিছু robomimic-স্বাদের HDF5 তৈরি করে, এবং আইজ্যাক ল্যাব কোরে নিজস্ব কোনো LeRobot কনভার্টার নেই: এর ডকুমেন্টেশন কেবল বলে যে আপনি তৈরি করা ডেটাসেটকে LeRobot ফরম্যাটে রূপান্তর করতে পারেন। দুটি প্রকল্প প্রকৃত কনভার্টার সরবরাহ করে। IsaacLab-Arena একটি GR00T-লক্ষ্যযুক্ত কনভার্টার সরবরাহ করে যা সম্পূর্ণরূপে একটি YAML কনফিগার দ্বারা চালিত, এবং LeIsaac SO-101 রুটের জন্য নিজস্ব একটি জোড়া সরবরাহ করে (নিচে দেখুন)।

   bash

   # IsaacLab-Arena, GR00T LeRobot format
   python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
       --yaml_file isaaclab_arena_gr00t/lerobot/config/gr1_manip_config.yaml

কেন জেনারেশন প্রচেষ্টা ব্যর্থ হয় এবং কী পরিবর্তন করতে হবে

একটি প্রার্থীর সাফল্যের হার যা ৭০ শতাংশ এবং ১ শতাংশের নিচে ওঠানামা করে তা কোনো রহস্য নয়, এবং আইজ্যাক ল্যাব আপনাকে অনুমান করতে না দিয়ে সাধারণ ত্রুটিগুলি নথিভুক্ত করে। এগুলোর প্রতিটিই রেকর্ডিংয়ের সময় আপনার নিয়ন্ত্রণে থাকে, তাই প্রথম হতাশাজনক জেনারেশন রানের পরে নয় বরং দশটি সিড ডেমোনস্ট্রেশন রেকর্ড করার আগে এই তালিকাটি পড়া বুদ্ধিমানের কাজ।

• ডেমোনস্ট্রেশনগুলি খুব দীর্ঘ। একটি দীর্ঘ সময়সীমা নীতির জন্য শেখা কঠিন। প্রথম বস্তুর কাছাকাছি শুরু করুন এবং গতি কমান।
• ডেমোনস্ট্রেশনগুলি মসৃণ নয়। অনিয়মিত গতি নীতির জন্য বোঝা কঠিন, এবং উন্নত টেলিঅপারেশন হার্ডওয়্যার আরও ভালো ডেটা দেয়: ডকুমেন্টেশন স্পষ্টভাবে বলে যে একটি SpaceMouse একটি কীবোর্ডের চেয়ে ভালো।
• বিরতি। বিরতি শেখা কঠিন, কারণ একটি নীতির কাছে কেন এবং কখন বিরতি দিতে হবে তা স্পষ্ট নয়। গতিকে সাবলীল রাখুন।
• খুব বেশি সাবটাস্ক। বেশি সাবটাস্ক মানে ট্র্যাজেক্টরি সেগমেন্টগুলির মধ্যে বেশি সেলাই, যা কম মসৃণ গতি এবং কম জেনারেশন সাফল্যের হার দেয়। এমন সীমানা চিহ্নিত করুন যেখানে বাহু কোনো কিছুর সাথে সংঘর্ষে জড়ানোর সম্ভাবনা কম।
• কোনো অ্যাকশন নয়েজ নেই। অ্যাকশন নয়েজ ফলস্বরূপ নীতিগুলিকে আরও শক্তিশালী করে তোলে।
• রেকর্ডিং খুব বেশি ক্রপ করা হয়েছে। যদি রেকর্ডিং সফলতার শর্ত ট্রিগার হওয়ার ঠিক ফ্রেমে বন্ধ হয়ে যায়, তাহলে রিপ্লে করার সময় এটি পুনরায় ট্রিগার নাও হতে পারে। শেষে একটি বাফার রাখুন।
• অ-নির্ধারণযোগ্য রিপ্লে। আইজ্যাক ল্যাবে পদার্থবিদ্যা env.reset জুড়ে নির্ধারণযোগ্যভাবে পুনরুত্পাদনযোগ্য নয়, তাই কিছু মানব ডেমো রিপ্লেতে ব্যর্থ হয়। আপনার প্রয়োজনের চেয়ে বেশি সংগ্রহ করুন এবং যেগুলি অ্যানোটেশন থেকে টিকে থাকে সেগুলি রাখুন। একটি Mimic-জেনারেটেড HDF5 ফাইলে যা কিছু আসে তা একটি সফল ডেমো এবং রিপ্লে পরে ব্যর্থ হলেও প্রশিক্ষণের জন্য ব্যবহার করা যেতে পারে।

সেলাই করা সাবটাস্ক সেগমেন্টগুলির মধ্যে ইন্টারপোলেশন ধাপের নিজস্ব টিউনিং নব রয়েছে, এবং আপনার প্রয়োজনীয় ইন্টারপোলেশন ধাপের সংখ্যা রোবট কত দ্রুত চলে এবং অবজেক্ট রিসেট ডিস্ট্রিবিউশন কতটা প্রশস্ত তার উপর নির্ভর করে। একটি বড় রিসেট ডিস্ট্রিবিউশন সহ একটি জটিল কাজ সেগমেন্টগুলির মধ্যে বড় ফাঁক তৈরি করে, যার জন্য অবিচ্ছিন্ন গতি হিসাবে বের হয়ে আসার জন্য আরও বেশি ইন্টারপোলেশন ধাপের প্রয়োজন হয়। যদি আপনার জেনারেটেড ভিডিওগুলিতে বাহু পর্যায়গুলির মধ্যে ঝাঁকুনি দিতে দেখা যায়, তবে সিড ডেমোকে দোষারোপ করার আগে এটিই সেই প্যারামিটার যা দেখতে হবে।

একটি SO-101-এ একই পাইপলাইন, আসল লিডার আর্ম সহ

এই পৃষ্ঠাটি যারা পড়ছেন তাদের জন্য এটিই সবচেয়ে আকর্ষণীয়, কারণ এটিই একমাত্র উন্মুক্ত পাইপলাইন যা একটি Isaac Lab-এর মধ্যে স্থাপন করে এবং আপনার কাছে থাকা ফিজিক্যাল লিডার আর্ম দিয়ে এটিকে চালনা করতে দেয়। লেখার সময় LeIsaac, সংস্করণ 0.4.0, হল LeRobot-এর EnvHub-এর সাথে সমন্বিত অফিসিয়াল ইমিটেশন-লার্নিং সিমুলেশন প্লেগ্রাউন্ড। এর সামঞ্জস্যপূর্ণতা সারণীতে তিনটি কার্যকরী সংমিশ্রণ তালিকাভুক্ত করা হয়েছে; নতুনতমটি Isaac Sim 5.1-কে Isaac Lab v2.3.0, CUDA 12.8, PyTorch 2.7.0 এবং Python 3.11-এর সাথে যুক্ত করে, এবং ডকুমেন্টেশন 50-সিরিজ কার্ডের জন্য Isaac Sim 5.0 বা নতুন সংস্করণ সুপারিশ করে।

git clone https://github.com/LightwheelAI/leisaac.git --recursive
conda create -n leisaac python=3.11 && conda activate leisaac
conda install -c "nvidia/label/cuda-12.8.1" cuda-toolkit
pip install -U torch==2.7.0 torchvision==0.22.0 \
  --index-url https://download.pytorch.org/whl/cu128
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com
sudo apt install cmake build-essential
cd leisaac/dependencies/IsaacLab && ./isaaclab.sh --install && cd ../..
pip install -e source/leisaac
pip install -e "source/leisaac[lerobot]"
pip install numpy==1.26.0

এটি স্থাপন করার পর, /dev/ttyACM0-এর লিডার আর্ম সিমুলেটেড ফলোয়ারকে চালনা করে এবং সরাসরি HDF5-এ রেকর্ড করে। লুপটি বাস্তব রেকর্ডিং থেকে আপনার পরিচিত একই, শুধুমাত্র ফলোয়ারটি PhysX-এ একটি রিজিড বডি।

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 \
    --device=cuda \
    --enable_cameras \
    --record \
    --dataset_file=./datasets/dataset.hdf5

এই আইডিগুলির বেশিরভাগই একটি -Direct-v0 ভেরিয়েন্ট হিসাবেও বিদ্যমান, এবং python scripts/environments/list_envs.py বর্তমান তালিকাটি প্রিন্ট করে। আপনি HDF5 ডিট্যুর সম্পূর্ণরূপে এড়িয়ে যেতে পারেন এবং তিনটি ফ্ল্যাগ যোগ করে টেলিঅপারেশনের সময় LeRobot ফরম্যাটে লিখতে পারেন। দুটি সতর্কতা ডকুমেন্টেশন থেকেই আসে: রেকর্ডার স্বয়ংক্রিয়ভাবে প্রতিটি এপিসোডের প্রথম 5টি ফ্রেম এড়িয়ে যায় প্রাথমিক অবস্থার অস্থিরতা এড়াতে, এবং এটি টেলিঅপারেশনে সামান্য বিলম্ব ঘটাতে পারে, যা ঠিক সেই ধরনের জিনিস যা আপনার প্রদর্শনের চরিত্রকে নীরবে পরিবর্তন করে। এটি শুধুমাত্র সেই এপিসোডগুলি ফ্লাশ করে যা টাস্ক সফল হিসাবে চিহ্নিত করেছে।

python scripts/environments/teleoperation/teleop_se3_agent.py \
    --task=LeIsaac-SO101-PickOrange-v0 \
    --teleop_device=so101leader \
    --port=/dev/ttyACM0 \
    --num_envs=1 --device=cuda --enable_cameras --record \
    --use_lerobot_recorder \
    --lerobot_dataset_repo_id=<your-user>/<dataset-name> \
    --lerobot_dataset_fps=30

গুণন ধাপটি তখন সেই রেকর্ডিংগুলির উপর চলে। LeIsaac, Isaac Lab Mimic-কে চারটি কমান্ডে মোড়ানো হয়েছে, কারণ Mimic এন্ড-ইফেক্টর এবং অবজেক্ট পোজ থেকে ট্র্যাজেক্টরিগুলিকে সাধারণীকরণ করে: জয়েন্ট-স্পেস অ্যাকশনগুলিকে IK-ভিত্তিক অ্যাকশনে রূপান্তর করুন, টীকা করুন, তৈরি করুন, তারপর আবার জয়েন্ট স্পেসে রূপান্তর করুন।

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --to_ik --headless

python scripts/mimic/annotate_demos.py --device cuda \
  --task LeIsaac-SO101-LiftCube-Mimic-v0 \
  --input_file ./datasets/processed_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/generate_dataset.py --device cuda \
  --num_envs 1 --generation_num_trials 10 \
  --input_file ./datasets/annotated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --enable_cameras

python scripts/mimic/eef_action_process.py \
  --input_file ./datasets/generated_mimic-lift-cube-example.hdf5 \
  --output_file ./datasets/final_generated_mimic-lift-cube-example.hdf5 \
  --to_joint --headless

তারপর LeRobot-এ রূপান্তর করুন। এটি সেই ধাপ যেখানে প্ল্যাটফর্মের ফরম্যাট নিয়ম কার্যকর হয়, এবং LeIsaac ঠিক সেই দুটি কনভার্টার সরবরাহ করে যা আপনার প্রয়োজন: isaaclab2lerobot.py, যা GR00T লোডাররা ব্যবহার করে, LeRobot v2 লেখে, এবং isaaclab2lerobotv3.py এর জন্য v3 লেখে Pi0.5, SmolVLA এবং ACT। দুটি স্ক্রিপ্ট একই আর্গুমেন্ট গ্রহণ করে তবে বিভিন্ন lerobot সংস্করণ ব্যবহার করে, এবং শুধুমাত্র সফল পর্বগুলি রূপান্তরিত হয়।

pip install lerobot==0.3.3
pip install numpy==1.26.0

python scripts/convert/isaaclab2lerobot.py \
    --task_name=LeIsaac-SO101-PickOrange-v0 \
    --repo_id=<your-user>/so101_pick_orange_sim \
    --hdf5_root=./datasets \
    --hdf5_files=dataset.hdf5

একটি প্রশিক্ষিত নীতির দুটি পথ

ভিডিও ওয়ার্ল্ড মডেল: নতুনতম স্তর, এবং সবচেয়ে কম পরিমাপ করা হয়েছে

DreamGen-এর পেছনের ধারণা হল যে একটি ভিডিও জেনারেটিভ মডেল, লক্ষ্য রোবট এমবডিমেন্টের সাথে অভিযোজিত, এমন দৃশ্যগুলিতে সম্ভাব্য এপিসোড কল্পনা করতে পারে যা আপনি কখনও পরিদর্শন করেননি। পাইপলাইনটির চারটি পর্যায় রয়েছে: ভিডিও ওয়ার্ল্ড মডেলকে ফাইন-টিউন করা, ফটোরিয়ালিস্টিক সিন্থেটিক রোবট ভিডিও তৈরি করা, একটি ল্যাটেন্ট অ্যাকশন মডেল বা একটি ইনভার্স ডাইনামিক্স মডেল দিয়ে ছদ্ম-অ্যাকশন সিকোয়েন্স পুনরুদ্ধার করা, তারপর ফলাফলের উপর রোবট নীতিকে প্রশিক্ষণ দেওয়া। NVIDIA-এর GR00T-dreams রিপোজিটরি ঠিক এটিই বাস্তবায়ন করে।

শিরোনামের ফলাফলটি বাস্তব এবং গুরুত্ব সহকারে নেওয়ার মতো: একটি পরিবেশে শুধুমাত্র একটি পিক-অ্যান্ড-প্লেস টাস্ক থেকে প্রাপ্ত টেলিঅপারেশন ডেটা একটি হিউম্যানয়েডে 22টি নতুন আচরণ তৈরি করেছে, যা দেখা এবং অদেখা উভয় পরিবেশেই কার্যকর। সতর্কতাটিও সমানভাবে বাস্তব এবং তৃতীয় পর্যায়ে রয়েছে।

কো-ট্রেনিং হল সেই রেসিপি যা আসলে লাভ দেখায়

যদি আপনি সাহিত্য থেকে একটি কার্যকরী শিক্ষা গ্রহণ করেন, তবে এটি গ্রহণ করুন। সিম-ও-রিয়েল কো-ট্রেনিং গবেষণা (মাদুকুরি এবং সহকর্মীরা, ২০২৫) সিমুলেশন ডেটা ব্যবহার করে দৃষ্টি-ভিত্তিক রোবোটিক ম্যানিপুলেশন কাজগুলি সমাধান করার জন্য একটি সহজ পদ্ধতি খুঁজে বের করতে চেয়েছিল, দুটি ডোমেন জুড়ে – একটি রোবট আর্ম এবং একটি হিউম্যানয়েড – এবং এর উপসংহার হলো যে আপনাকে একটি মিশ্রণে প্রশিক্ষণ দিতে হবে। সিমুলেশন ডেটা বাস্তব-বিশ্বের কাজের কর্মক্ষমতা গড়ে ৩৮ শতাংশ বৃদ্ধি করেছে, এবং গবেষণাপত্রটি স্পষ্টভাবে উল্লেখ করেছে যে সিমুলেশন এবং বাস্তব-বিশ্বের ডেটার মধ্যে উল্লেখযোগ্য পার্থক্য থাকা সত্ত্বেও এটি কার্যকর ছিল।

শেষের এই বাক্যটি ৩৮ শতাংশের চেয়েও বেশি গুরুত্বপূর্ণ। এর অর্থ হলো, সিমুলেশনকে কার্যকর হওয়ার জন্য একটি নিখুঁত ডিজিটাল টুইন হতে হবে না, যদি বাস্তব ডেটা মিশ্রণে এটিকে নোঙর করার জন্য থাকে। শুধুমাত্র সিমুলেশন-ভিত্তিক স্থানান্তর একটি ব্যয়বহুল পথ: একই গবেষণাপত্র উল্লেখ করে যে, শুধুমাত্র সিমুলেশনে একটি নীতি প্রশিক্ষণ দেওয়া এবং এটিকে বাস্তব জগতে স্থানান্তর করার জন্য প্রায়শই বাস্তবতার ব্যবধান পূরণ করতে যথেষ্ট মানবিক প্রচেষ্টার প্রয়োজন হয়। কো-ট্রেনিং নীতির উপর একা ব্যবধান পূরণের দায়িত্ব না দিয়ে সেই প্রচেষ্টার বেশিরভাগই এড়িয়ে যায়।

ব্যবহারিকভাবে, এই প্ল্যাটফর্মে, কো-ট্রেনিং এর অর্থ একটিই: উভয় পর্বের সেট একই LeRobot ডেটাসেট সুসংগত ক্যামেরা কী, সুসংগত জয়েন্ট অর্ডার এবং সুসংগত ইউনিট সহ, তারপর একটি স্বাভাবিক ফাইন-টিউন চালান। প্রশিক্ষণের ফর্মে কোনো মিশ্রণ-ওজন নব (mixture-weight knob) নেই। যদি আপনি 3:1 সিম-টু-রিয়েল অনুপাত চান, তাহলে ডেটাসেটে প্রতিটি কতগুলি পর্ব রেখেছেন তার মাধ্যমে তা প্রকাশ করবেন।

সিমুলেশন থেকে সবচেয়ে সস্তা জয় প্রশিক্ষণ ডেটা নয়

এটি মূল্যায়ন। দুটি তুলনা করার জন্য প্রতিটি কাজের জন্য কয়েক ডজন বাস্তব ট্রায়াল চালানো হল একদিনের আর্ম টাইম, এবং আর্ম ট্রায়ালগুলির মধ্যে সরে যায়। SIMPLER (Li এবং সহকর্মীরা, 2024) সিমুলেটেড পরিবেশ তৈরি করেছে যার উদ্দেশ্য হল বাস্তব নীতিগুলিকে প্রশিক্ষণ না দিয়ে স্কোর করা, এবং তারপর পরিমাপ করা হয়েছে যে সিম র‍্যাঙ্কিং বাস্তবটিকে কতটা ভালোভাবে ভবিষ্যদ্বাণী করে। একটি একক SIMPLER পরিবেশ একটি ভোক্তা RTX 4090-এ 640 বাই 512 রেজোলিউশনে প্রতি সেকেন্ডে 3,500 সিমুলেশন স্টেপ রেন্ডার করে, যা 500 Hz সিমুলেশন ফ্রিকোয়েন্সির অধীনে বাস্তব মূল্যায়নের চেয়ে 7 গুণ দ্রুত।

এগুলি ছয়টি সাধারণ ওপেন-সোর্স চেকপয়েন্টের জন্য তিনটি গুগল রোবট টাস্ক গ্রুপের গড়: বিভিন্ন প্রশিক্ষণ পর্যায়ে তিনটি RT-1 চেকপয়েন্ট, RT-1-X, RT-2-X এবং Octo-Base। বাস্তব দিকটি একটি অভিন্ন ট্রায়াল গণনা নয়, যা উদ্ধৃত করার আগে জানা দরকার: কোক ক্যান তোলার জন্য 75টি ট্রায়াল, কাছাকাছি সরানোর জন্য 60টি, ড্রয়ার খোলা এবং বন্ধ করার কাজের জন্য 54টি এবং দীর্ঘ ড্রয়ার-ও-আপেল কাজের জন্য 27টি। ভ্যালিডেশন MSE-এর সাথে তুলনা করাটা দরকারী অংশ। ভ্যালিডেশন লস দ্বারা মডেল নির্বাচন এই চেকপয়েন্টগুলিকে খারাপভাবে র‍্যাঙ্ক করে, এবং ভিজ্যুয়াল ম্যাচিংয়ের অধীনে 0.924 এর পিয়ারসন আর মানে হল যে যদি একটি চেকপয়েন্ট SIMPLER-এ ভালো স্কোর করে তবে এটি সম্ভবত বেঞ্চে আরও ভালো স্কোর করবে। এটি একটি পুনরাবৃত্তিযোগ্য রাতারাতি স্কোরবোর্ড, এবং এর জন্য আপনাকে সিম-টু-রিয়েল প্রশিক্ষণ স্থানান্তর সম্পর্কে কিছু বিশ্বাস করতে হবে না।

এই বেঞ্চমার্ক সংখ্যাগুলি একটি সম্পর্কে কী বলে এবং কী বলে না সে সম্পর্কে আপনি যদি আরও বিস্তৃত প্রেক্ষাপট জানতে চান, ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন মডেল, আমরা সেটি আলাদাভাবে লিখেছি VLA ওভারভিউ.

এই প্ল্যাটফর্মটি আপনাকে কোথায় সাহায্য করে না

সীমানা সম্পর্কে স্পষ্ট থাকা সবার সময় বাঁচায়। AY-Robots হল একটি রেকর্ডিং, প্রশিক্ষণ এবং পরিবেশন প্ল্যাটফর্ম। এতে কোনো সিমুলেটর নেই।

• কোনো Isaac Lab নেই, কোনো MimicGen নেই, কোনো ওয়ার্ল্ড মডেল নেই, কোনো সিন অথরিং নেই। আপনি যদি জেনারেটেড ডেটা চান, তাহলে আপনাকে তা অন্য কোথাও জেনারেট করে ফলাফল আনতে হবে।
• ট্রেনাররা শুধুমাত্র LeRobot ডেটাসেট ব্যবহার করে। একটি সিমুলেটর এক্সপোর্টকে ইনপুট হিসেবে ব্যবহার করার আগে রূপান্তর করতে হবে এবং এটি সঠিক সংস্করণ হতে হবে: GR00T N1.5 এবং N1.7 এর জন্য v2.0 বা v2.1, Pi0.5, SmolVLA এবং ACT এর জন্য v3.0।
• GR00T-এর ফাইন-টিউনিং এন্ট্রি পয়েন্ট হল একটি tyro CLI যা কোনো সিড প্রকাশ করে না, তাই GR00T রানগুলি বিট-ফর-বিট পুনরুত্পাদনযোগ্য নয়। আপনি যদি একটি সতর্ক সিম-ভার্সাস-রিয়েল অ্যাবলেশন চালাচ্ছেন, তবে এটি একটি বাস্তব সীমাবদ্ধতা। lerobot-এর নিজস্ব ডিফল্ট সিড হল 1000, এবং ACT, SmolVLA এবং Pi0.5 ফর্মগুলি একটি সিড ফিল্ড প্রকাশ করে।
• গ্রেডিয়েন্ট অ্যাকুমুলেশন শুধুমাত্র দুটি GR00T ট্রেনারের জন্য প্রয়োগ করা হয়। Pi0.5 এবং SmolVLA-এর জন্য ফিল্ডটি ফর্মে বিদ্যমান কিন্তু lerobot 0.5.1-এর এমন কোনো ফ্ল্যাগ নেই, তাই এটি কিছুই করে না।
• দ্রুত কাজের জন্য ইনফারেন্সকে সার্ভোগুলির পাশে থাকতে হবে। মডেলের উপর নির্ভর করে প্রতি অ্যাকশন স্টেপে কন্ট্রোল লুপ 20 থেকে 485 ms হয়, এবং পাবলিক-ইন্টারনেট রাউন্ড ট্রিপ যোগ করলে একটি কার্যকরী নীতি দ্বিধাগ্রস্ত হয়ে পড়ে। রিমোট ইনফারেন্স ধীর পিক-অ্যান্ড-প্লেসের জন্য কার্যকর, দ্রুত প্রতিক্রিয়াশীল গতির জন্য নয়।

একটি বাজেট যা আপনি রক্ষা করতে পারেন

দুটি পথকে পাশাপাশি রাখুন প্রতিটি আসলে যে সংখ্যা প্রকাশ করে তার সাথে, এবং একটি কম খরচের আর্মের উপর একটি একক-টাস্ক প্রকল্পের জন্য সিদ্ধান্তটি সাধারণত নিজেই হয়ে যায়।

SO-100-এ প্রথম নীতির জন্য, রেকর্ড করুন। এবং আপনাকে এক কাপ কফির দামে একটি পরিবেশিত চেকপয়েন্টে নিয়ে যাবে, এবং আপনার কাছে ভবিষ্যতের যেকোনো সহ-প্রশিক্ষণ মিশ্রণের বাস্তব অর্ধেক থাকবে। যখন আপনার একটি কার্যকরী বেসলাইন এবং একটি নির্দিষ্ট সাধারণীকরণ ব্যর্থতা থাকে যা আপনি নাম দিতে পারেন, যেমন একটি নীতি যা ।

একটি রেসিপি যা প্রমাণকে সম্মান করে

1. 1
   প্রথমে আসল বেসলাইন রেকর্ড করুন

   SmolVLA-এর জন্য 30টি এপিসোড, ACT, GR00T N1.7 এবং Pi0.5-এর জন্য 50টি। একবার প্রশিক্ষণ দিন। সেই পলিসি যা কিছুতে ব্যর্থ হয়, সেটাই আপনার সিন্থেটিক ডেটার স্পেসিফিকেশন।

2. 2
   সাধারণীকরণের ব্যর্থতার নাম দিন

   বস্তুর ভঙ্গি? আলো? টেবিলের উচ্চতা? বিভ্রান্তিকর বস্তু? নির্দেশের ভিন্ন শব্দচয়ন? সিন্থেটিক ডেটা একবারে এর মধ্যে ঠিক একটিতে ভালো কাজ করে, এবং কোনটি তা বলতে না পারলে এটি অকেজো।

3. 3
   সবচেয়ে সস্তা পরিবারটি বেছে নিন যা এটি কভার করে

   ভঙ্গি এবং বিন্যাসের ভিন্নতা: ট্র্যাজেক্টরি গুণন। আলো এবং টেক্সচার: প্রথমে ইমেজ অগমেন্টেশন, দ্বিতীয়ত ওয়ার্ল্ড মডেল। সম্পূর্ণ নতুন দৃশ্য: ফিজিক্স রোলআউট, এবং মডেলিং খরচ মেনে নিন।

4. 4
   তৈরি করুন, তারপর আগ্রাসীভাবে বাতিল করুন

   জেনারেট করার প্রচেষ্টা ব্যর্থ হয়, এবং Isaac Lab-এর নিজস্ব প্রার্থীর সাফল্যের হার কাজের উপর নির্ভর করে 70 শতাংশ থেকে 1 শতাংশের নিচে নেমে আসে। শুধুমাত্র সফল, কাজ-সম্পূর্ণকারী ট্র্যাজেক্টরিগুলি রাখুন, এবং ব্যাচটিকে বিশ্বাস করার আগে ভিডিও হিসাবে একটি নমুনা চোখ বুলিয়ে নিন।

   bash

   python scripts/mimic/generate_dataset.py --device cuda \
       --num_envs 8 --generation_num_trials 500 \
       --input_file ./datasets/annotated.hdf5 \
       --output_file ./datasets/generated.hdf5 --enable_cameras

5. 5
   সহ-প্রশিক্ষণ দিন, প্রতিস্থাপন করবেন না

   জেনারেট করা এপিসোডগুলিকে আসল এপিসোডগুলির সাথে একই ক্যামেরা কী এবং জয়েন্ট অর্ডারিং সহ একটি একক LeRobot ডেটাসেটে মার্জ করুন। 38 শতাংশের সংখ্যাটি একটি সহ-প্রশিক্ষণের সংখ্যা।

6. 6
   আসল আর্মের উপর মূল্যায়ন করুন, এবং শুধুমাত্র সেখানেই

   সিমুলেটেড মূল্যায়ন একটি ভালো র‍্যাঙ্কিং সংকেত (SIMPLER-এর ভিজ্যুয়াল-ম্যাচিং সেটআপে পিয়ারসন r 0.924) তবে এটি গ্রহণযোগ্যতা পরীক্ষা নয়। এটি বিশ্বাস করার আগে বেঞ্চে চেকপয়েন্টটি চালান।

আপনি যদি আসল রেকর্ডিংগুলির জন্য একটি চেকলিস্ট থেকে শুরু করতে চান, ক্যামেরা স্থাপন, এর প্রভাব এবং ব্যর্থতার ধরণগুলি যা একটি ডেটাসেটকে অকেজো করে তোলে। ফরম্যাটটির বিস্তারিত তথ্য রয়েছে , এবং হাইপারপ্যারামিটার সম্পর্কিত তথ্য রয়েছে ।