ڈیٹاسیٹس کے ساتھ کام کرنا

LeRobot ڈیٹاسیٹ فارمیٹ

AY-Robots تمام ڈیمانسٹریشن ڈیٹا Hugging Face کے زیرِ انتظام LeRobot ڈیٹاسیٹ فارمیٹ میں محفوظ کرتا ہے۔ عملی فائدہ پورٹیبلٹی ہے: یہاں ریکارڈ کیا گیا ڈیٹاسیٹ براہ راست LeRobot پر مبنی ٹریننگ کوڈ میں لوڈ ہوتا ہے، اور کہیں اور اسی فارمیٹ میں ریکارڈ کیے گئے ڈیٹاسیٹس بغیر تبدیلی کے اپ لوڈ کر کے پلیٹ فارم پر استعمال کیے جا سکتے ہیں۔

ایک ڈیٹاسیٹ ایپیسوڈز کا مجموعہ ہے۔ ایک ایپیسوڈ کسی ٹاسک کی ایک مکمل کوشش ہے، ایک متعین ابتدائی حالت سے لے کر اس نقطے تک جہاں آپ نے ریکارڈنگ روکی۔ ڈسک پر، ایک ایپیسوڈ تین قسم کی فائلوں میں تقسیم ہوتا ہے: عددی سٹریمز کے ساتھ ایک Parquet فائل، فی کیمرا ایک ویڈیو فائل، اور سب کچھ جوڑنے والا میٹا ڈیٹا۔

info.json میں موجود فیچر اسکیما وہ چیز ہے جسے ٹریننگ کوڈ پڑھ کر آپ کا ڈیٹا سمجھتا ہے: کون سی آبزرویشن کیز موجود ہیں، ان کی شکلیں، اور ریکارڈنگ ریٹ۔ دو ڈیٹاسیٹس صرف اسی وقت مطابقت رکھتے ہیں جب ان کے اسکیما آپس میں ملیں، اور یہی وہ چیز ہے جو مرج ویلیڈیشن چیک کرتی ہے۔

جوائنٹ ویلیوز فیصد ہیں، ڈگریاں نہیں

AY-Robots ڈیٹاسیٹس میں تمام جوائنٹ ویلیوز LeRobot-نارملائزڈ ہیں: ہر ویلیو -100 سے 100 تک ہوتی ہے اور اس جوائنٹ کی کیلیبریٹڈ رینج کا فیصد ظاہر کرتی ہے، ڈگری میں زاویہ نہیں۔ 0 کی ریڈنگ کیلیبریٹڈ رینج کا مرکز ہے، -100 اور 100 اس کی حدیں ہیں۔

ڈیش بورڈ میں کلاؤڈ ڈیٹاسیٹس

Dashboard > Datasets آپ کے کلاؤڈ ڈیٹاسیٹس کو ایپیسوڈ کاؤنٹس، فائل سائزز، اور کلیکشن اسٹیٹس کے ساتھ فہرست کرتا ہے۔ جب کوئی ٹیلی آپریشن سیشن ڈیٹا ریکارڈ کرتا ہے تو ڈیٹاسیٹس خودکار طور پر بنتے ہیں، اور آپ واضح طور پر ایک بنا کر ڈیسک ٹاپ کلائنٹ سے ریکارڈنگز اپ لوڈ کر کے بھی اسے بھر سکتے ہیں۔

• بنانا: سیشنز سے نئے ڈیٹاسیٹس خودکار طور پر ظاہر ہوتے ہیں، یا ایک خالی بنا کر اس میں اپ لوڈ کریں۔
• نام تبدیل کرنا: کسی بھی وقت ڈسپلے نام تبدیل کریں؛ یہ تبدیلی خود ڈیٹا کو نہیں چھوتی۔
• مٹانا: ڈیٹاسیٹ اور اس کے تمام ایپیسوڈز اور فائلیں ہٹا دیتا ہے۔ مٹانا مستقل ہے، اس لیے اگر مستقبل میں ڈیٹا کی ضرورت پڑ سکتی ہے تو پہلے ایک آرکائیو ڈاؤن لوڈ کریں۔

ایپیسوڈ براؤزر

ایک ڈیٹاسیٹ کھولنے سے آپ ایپیسوڈ براؤزر پر پہنچتے ہیں۔ ہر ایپیسوڈ میں اس کے کیمرا سٹریمز کے لیے ایک ویڈیو پلیئر اور پورے ایپیسوڈ میں نارملائزڈ جوائنٹ ویلیوز پلاٹ کرنے والے سنکرونائزڈ جوائنٹ چارٹس ہوتے ہیں۔ ویڈیو کو اسکرب کرنے سے چارٹ کرسر بھی اس کے ساتھ حرکت کرتا ہے، جو مسائل تلاش کرنا تیز کر دیتا ہے: ایک جھٹکے دار انداز چارٹس میں اسپائیکس کی صورت میں نظر آتا ہے، ایک ناکام گرَسپ ویڈیو دیکھنے سے پہلے ہی گرپر چینل میں دکھائی دیتی ہے۔

ایپیسوڈ لیبلز: Success، Recovery، Failure

ہر ایپیسوڈ تین لیبلز میں سے ایک لے سکتا ہے۔ Success ٹاسک کا ایک صاف ستھرا ڈیمانسٹریشن نشان زد کرتا ہے۔ Recovery ایسے ایپیسوڈ کو نشان زد کرتا ہے جہاں کوشش کے دوران کچھ غلط ہوا اور آپ نے اسے درست کیا؛ یہ قیمتی ہیں کیونکہ یہ ایک پالیسی کو صحیح راستے پر واپس آنا سکھاتے ہیں۔ Failure ایسے ایپیسوڈز کو نشان زد کرتا ہے جو مقصد تک نہیں پہنچے اور عام طور پر ٹریننگ سے باہر رکھے جانے چاہئیں۔ جائزہ لیتے وقت لیبل کرنا کسی ایسی پالیسی کو ڈی بگ کرنے سے کہیں سستا ہے جس نے خاموشی سے خراب ڈیمانسٹریشنز سے سیکھا ہو۔

ڈیٹاسیٹس مرج کرنا

مرجنگ کئی ریکارڈنگز کو ایک بڑے ڈیٹاسیٹ میں یکجا کرتی ہے، مثلاً ایک ہی ٹاسک کے ایک ہفتے کے سیشنز یا دو کیلیبریٹڈ آرمز سے ریکارڈنگز۔ مرج متعدد tar.gz آرکائیوز لیتا ہے، ہر ایک میں ایک LeRobot ڈیٹاسیٹ ہوتا ہے، اور دوبارہ انڈیکس شدہ ایپیسوڈز کے ساتھ ایک واحد ڈیٹاسیٹ بناتا ہے۔

1. 1
   آرکائیوز تیار کریں

   ہر ان پٹ کو ایک مکمل LeRobot ڈیٹاسیٹ ہونا چاہیے جو tar.gz آرکائیو کے طور پر پیک کیا گیا ہو، بشمول اس کی meta ڈائریکٹری۔ info.json کے بغیر جزوی آرکائیوز کی توثیق نہیں ہو سکتی اور انہیں مسترد کر دیا جاتا ہے۔

2. 2
   متعدد آرکائیوز اپ لوڈ کریں

   Dashboard > Datasets میں، ایک مرج شروع کریں اور جن تمام tar.gz آرکائیوز کو یکجا کرنا چاہتے ہیں انہیں ایک ہی مرحلے میں منتخب کریں۔

3. 3
   ویلیڈیشن

   پلیٹ فارم چیک کرتا ہے کہ تمام ان پٹس میں fps، فیچر اسکیما، اور robot_type میل کھاتے ہیں۔ اگر ان تینوں میں سے کوئی بھی مختلف ہو، تو مرج کو مسترد کر دیا جاتا ہے اور عدم مطابقت کا نام بتایا جاتا ہے، کیونکہ غیر ہم آہنگ سٹریمز والا ایک مشترکہ ڈیٹاسیٹ خاموشی سے ٹریننگ کو خراب کر دے گا۔

4. 4
   نتیجے کا جائزہ لیں

   مرج شدہ ڈیٹاسیٹ آپ کی فہرست میں مجموعی ایپیسوڈ کاؤنٹ کے ساتھ ظاہر ہوتا ہے۔ ایپیسوڈ براؤزر کھولیں اور ٹرین کرنے سے پہلے ہر سورس سے چند ایپیسوڈز کا اسپاٹ چیک کریں۔

تینوں مطابقتی اصول جان بوجھ کر سخت ہیں۔ فریم ریٹ کی عدم مطابقت ہر ٹائم سٹیپ کا مطلب بدل دیتی ہے، اسکیما کی عدم مطابقت لوڈرز کو مکمل طور پر توڑ دیتی ہے، اور روبوٹ اقسام ملانا ایسا ڈیٹاسیٹ پیدا کرتا ہے جس پر کوئی بھی واحد پالیسی عمل نہیں کر سکتی۔ اگر آپ کو ایک ہی ماڈل کے مختلف آرمز کا ڈیٹا یکجا کرنا ہو، تو یہ ٹھیک ہے: robot_type ماڈل کی طرف اشارہ کرتا ہے، فزیکل یونٹ کی طرف نہیں۔

ڈیٹاسیٹ مارکیٹ پلیس

مارکیٹ پلیس آپ کو دوسروں کے ریکارڈ کیے گئے ڈیٹاسیٹس خریدنے اور اپنے بیچنے دیتا ہے۔ خریدے گئے ڈیٹاسیٹس آپ کے ڈیش بورڈ میں اسی LeRobot لے آؤٹ میں آتے ہیں جیسے آپ کی اپنی ریکارڈنگز، اس لیے یہ بغیر کسی اضافی مرحلے کے ایپیسوڈ براؤزر، مرجنگ، اور ٹریننگ کے ساتھ کام کرتے ہیں۔

اگر آپ فروخت کرتے ہیں، فہرست میں شامل کرنے سے پہلے کیوریٹ کریں۔ ایپیسوڈز کا جائزہ لیں، انہیں ایمانداری سے لیبل کریں، اور یقینی بنائیں کہ ٹاسک اسٹرنگز واقعی اس بات کی وضاحت کرتی ہیں جو ریکارڈنگز میں ہوتا ہے۔ آپ کے ڈیٹاسیٹ کا جائزہ لینے والا خریدار وہی ایپیسوڈ براؤزر دیکھتا ہے جو آپ دیکھتے ہیں، اور صاف لیبلز اور مستقل ڈیمانسٹریشنز والے ڈیٹاسیٹس آپ کے ریکارڈ کردہ ہر چیز کے خام ڈھیر سے کہیں زیادہ قیمتی ہوتے ہیں۔

اکثر پوچھے جانے والے سوالات