کار با مجموعه داده ها

فرمت مجموعه داده LeRobot

AY-Robots همه داده های نمایشی را با فرمت مجموعه داده LeRobot که توسط Hugging Face نگهداری می شود ذخیره می کند. مزیت عملی قابلیت حمل است: مجموعه داده ای که این جا ضبط شده مستقیم در کد آموزش مبتنی بر LeRobot بارگذاری می شود، و مجموعه داده هایی که جای دیگری با همان فرمت ضبط شده اند را می توان بدون تبدیل آپلود و روی پلتفرم استفاده کرد.

یک مجموعه داده مجموعه ای از اپیزودهاست. یک اپیزود یک تلاش کامل برای یک وظیفه است، از یک وضعیت شروع تعریف شده تا نقطه ای که ضبط را متوقف کردید. روی دیسک، یک اپیزود بین سه نوع فایل تقسیم می شود: یک فایل Parquet با stream های عددی، یک فایل ویدیو برای هر دوربین، و متادیتایی که همه چیز را به هم متصل می کند.

شمای ویژگی ها در info.json چیزی است که کد آموزش می خواند تا داده شما را بفهمد: چه کلیدهای مشاهده وجود دارند، شکل آن ها، و نرخ ضبط. دو مجموعه داده فقط زمانی سازگار هستند که شمای آن ها مطابقت داشته باشد، که دقیقا همان چیزی است که اعتبارسنجی ادغام بررسی می کند.

مقادیر مفصل درصد هستند، نه درجه

همه مقادیر مفصل در مجموعه داده های AY-Robots با LeRobot نرمال شده اند: هر مقدار بین 100- تا 100 است و درصدی از محدوده کالیبره شده آن مفصل را نشان می دهد، نه یک زاویه به درجه. یک خوانش 0 مرکز محدوده کالیبره شده است، 100- و 100 حدود آن هستند.

مجموعه داده های ابری در داشبورد

Dashboard > Datasets مجموعه داده های ابری شما را با تعداد اپیزود، اندازه فایل، و وضعیت جمع آوری فهرست می کند. مجموعه داده ها به طور خودکار وقتی یک نشست کنترل از راه دور داده ضبط می کند ساخته می شوند، و می توانید یکی را هم به صراحت بسازید و با آپلود ضبط ها از اپلیکیشن دسکتاپ آن را پر کنید.

• ساخت: مجموعه داده های جدید به طور خودکار از نشست ها ظاهر می شوند، یا یکی خالی بسازید و در آن آپلود کنید.
• تغییر نام: نام نمایشی را در هر زمان تغییر دهید؛ این تغییر خود داده را لمس نمی کند.
• حذف: مجموعه داده و همه اپیزودها و فایل های آن را حذف می کند. حذف دائمی است، پس اگر ممکن است دوباره به داده نیاز داشته باشید ابتدا یک آرشیو دانلود کنید.

مرورگر اپیزود

باز کردن یک مجموعه داده شما را به مرورگر اپیزود می برد. هر اپیزود یک پخش کننده ویدیو برای stream های دوربین خود و نمودارهای مفصل همگام شده ای دارد که مقادیر مفصل نرمال شده را در طول اپیزود رسم می کنند. جلو و عقب بردن ویدیو نشانگر نمودار را هم همراه آن حرکت می دهد، که پیدا کردن مشکلات را سریع می کند: یک نزدیک شدن ناهموار به شکل جهش هایی در نمودارها ظاهر می شود، یک گرفتن ناموفق قبل از اینکه حتی ویدیو را تماشا کنید در کانال گیره قابل مشاهده است.

برچسب های اپیزود: Success، Recovery، Failure

هر اپیزود می تواند یکی از سه برچسب را داشته باشد. Success یک نمایش تمیز از وظیفه را علامت می زند. Recovery اپیزودی را علامت می زند که در وسط تلاش چیزی اشتباه پیش رفت و شما آن را اصلاح کردید؛ این ها ارزشمند هستند چون به یک policy یاد می دهند چگونه به مسیر برگردد. Failure اپیزودهایی را علامت می زند که به هدف نرسیدند و معمولا باید از آموزش بیرون نگه داشته شوند. برچسب گذاری در حین بررسی خیلی ارزان تر از debug کردن یک policy است که بی سر و صدا از نمایش های بد یاد گرفته.

ادغام مجموعه داده ها

ادغام چند ضبط را در یک مجموعه داده بزرگ تر ترکیب می کند، مثلا یک هفته نشست روی همان وظیفه یا ضبط هایی از دو بازوی کالیبره شده. ادغام چند آرشیو tar.gz را می گیرد، هر کدام حاوی یک مجموعه داده LeRobot، و یک مجموعه داده واحد با اپیزودهای شماره گذاری شده مجدد تولید می کند.

1. 1
   آرشیوها را آماده کنید

   هر ورودی باید یک مجموعه داده کامل LeRobot باشد که به عنوان آرشیو tar.gz بسته بندی شده، شامل پوشه meta آن. آرشیوهای ناقص بدون info.json قابل اعتبارسنجی نیستند و رد می شوند.

2. 2
   چند آرشیو آپلود کنید

   در Dashboard > Datasets، یک ادغام شروع کنید و همه آرشیوهای tar.gz را که می خواهید در یک قدم ترکیب کنید انتخاب کنید.

3. 3
   اعتبارسنجی

   پلتفرم بررسی می کند که fps، شمای ویژگی ها، و robot_type بین همه ورودی ها مطابقت دارند. اگر یکی از این سه متفاوت باشد، ادغام با نام بردن از عدم تطابق رد می شود، چون یک مجموعه داده ترکیبی با stream های ناسازگار به طور خاموش آموزش را خراب می کند.

4. 4
   نتیجه را بررسی کنید

   مجموعه داده ادغام شده با تعداد اپیزود ترکیبی در لیست شما ظاهر می شود. مرورگر اپیزود را باز کنید و چند اپیزود از هر منبع را قبل از آموزش روی آن بررسی کنید.

سه قانون سازگاری عمدا سخت گیرانه هستند. عدم تطابق نرخ فریم معنای هر گام زمانی را تغییر می دهد، عدم تطابق شما loader ها را کاملا می شکند، و ترکیب انواع ربات یک مجموعه داده تولید می کند که هیچ policy واحدی نمی تواند بر اساس آن عمل کند. اگر باید داده از بازوهای مختلف همان مدل را ترکیب کنید، مشکلی نیست: robot_type به مدل اشاره می کند، نه واحد فیزیکی.

بازار مجموعه داده

بازار به شما اجازه می دهد مجموعه داده هایی که دیگران ضبط کرده اند بخرید و مال خودتان را بفروشید. مجموعه داده های خریداری شده با همان آرایش LeRobot ضبط های خودتان در داشبورد شما ظاهر می شوند، پس بدون هیچ قدم اضافه ای با مرورگر اپیزود، ادغام، و آموزش کار می کنند.

اگر می فروشید، قبل از فهرست کردن مدیریت کنید. اپیزودها را بررسی کنید، صادقانه برچسب بزنید، و مطمئن شوید رشته های وظیفه چیزی را که واقعا در ضبط ها اتفاق می افتد توصیف می کنند. یک خریدار که مجموعه داده شما را ارزیابی می کند همان مرورگر اپیزودی را می بیند که شما می بینید، و مجموعه داده هایی با برچسب های تمیز و نمایش های پایدار ارزش بیشتری از دامپ های خام هر چیزی که تا به حال ضبط کرده اید دارند.

سوالات متداول