Датасеттермен жұмыс
AY-Robots жүйесіндегі әр қашықтан басқару сессиясы манипуляция деректері үшін іс жүзіндегі стандартты алмасу форматы LeRobot форматында құрылымдалған демонстрациялық деректер шығарады. Бұл бет датасеттің ішінде не бар екенін, бақылау тақтасында эпизодтарды қалай тексеріп, реттеу керектігін, біріктіру қалай жұмыс істейтінін және нарық қалай сәйкес келетінін түсіндіреді.
Соңғы жаңарту 2026-08-09
LeRobot датасет форматы
AY-Robots барлық демонстрациялық деректерді Hugging Face қолдайтын LeRobot датасет форматында сақтайды. Практикалық пайдасы - тасымалдылық: мұнда жазылған датасет тікелей LeRobot негізіндегі оқыту кодына жүктеледі, ал басқа жерде осы форматта жазылған датасеттерді ешбір түрлендірусіз жүктеп, платформада пайдалануға болады.
Датасет - эпизодтар жиынтығы. Бір эпизод - белгілі бастапқы күйден жазуды тоқтатқан сәтке дейінгі тапсырманы орындаудың бір толық әрекеті. Дискіде эпизод үш түрлі файлға бөлінеді: сандық ағындары бар Parquet файлы, камераға бір бейне файлы және барлығын байланыстыратын метадеректер.
| Жол | Мазмұны |
|---|---|
| data/.../episode_XXXXXX.parquet | Эпизодқа бір Parquet файлы: кадр бойынша уақыт белгілері, бақылау күйі және әрекеттер |
| videos/... | Эпизодтағы камераға бір MP4, Parquet деректерімен кадр бойынша сәйкестелген |
| meta/info.json | Датасет деңгейіндегі метадеректер: робот түрі, fps, мүмкіндік схемасы, эпизод пен кадр саны |
| meta/episodes.jsonl | Эпизодқа бір жол, оның индексі, ұзындығы және тиесілі тапсырмасы |
| meta/tasks.jsonl | Эпизодтар индекс бойынша сілтейтін табиғи тілдегі тапсырма жолдары |
info.json ішіндегі мүмкіндік схемасы - оқыту коды деректеріңізді түсіну үшін оқитын нәрсе: қандай бақылау кілттері бар, олардың пішіндері және жазу жиілігі. Екі датасет тек схемалары сәйкес келгенде ғана үйлесімді, ал біріктіру валидациясы дәл осыны тексереді.
Буын мәндері градус емес, пайыз
AY-Robots датасеттеріндегі барлық буын мәндері LeRobot бойынша қалыпқа келтірілген: әр мән -100-ден 100-ге дейінгі диапазонда болады және градустағы бұрышты емес, сол буынның калибрленген диапазонының пайызын білдіреді. 0 деген мән калибрленген диапазонның ортасы, -100 мен 100 оның шектері.
Сервопривод нөл нүктелері физикалық қолдар арасында әр түрлі болады, сондықтан екі SO-100 бірлігінен алынған ретсіз бұрыштар әр түрлі позицияларды сипаттайды. Калибрленген диапазонға қалыпқа келтіру жазбаларды қолдар арасында салыстырмалы етеді, LeRobot оқыту құбырлары дәл осыны күтеді. Өз құралыңыз үшін бұрыштар қажет болса, калибрлеу деректеріңізді пайдаланып түрлендіріңіз; платформа градустарды сақтамайды.
Бақылау тақтасындағы бұлттық датасеттер
Dashboard > Datasets эпизод саны, файл өлшемдері және жинау күйімен бұлттық датасеттеріңізді тізеді. Қашықтан басқару сессиясы деректерді жазғанда датасеттер автоматты түрде жасалады, сонымен қатар бір датасетті нақты жасап, десктоп клиентінен жазбаларды жүктеп, оны толтыруға болады.
- Жасау: жаңа датасеттер сессиялардан автоматты түрде пайда болады, немесе бос датасет жасап, оған жүктеп салыңыз.
- Атауын өзгерту: көрсетілетін атауды кез келген уақытта өзгертіңіз; өзгеріс деректің өзіне тимейді.
- Жою: датасет пен оның барлық эпизодтары мен файлдарын алып тастайды. Жою түпкілікті, сондықтан деректер қайта қажет болуы мүмкін болса, алдымен архив жүктеп алыңыз.
Эпизод браузері
Датасетті ашу сізді эпизод браузеріне апарады. Әр эпизодта камера ағындары үшін бейне ойнатқыш және эпизод бойы қалыпқа келтірілген буын мәндерін сызбалайтын синхрондалған буын графиктері бар. Бейнені жылжыту график курсорын да бірге жылжытады, бұл мәселелерді жылдам байқауды жеңілдетеді: кенет жақындау графиктерде секірулер ретінде көрінеді, сәтсіз ұстау бейнені көрместен бұрын ұстағыш арнасында көрінеді.
Эпизод белгілері: Success, Recovery, Failure
Әр эпизод үш белгінің бірін ала алады. Success тапсырманың таза демонстрациясын білдіреді. Recovery әрекет ортасында бір нәрсе дұрыс болмай, сіз оны түзеткен эпизодты білдіреді; олар құнды, себебі полисиге жолға қайта оралуды үйретеді. Failure мақсатқа жетпеген эпизодтарды белгілейді, әдетте оқытудан алып тастау керек. Қараған кезде белгілеу, нашар демонстрациялардан үнсіз үйренген полисиді жөндеуден әлдеқайда арзан.
Датасеттерді біріктіру
Біріктіру бірнеше жазбаны бір үлкен датасетке біріктіреді, мысалы бір тапсырма бойынша бір апталық сессиялар немесе екі калибрленген қолдан алынған жазбалар. Біріктіру әрқайсысы бір LeRobot датасетін қамтитын бірнеше tar.gz архивтерін алып, қайта индекстелген эпизодтары бар бір датасет шығарады.
- 1Архивтерді дайындау
Әр кіріс meta қалтасын қоса, tar.gz архиві ретінде оралған толық LeRobot датасеті болуы керек. info.json болмаған жартылай архивтер расталмайды, қабылданбайды.
- 2Бірнеше архивті жүктеп салу
Dashboard > Datasets бетінде біріктіруді бастап, бір қадамда біріктіргіңіз келетін барлық tar.gz архивтерін таңдаңыз.
- 3Валидация
Платформа барлық кірістерде fps, мүмкіндік схемасы және robot_type сәйкес келетінін тексереді. Үшеуінің біреуі әр түрлі болса, сәйкессіздік аталып, біріктіру қабылданбайды, себебі сәйкессіз ағындары бар біріктірілген датасет оқытуды үнсіз бұзады.
- 4Нәтижені қарау
Біріктірілген датасет тізіміңізде біріктірілген эпизод санымен пайда болады. Эпизод браузерін ашып, оны пайдаланбас бұрын әр көзден бірнеше эпизодты тексеріп шығыңыз.
Үш үйлесімділік ережесі әдейі қатаң. Кадр жиілігінің сәйкессіздіктері әр уақыт қадамының мағынасын өзгертеді, схема сәйкессіздіктері жүктеушілерді толығымен бұзады, робот түрлерін араластыру ешбір полиси әрекет ете алмайтын датасет шығарады. Бір модельдің әр түрлі қолдарынан деректерді біріктіру керек болса, бұл дұрыс: robot_type физикалық бірлікке емес, модельге сілтейді.
Датасет нарығы
Нарық сізге басқалар жазған датасеттерді сатып алуға және өзіңізіңдікін сатуға мүмкіндік береді. Сатып алынған датасеттер бақылау тақтасына өз жазбаларыңызбен бірдей LeRobot орналасуында келеді, сондықтан олар қосымша қадамдарсыз эпизод браузерімен, біріктірумен және оқытумен жұмыс істейді.
Сатсаңыз, тізімге қоймас бұрын реттеңіз. Эпизодтарды қарап шығыңыз, шыншыл белгілеңіз, тапсырма жолдары жазбаларда нақты не болатынын сипаттайтынына көз жеткізіңіз. Датасетіңізді бағалайтын сатып алушы сіз көретін дәл сол эпизод браузерін көреді, таза белгілі және тұрақты демонстрациялары бар датасеттер жазған бар нәрсеңіздің ретсіз үйіндісінен әлдеқайда бағалы.
Жиі қойылатын сұрақтар
Әдеттегі эпизод қаншалықты үлкен?▾
Сахна күрделілігіне байланысты, екі камерасы бар, 30 fps жылдамдықтағы 10-20 секундтық эпизод үшін шамамен 5-15 МБ. Бірнеше жүз эпизоды бар нақты датасет төменгі гигабайттарға жетеді.
Датасеттерімді жүктеп ала аламын ба?▾
Иә. Датасеттерді бақылау тақтасынан архив ретінде жүктеп алуға болады. Орналасу стандартты LeRobot болғандықтан, жүктеп алу LeRobot құралдарымен және өз оқыту кодыңызбен тікелей жұмыс істейді.
Әр түрлі робот түрлерінің датасеттерін біріктіре аламын ба?▾
Жоқ. Біріктіру барлық кірістерде fps, мүмкіндік схемасы және robot_type сәйкес келуін талап етеді. Екі қол калибрленген болса, бір модельдің екі әр түрлі физикалық қолынан алынған деректерді біріктіруге болады.
Буын графиктері градусты көрсете ме?▾
Жоқ. Барлық буын мәндері LeRobot бойынша -100-ден 100-ге дейінгі диапазонға қалыпқа келтірілген, әр буынның калибрленген диапазонының пайызы ретінде білдірілген. Дәл осы Parquet файлдарында сақталады.
Датасетті жойғанда не болады?▾
Датасет және оның барлық эпизодтары, бейнелері мен метадеректері түпкілікті түрде жойылады. Қайтару жоқ, сондықтан сенімді болмасаңыз, алдымен архив жүктеп алыңыз.
Қашықтан басқару датасеттеріңізде ACT, Diffusion Policy, SmolVLA және GR00T дәл баптауларын бұлтта оқытыңыз, содан кейін оқытылған полисиді өз қолыңызда іске қосыңыз.
AY-Robots десктоп қосымшасын macOS, Windows немесе Linux жүйесіне орнатыңыз, бағыттаушы ағын арқылы SO-100 эпизодтарын жазыңыз, LeRobot деректерін экспорттаңыз, CLI мен MCP пайдаланыңыз.