Munka adatkészletekkel

A LeRobot adatkészlet-formátum

Az AY-Robots minden demonstrációs adatot a Hugging Face által karbantartott LeRobot adatkészlet-formátumban tárol. A gyakorlati előny a hordozhatóság: az itt rögzített adatkészlet közvetlenül betölthető LeRobot-alapú tréningkódba, és a máshol ugyanebben a formátumban rögzített adatkészletek konverzió nélkül feltölthetők és felhasználhatók a platformon.

Egy adatkészlet epizódok gyűjteménye. Egy epizód egy feladat egy teljes próbálkozása, egy meghatározott kiinduló állapottól addig a pontig, ameddig leállította a rögzítést. Lemezen egy epizód három fájltípusra oszlik: egy Parquet fájl a numerikus streamekkel, egy videofájl kamerálnként, és metaadatok, amelyek mindent összekötnek.

Az info.json feature-sémáját olvassa a tréningkód, hogy megértse az adatait: milyen megfigyelési kulcsok léteznek, azok alakja és a rögzítési sebesség. Két adatkészlet csak akkor kompatibilis, ha a sémáik megegyeznek, és pontosan ezt ellenőrzi az egyesítési validáció.

Az ízületi értékek százalékok, nem fokok

Az AY-Robots adatkészletekben minden ízületi érték LeRobot-normalizált: minden érték -100 és 100 között mozog, és az adott ízület kalibrált tartományának százalékát jelenti, nem fokban mért szöget. A 0 érték a kalibrált tartomány közepe, a -100 és a 100 pedig annak határai.

Felhő-adatkészletek az irányítópulton

A Dashboard > Datasets felsorolja a felhő-adatkészleteit epizódszámmal, fájlmérettel és gyűjtési állapottal. Az adatkészletek automatikusan jönnek létre, amikor egy teleoperációs munkamenet adatot rögzít, és explicit módon is létrehozhat egyet, majd feltöltésekkel töltheti fel a desktop kliensből.

• Létrehozás: az új adatkészletek automatikusan jönnek létre munkamenetekből, vagy hozzon létre egy üreset, és töltsön fel bele.
• Átnevezés: a megjelenített nevet bármikor megváltoztathatja; ez magukat az adatokat nem érinti.
• Törlés: eltávolítja az adatkészletet és annak összes epizódját és fájlját. A törlés végleges, ezért ha még szüksége lehet az adatra, előbb töltsön le egy archívumot.

Az epizód-böngésző

Egy adatkészlet megnyitása az epizód-böngészőbe visz. Minden epizódhoz videólejátszó tartozik a kamerastreamekhez, és szinkronizált ízületi grafikonok, amelyek az epizód alatt ábrázolják a normalizált ízületi értékeket. A videó pörgetésekor a grafikon kurzora vele mozog, ami gyorsan feltárja a problémákat: egy szaggatott megközelítés csúcsokként jelenik meg a grafikonokon, egy sikertelen fogás pedig már a fogó csatornáján látszik, mielőtt megnézné a videót.

Epizódcímkék: Success, Recovery, Failure

Minden epizóda három címke egyikét viselheti. A Success a feladat tiszta demonstrációját jelöli. A Recovery olyan epizódot jelöl, amelyben a próbálkozás közben valami elromlott, és ön kijavította; ezek azért értékesek, mert megtanítják a policy-t, hogyan térjen vissza a helyes útra. A Failure azokat az epizódokat jelöli, amelyek nem érték el a célt, és rendszerint kívül kell maradniuk a tréningen. A címkézés áttekintés közben sokkal olcsóbb, mint egy olyan policy hibakeresése, amely csendben rossz demonstrációkból tanult.

Adatkészletek egyesítése

Az egyesítés több felvételt kombinál egyetlen nagyobb adatkészletté, például egy hétnyi munkamenetet ugyanahhoz a feladathoz, vagy két kalibrált kar felvételeit. Az egyesítés több tar.gz archívumot fogad el, mindegyikben egy LeRobot adatkészlettel, és egyetlen, újraindexelt epizódokkal rendelkező adatkészletet hoz létre.

1. 1
   Készítse elő az archívumokat

   Minden bemenetnek teljes LeRobot adatkészletnek kell lennie tar.gz archívumba csomagolva, beleértve a meta könyvtárat is. A info.json nélküli, hiányos archívumok nem validálhatók, és elutasításra kerülnek.

2. 2
   Töltsön fel több archívumot

   A Dashboard > Datasets alatt indítson egy egyesítést, és egy lépésben válassza ki az összes kombinálni kívánt tar.gz archívumot.

3. 3
   Validáció

   A platform ellenőrzi, hogy az fps, a feature-séma és a robot_type megegyezik-e az összes bemeneten. Ha a három közül bármelyik eltér, az egyesítés az eltérés megnevezésével elutasításra kerül, mert egy inkonzisztens streamekkel rendelkező kombinált adatkészlet csendben megrongálná a tréningezést.

4. 4
   Tekintse át az eredményt

   Az egyesített adatkészlet a kombinált epizódszámmal jelenik meg a listájában. Nyissa meg az epizód-böngészőt, és szúrópróbaszerűen ellenőrizzen néhány epizódot minden forrásból, mielőtt tréningezni kezdene rajta.

Ez a három kompatibilitási szabály szándékosan szigorú. A képkockasebesség eltérése minden időlépés jelentését megváltoztatja, a séma eltérése egyenesen elrontja a betöltőket, a robottípusok keverése pedig olyan adatkészletet hoz létre, amellyel egyetlen policy sem tud dolgozni. Ugyanannak a modellnek a különböző karjaiból származó adatok kombinálása viszont rendben van: a robot_type a modellre utal, nem a fizikai egységre.

Az adatkészlet-piactér

A piactéren mások által rögzített adatkészleteket vásárolhat, és eladhatja a sajátjait. A megvásárolt adatkészletek ugyanabban a LeRobot elrendezésben érkeznek az irányítópultjára, mint a saját felvételei, így további lépések nélkül működnek az epizód-böngészővel, az egyesítéssel és a tréningezéssel.

Ha eladóként lép fel, kurátorozza az adatkészletet, mielőtt listázná. Tekintse át az epizódokat, címkézzen őszintén, és győződjön meg róla, hogy a feladatszövegek azt írják le, ami a felvételekben valóban történik. Az adatkészletét értékelő vevő ugyanazt az epizód-böngészőt látja, mint ön, és a tiszta címkékkel és következetes demonstrációkkal rendelkező adatkészletek többet érnek, mint egy nyers halom mindenből, amit valaha rögzített.

Gyakori kérdések