Lavorare con i dataset

Il formato dataset LeRobot

AY-Robots memorizza tutti i dati dimostrativi nel formato dataset LeRobot mantenuto da Hugging Face. Il vantaggio pratico è la portabilità: un dataset registrato qui si carica direttamente nel codice di addestramento basato su LeRobot, e dataset registrati altrove nello stesso formato possono essere caricati e utilizzati sulla piattaforma senza conversioni.

Un dataset è una raccolta di episodi. Un episodio è un tentativo completo di un'attività, da uno stato iniziale definito fino al punto in cui si è interrotta la registrazione. Su disco, un episodio è suddiviso in tre tipi di file: un file Parquet con gli stream numerici, un file video per telecamera e metadati che collegano tutto insieme.

Lo schema delle feature in info.json è ciò che il codice di addestramento legge per capire i dati: quali chiavi di osservazione esistono, la loro forma e la frequenza di registrazione. Due dataset sono compatibili solo se i loro schemi coincidono, ed è esattamente ciò che verifica la validazione dell'unione.

I valori dei giunti sono percentuali, non gradi

Tutti i valori dei giunti nei dataset di AY-Robots sono normalizzati secondo LeRobot: ciascun valore varia da -100 a 100 e rappresenta una percentuale dell'intervallo calibrato di quel giunto, non un angolo in gradi. Una lettura di 0 è il centro dell'intervallo calibrato, -100 e 100 ne sono i limiti.

Dataset cloud nella dashboard

Dashboard > Datasets elenca i dataset cloud con conteggio degli episodi, dimensioni dei file e stato della raccolta. I dataset vengono creati automaticamente quando una sessione di teleoperazione registra dati, ed è anche possibile crearne uno esplicitamente e popolarlo caricando registrazioni dal client desktop.

• Creazione: i nuovi dataset compaiono automaticamente dalle sessioni, oppure se ne crea uno vuoto e vi si caricano dati.
• Rinomina: il nome visualizzato si può cambiare in qualsiasi momento; la modifica non tocca i dati stessi.
• Eliminazione: rimuove il dataset e tutti i suoi episodi e file. L'eliminazione è permanente, quindi conviene scaricare un archivio prima nel caso servano di nuovo i dati.

Il browser degli episodi

Aprendo un dataset si accede al browser degli episodi. Ogni episodio dispone di un lettore video per i suoi flussi di telecamere e di grafici dei giunti sincronizzati che tracciano i valori normalizzati dei giunti lungo l'episodio. Scorrere il video muove con sé il cursore del grafico, il che rende rapido individuare i problemi: un avvicinamento a scatti si manifesta come picchi nei grafici, una presa fallita è visibile nel canale della pinza ancora prima di guardare il video.

Etichette degli episodi: Success, Recovery, Failure

Ogni episodio può portare una di tre etichette. Success indica una dimostrazione pulita dell'attività. Recovery indica un episodio in cui qualcosa è andato storto a metà tentativo e si è corretto; sono episodi preziosi perché insegnano a una policy come tornare in carreggiata. Failure indica episodi che non hanno raggiunto l'obiettivo e vanno di norma tenuti fuori dall'addestramento. Etichettare durante la revisione è molto meno costoso che debuggare una policy che ha imparato silenziosamente da dimostrazioni scadenti.

Unire i dataset

L'unione combina più registrazioni in un unico dataset più ampio, ad esempio una settimana di sessioni sulla stessa attività o registrazioni provenienti da due bracci calibrati. L'unione prende più archivi tar.gz, ciascuno contenente un dataset LeRobot, e produce un unico dataset con episodi rinumerati.

1. 1
   Preparare gli archivi

   Ogni input deve essere un dataset LeRobot completo, compresso come archivio tar.gz e comprensivo della sua directory meta. Gli archivi parziali privi di info.json non possono essere validati e vengono rifiutati.

2. 2
   Caricare più archivi

   In Dashboard > Datasets, avviare un'unione e selezionare in un solo passaggio tutti gli archivi tar.gz da combinare.

3. 3
   Validazione

   La piattaforma verifica che fps, schema delle feature e robot_type coincidano su tutti gli input. Se anche solo uno dei tre differisce, l'unione viene rifiutata con l'incongruenza indicata, perché un dataset combinato con stream incoerenti corromperebbe silenziosamente l'addestramento.

4. 4
   Revisionare il risultato

   Il dataset unito compare nel proprio elenco con il conteggio combinato degli episodi. Conviene aprire il browser degli episodi e controllare a campione alcuni episodi di ciascuna fonte prima di addestrare su di esso.

Le tre regole di compatibilità sono rigorose di proposito. Un frame rate incongruente cambia il significato di ogni timestep, uno schema incongruente rompe i loader senza appello, e mescolare tipi di robot produce un dataset su cui nessuna policy può agire. Combinare dati da bracci diversi dello stesso modello va invece bene: robot_type si riferisce al modello, non all'unità fisica.

Il marketplace dei dataset

Il marketplace permette di acquistare dataset registrati da altri e di vendere i propri. I dataset acquistati arrivano nella dashboard con la stessa struttura LeRobot delle proprie registrazioni, quindi funzionano con il browser degli episodi, l'unione e l'addestramento senza passaggi aggiuntivi.

Chi vende dovrebbe curare i propri dataset prima di metterli in vendita. Conviene revisionare gli episodi, etichettarli onestamente e assicurarsi che le stringhe di attività descrivano ciò che accade realmente nelle registrazioni. Un acquirente che valuta il dataset vede lo stesso browser degli episodi, e dataset con etichette pulite e dimostrazioni coerenti valgono più di semplici raccolte grezze di tutto ciò che si è mai registrato.

Domande frequenti