Trabalhar com datasets

O formato de dataset LeRobot

A AY-Robots armazena todos os dados de demonstração no formato de dataset LeRobot, mantido pela Hugging Face. A vantagem prática é a portabilidade: um dataset gravado aqui carrega diretamente em código de treino baseado em LeRobot, e datasets gravados noutro lugar no mesmo formato podem ser carregados e usados na plataforma sem conversão.

Um dataset é uma coleção de episódios. Um episódio é uma tentativa completa de uma tarefa, desde um estado inicial definido até ao ponto em que parou de gravar. Em disco, um episódio divide-se em três tipos de ficheiros: um ficheiro Parquet com os streams numéricos, um ficheiro de vídeo por câmara e metadados que ligam tudo entre si.

O esquema de features em info.json é o que o código de treino lê para compreender os seus dados: que chaves de observação existem, as suas formas e a taxa de gravação. Dois datasets só são compatíveis se os seus esquemas coincidirem, que é exatamente o que a validação de combinação verifica.

Os valores das juntas são percentagens, não graus

Todos os valores de juntas nos datasets da AY-Robots são normalizados segundo o LeRobot: cada valor varia entre -100 e 100 e representa uma percentagem do intervalo calibrado dessa junta, não um ângulo em graus. Uma leitura de 0 é o centro do intervalo calibrado, -100 e 100 são os seus limites.

Datasets na cloud no painel

Dashboard > Datasets lista os seus datasets na cloud com contagens de episódios, tamanhos de ficheiro e estado de recolha. Os datasets são criados automaticamente quando uma sessão de teleoperação grava dados, e também pode criar um explicitamente e preenchê-lo carregando gravações a partir do desktop client.

• Criar: novos datasets aparecem automaticamente a partir de sessões, ou crie um vazio e carregue dados para ele.
• Renomear: altere o nome de exibição a qualquer momento; a alteração não toca nos dados em si.
• Eliminar: remove o dataset e todos os seus episódios e ficheiros. A eliminação é permanente, por isso descarregue um arquivo primeiro caso possa precisar dos dados novamente.

O explorador de episódios

Abrir um dataset leva-o ao explorador de episódios. Cada episódio tem um leitor de vídeo para os seus streams de câmara e gráficos de juntas sincronizados que traçam os valores normalizados de junta ao longo do episódio. Percorrer o vídeo move o cursor do gráfico com ele, o que torna rápido detetar problemas: uma aproximação brusca aparece como picos nos gráficos, uma preensão falhada é visível no canal da garra antes mesmo de ver o vídeo.

Rótulos de episódio: Success, Recovery, Failure

Cada episódio pode ter um de três rótulos. Success marca uma demonstração limpa da tarefa. Recovery marca um episódio em que algo correu mal a meio da tentativa e foi corrigido; estes são valiosos porque ensinam uma policy a voltar ao caminho certo. Failure marca episódios que não atingiram o objetivo e devem geralmente ficar fora do treino. Rotular enquanto revê é muito mais barato do que depurar uma policy que aprendeu silenciosamente com demonstrações más.

Combinar datasets

A combinação junta várias gravações num dataset maior, por exemplo uma semana de sessões na mesma tarefa ou gravações de dois braços calibrados. A combinação toma múltiplos arquivos tar.gz, cada um contendo um dataset LeRobot, e produz um único dataset com episódios reindexados.

1. 1
   Prepare os arquivos

   Cada entrada tem de ser um dataset LeRobot completo, empacotado como um arquivo tar.gz, incluindo o seu diretório meta. Arquivos parciais sem info.json não podem ser validados e são rejeitados.

2. 2
   Carregue vários arquivos

   Em Dashboard > Datasets, inicie uma combinação e selecione todos os arquivos tar.gz que quer combinar num só passo.

3. 3
   Validação

   A plataforma verifica se fps, o esquema de features e robot_type coincidem em todas as entradas. Se algum dos três diferir, a combinação é rejeitada com a incompatibilidade indicada, porque um dataset combinado com streams inconsistentes corromperia silenciosamente o treino.

4. 4
   Reveja o resultado

   O dataset combinado aparece na sua lista com a contagem de episódios combinada. Abra o explorador de episódios e verifique alguns episódios de cada origem antes de treinar com ele.

As três regras de compatibilidade são estritas de propósito. Incompatibilidades de frame rate mudam o significado de cada timestep, incompatibilidades de esquema quebram os loaders por completo, e misturar tipos de robô produz um dataset sobre o qual nenhuma policy consegue agir. Se precisar de combinar dados de braços diferentes do mesmo modelo, não há problema: robot_type refere-se ao modelo, não à unidade física.

O marketplace de datasets

O marketplace permite comprar datasets gravados por outros e vender os seus próprios. Os datasets comprados chegam ao seu painel na mesma estrutura LeRobot das suas próprias gravações, por isso funcionam com o explorador de episódios, a combinação e o treino sem passos adicionais.

Se vender, cure antes de listar. Reveja os episódios, rotule-os com honestidade e certifique-se de que as strings de tarefa descrevem o que de facto acontece nas gravações. Um comprador que avalia o seu dataset vê o mesmo explorador de episódios que você, e datasets com rótulos limpos e demonstrações consistentes valem mais do que despejos brutos de tudo o que alguma vez gravou.

Perguntas frequentes