Blog

Um relato passo a passo de uma rodada de DAgger com controle humano em um braço SO-100: execute a política e grave-a, assuma o controle quando der errado, arquive a execução como uma correção, componha um conjunto de dados misto e continue o treinamento a partir de um ponto de controle. Inclui o caminho de takeover por teclado e sliders para pessoas sem um braço líder, e os quatro erros que tornam uma rodada inútil.

A taxa de intervenção — quadros de intervenção divididos pelos quadros da execução — é o sinal mais barato e honesto de progresso que um DAgger loop gated-por-humano possui. Este artigo a define de forma que duas pessoas calculem o mesmo valor, mostra como registrá-la e trabalha através das quatro maneiras como ela o engana: habituação do operador, uma configuração de avaliação se deslocando, treinamento apenas em correções e um humano que corrige de forma diferente na terça-feira do que na segunda-feira.

DAgger simples pede a um humano que rotule estados enquanto o robô ainda está funcionando. No hardware real isso é inseguro e produz rótulos pobres. As variantes gated substituem a rotulação cega por um portão que alguém precisa manter: o humano no HG-DAgger, um classificador de segurança no SafeDAgger, o desacordo de um ensemble no EnsembleDAgger, uma estimativa de novidade e risco orçada no ThriftyDAgger. Este artigo os compara por quem possui o portão, qual sinal o abre e o que cada um custa — e por que a forma human-gated é a que sobrevive ao contato com um braço real.

Behavior cloning se ajusta a uma policy na distribuição de estados do especialista e é então implantada por conta própria. A lacuna entre essas duas distribuições é por isso que uma policy que parece correta na validação sai da mesa no passo 300. Este é o capítulo de teoria da nossa série DAgger: de onde vem o termo de erro quadrático, o que dataset aggregation muda, o que a prova de no-regret assume e qual parte da conta o especialista humano ainda precisa pagar.

DROID, BridgeData V2 e Open X-Embodiment convertem para ações de efetuador final 7-D em braços de 6 e 7 GDL. Um SO-100 aceita 6 posições de junta. O que é transferível, o que não é, e o que fazer em vez disso.

A simulação pode multiplicar um punhado de demonstrações em milhares. Aqui está o que os números publicados realmente dizem, onde a lacuna sim-para-real morde, e o que ainda precisa ser gravado.

TinyVLA e SmolVLA colocam um VLA funcional abaixo de 1 bilhão de parâmetros. Números reais de ambos os artigos, os padrões do LeRobot, latência medida e o custo de uma execução em uma placa de 24 GB.

Sua máquina robótica não possui GPU. Coloque o servidor de políticas GR00T em uma GPU de nuvem alugada, transmita blocos de ações para o braço e descubra exatamente o custo da rede para você.

Treine um Action Chunking Transformer do zero em um SO-100 com lerobot: a configuração act, chunk_size e n_action_steps, o cronograma de 100000 passos, inferência de 20 ms.

GR00T N1.7, Pi0.5, SmolVLA, ACT ou GR00T N1.5? Uma tabela de decisão adaptada a situações reais, com os números de benchmark publicados, latência, custo por execução e licenças por trás de cada escolha.

Preços reais de GPUs no mercado spot, quanto tempo cada uma das cinco políticas leva para rodar, o custo do braço robótico e das demonstrações, e os quatro lugares onde o dinheiro desaparece silenciosamente.

Grave um dataset LeRobot utilizável com um SO-100: calibração, teleoperação líder-seguidor, as verdadeiras flags e padrões do lerobot-record, configuração da câmera, contagem de episódios e os defeitos que arruínam uma execução.

SmolVLA é um VLA de 450 milhões de parâmetros que pode ser ajustado em uma única placa de 24 GB. Comandos reais do lerobot 0.6.1, os padrões reais, as armadilhas que custam um dia e o custo de uma execução.

Ajuste fino de Pi0.5, o VLA de correspondência de fluxo da Physical Intelligence, com seus próprios dados de robô. Comandos reais para openpi e lerobot pi05, armadilhas de formato de conjunto de dados, limites de VRAM e latência.

Um guia testado para o ajuste fino de NVIDIA GR00T N1.7 em um conjunto de dados LeRobot SO-100: flags reais, modality.json, o requisito v2.1, o custo de uma execução e as armadilhas.

Descubra como o RoboTurk revoluciona o aprendizado de robôs ao obter dados de alta qualidade por crowdsourcing através de teleoperação remota, permitindo conjuntos de dados escaláveis para modelos de IA em robótica. Explore seu impacto no aprendizado por imitação, modelos VLA e ROI para empresas de robótica.

Descubra como o Isaac Lab da NVIDIA revoluciona o aprendizado de robôs multimodal por meio de simulações aceleradas por GPU, permitindo treinamento de IA mais rápido, implantação escalável e ROI otimizado para pesquisadores e empresas de robótica.

Descubra como o Isaac Gym revoluciona o aprendizado de robôs com simulação de física nativa da GPU, permitindo milhares de ambientes paralelos para aprendizado por reforço rápido, treinamento de modelos VLA e teleoperação eficiente de robôs de IA. Explore benchmarks, integração com PyTorch e aplicações do mundo real que preenchem a lacuna sim-para-real.

Explore como o BC-Z revoluciona o aprendizado por imitação robótica, permitindo a generalização de tarefas zero-shot por meio de dados de demonstração escalonados. Descubra leis de escala, modelos VLA, melhores práticas de teleoperação e benefícios de ROI para empresas de robótica e engenheiros de IA.

Explore como o BridgeData V2 fornece dados de robôs de baixo custo em escala, aprimorando os métodos de aprendizado por imitação e o aprendizado por reforço offline. Descubra benchmarks importantes, modelos VLA em robótica e fluxos de trabalho eficientes de teleoperação de robôs para coleta de dados de treinamento de IA.

Descubra como a técnica de correspondência de fluxo do Pi-Zero, combinada com a inicialização VLM, está transformando as políticas de robôs generalistas para controle destro. Aprenda sobre suas vantagens sobre os métodos tradicionais, a eficiência nos dados de treinamento de IA para robótica e as implicações para a implantação escalável de robôs nas indústrias.

Descubra como o Modelo de Visão-Linguagem-Ação RT-2 do Google revoluciona o controle de robôs, transferindo o conhecimento da web para ações físicas. Aprenda sobre sua arquitetura, métodos de treinamento, capacidades emergentes e implicações para empresas e operadores de robótica, incluindo a integração com a teleoperação para um treinamento eficiente de IA.

Explore como os modelos de Visão-Linguagem-Ação (VLA) estão revolucionando o aprendizado de robôs, integrando visão, linguagem e ação para uma robótica mais inteligente e eficiente. Descubra arquiteturas, métodos de treinamento, benchmarks e ROI para implantação neste guia abrangente.

Descubra como o modelo RT-2 do Google DeepMind revoluciona a robótica com IA, enfatizando o papel crítico dos dados de treinamento de alta qualidade em vez de algoritmos avançados. Este artigo detalha os experimentos que demonstram por que a coleta de dados eficaz é essencial para o desempenho de robôs no mundo real. Saiba como plataformas como a AY-Robots podem ajudar a preencher a lacuna nos dados de treinamento para futuras inovações.

Descubra como o modelo de Visão-Linguagem-Ação (VLA) RT-2 da Google está remodelando o aprendizado de robôs ao integrar dados visuais, linguagem natural e ações em tempo real. Esta tecnologia de IA inovadora aprimora a coleta de dados para teleoperadores e aumenta a eficiência em aplicações de robótica. Explore seu impacto potencial no futuro de robôs orientados por IA na AY-Robots.