Blog

Un resoconto passo-dopo-passo di un round DAgger con cancello umano su un braccio SO-100: esegui la policy e registrala, prendi il controllo quando qualcosa va male, classifica l'esecuzione come correzione, componi un dataset misto, e continua l'addestramento da un checkpoint. Include il percorso di takeover tramite braccio leader per chi non dispone di un braccio leader, e i quattro errori che rendono un round inutile.

Il tasso di intervento - frame di intervento diviso i frame dell'esecuzione - è il segnale di progresso più economico e onesto che un loop di DAgger controllato dall'uomo può avere. Questo articolo lo definisce in modo che due persone calcolino lo stesso valore, mostra come registrarlo e analizza i quattro modi in cui ti inganna: abitazione dell'operatore, una configurazione di valutazione che deriva, allenamento solo su correzioni, e un uomo che corregge diversamente il martedì che il lunedì.

DAgger ordinario chiede a un umano di etichettare gli stati mentre il robot sta ancora guidando. Su hardware reale è pericoloso e produce etichette di bassa qualità. Le varianti con gate sostituiscono l'etichettamento cieco con un gate che qualcuno deve tenere: l'umano in HG-DAgger, un classificatore di sicurezza in SafeDAgger, il disaccordo di un ensemble in EnsembleDAgger, una stima della novità e del rischio sotto budget in ThriftyDAgger. Questo articolo le confronta in base a chi possiede il gate, quale segnale lo apre e quanto costa ciascuno — e perché la forma con gate umano è quella che sopravvive al contatto con un braccio reale.

Behavior cloning adatta una policy sulla distribuzione di stato dell'esperto e viene quindi implementata autonomamente. Il divario tra le due distribuzioni è il motivo per cui una policy che sembra corretta nella validazione cade dal tavolo al passo 300. Questo è il capitolo teorico della nostra serie DAgger: da dove viene il termine di errore quadratico, cosa cambia l'aggregazione di dataset, cosa assume la prova senza rammarico, e quale parte del conto l'esperto umano deve ancora pagare.

DROID, BridgeData V2 e Open X-Embodiment si convertono in azioni dell'end-effector 7-D su bracci a 6 e 7 DoF. Un SO-100 accetta 6 posizioni articolari. Cosa si trasferisce, cosa no, e cosa fare invece.

La simulazione può moltiplicare una manciata di dimostrazioni in migliaia. Ecco cosa dicono realmente i numeri pubblicati, dove il divario sim-to-real si fa sentire e cosa deve ancora essere registrato.

TinyVLA e SmolVLA rendono un VLA funzionante disponibile con meno di 1 miliardo di parametri. Numeri reali da entrambi i paper, i valori predefiniti di lerobot, la latenza misurata e il costo di un'esecuzione su una scheda da 24 GB.

La tua macchina robotica non ha una GPU. Posiziona il server di policy GR00T su una GPU cloud noleggiata, trasmetti i chunk di azioni al braccio e scopri esattamente quanto ti costa la rete.

Addestra un Action Chunking Transformer da zero su un SO-100 con lerobot: la configurazione act, chunk_size e n_action_steps, la pianificazione a 100000 passi, inferenza a 20 ms.

GR00T N1.7, Pi0.5, SmolVLA, ACT o GR00T N1.5? Una tabella decisionale abbinata a situazioni reali, con i numeri di benchmark pubblicati, la latenza, il costo per esecuzione e le licenze dietro ogni scelta.

Prezzi reali delle GPU sul mercato spot, quanto tempo impiega l'esecuzione di ciascuna delle cinque policy, il costo del braccio e delle dimostrazioni, e i quattro punti in cui il denaro scompare silenziosamente.

Registra un dataset LeRobot utilizzabile con un SO-100: calibrazione, teleoperazione leader-follower, i veri flag e valori predefiniti di lerobot-record, configurazione della telecamera, conteggio degli episodi e i difetti che rovinano un'esecuzione.

SmolVLA è un VLA da 450 M parametri che si può ottimizzare su una singola scheda da 24 GB. Comandi reali di lerobot 0.6.1, i valori predefiniti effettivi, le insidie che costano una giornata e il costo di un'esecuzione.

Metti a punto Pi0.5, il VLA flow-matching di Physical Intelligence, sui tuoi dati robotici. Comandi reali per openpi e lerobot pi05, insidie del formato del dataset, limiti di VRAM e latenza.

Una guida pratica e testata per il fine-tuning di NVIDIA GR00T N1.7 su un dataset LeRobot SO-100: flag reali, modality.json, il requisito v2.1, il costo di un'esecuzione e le insidie.

Scopri come RoboTurk rivoluziona l'apprendimento robotico attraverso il crowdsourcing di dati di alta qualità tramite teleoperazione remota, consentendo set di dati scalabili per modelli AI nella robotica. Esplora il suo impatto sull'apprendimento per imitazione, sui modelli VLA e sul ROI per le aziende di robotica.

Scopri come Isaac Lab di NVIDIA rivoluziona l'apprendimento robotico multimodale attraverso simulazioni accelerate da GPU, consentendo un addestramento AI più rapido, una distribuzione scalabile e un ROI ottimizzato per ricercatori e aziende di robotica.

Scopri come Isaac Gym rivoluziona l'apprendimento dei robot con la simulazione fisica nativa per GPU, consentendo migliaia di ambienti paralleli per un rapido apprendimento per rinforzo, la formazione di modelli VLA e la teleoperazione efficiente di robot AI. Esplora benchmark, integrazione con PyTorch e applicazioni reali che colmano il divario sim-to-real.

Esplora come BC-Z rivoluziona l'apprendimento per imitazione robotica consentendo la generalizzazione di compiti zero-shot attraverso dati dimostrativi scalati. Scopri le leggi di scala, i modelli VLA, le migliori pratiche di teleoperazione e i vantaggi del ROI per le aziende di robotica e gli ingegneri AI.

Scopri come BridgeData V2 fornisce dati robotici a basso costo su larga scala, migliorando i metodi di apprendimento imitativo e l'apprendimento per rinforzo offline. Scopri i benchmark chiave, i modelli VLA nella robotica e i flussi di lavoro efficienti di teleoperazione robotica per la raccolta di dati di addestramento AI.

Scopri come la tecnica di corrispondenza del flusso di Pi-Zero, combinata con l'inizializzazione VLM, sta trasformando le politiche robotiche generaliste per il controllo destrezza. Scopri i suoi vantaggi rispetto ai metodi tradizionali, l'efficienza nei dati di addestramento AI per la robotica e le implicazioni per l'implementazione scalabile di robot nelle industrie.

Scopri come il modello di visione-linguaggio-azione RT-2 di Google rivoluziona il controllo dei robot trasferendo la conoscenza web alle azioni fisiche. Scopri la sua architettura, i metodi di addestramento, le capacità emergenti e le implicazioni per le aziende e gli operatori di robotica, inclusa l'integrazione con la teleoperazione per un addestramento efficiente dell'IA.

Scopri come il modello RT-2 di Google DeepMind rivoluziona la robotica AI enfatizzando il ruolo fondamentale dei dati di addestramento di alta qualità rispetto agli algoritmi avanzati. Questo articolo analizza gli esperimenti che dimostrano perché un'efficace raccolta dati è essenziale per le prestazioni dei robot nel mondo reale. Scopri come piattaforme come AY-Robots possono aiutare a colmare il divario nei dati di addestramento per le future innovazioni.

Scopri come il modello RT-2 Vision-Language-Action (VLA) di Google sta ridefinendo l'apprendimento dei robot integrando dati visivi, linguaggio naturale e azioni in tempo reale. Questa innovativa tecnologia AI migliora la raccolta di dati per i teleoperatori e aumenta l'efficienza nelle applicazioni robotiche. Esplora il suo potenziale impatto sul futuro dei robot guidati dall'AI su AY-Robots.