Blog

Ein Schritt-für-Schritt-Bericht einer menschlich kontrollierten DAgger-Runde auf einem SO-100 Arm: Policy ausführen und aufzeichnen, übernehmen wenn es schiefgeht, die Durchführung als Korrektur einordnen, einen gemischten Datensatz zusammenstellen und ab einem Checkpoint weitertrain. Enthält den Tastatur- und Schieberegler-Übergabeweg für Nutzer ohne Leader-Arm und die vier Fehler, die eine Runde wertlos machen.

Die Interventionsrate – Interventionsframes dividiert durch die Frames des Laufs – ist das billigste ehrliche Fortschrittssignal, das eine von Menschen bewachte DAgger-Schleife hat. Dieser Artikel definiert sie so, dass zwei Personen den gleichen Wert berechnen, zeigt, wie man sie protokolliert, und behandelt die vier Wege, auf denen sie Sie in die Irre führt: Bedienerprofessionalisierung, eine abtriftende Evaluierungsaufstellung, Training nur auf Korrektionen und ein Mensch, der am Dienstag anders korrigiert als am Montag.

Das ursprüngliche DAgger verlangt von einem Menschen, während der Roboter noch fährt, Zustände zu labeln. Auf echter Hardware ist das unsicher und erzeugt schlechte Labels. Die Gated Varianten ersetzen blindes Labeling durch eine Schleuse, die jemand halten muss: der Mensch bei HG-DAgger, ein Sicherheitsklassifizierer bei SafeDAgger, die Uneinigkeit eines Ensembles bei EnsembleDAgger, eine budgetierte Neuartigkeits- und Risikoschaetzer bei ThriftyDAgger. Dieser Artikel vergleicht sie danach, wer die Schleuse bedient, welches Signal sie oeffnet, und welche Kosten sie jeweils hat — und warum die durch den Menschen gesteuerte Form die ist, die den Kontakt mit einem echten Arm übersteht.

Behavior Cloning passt eine Policy auf die Zustandsverteilung des Experten an und wird dann eigenständig eingesetzt. Die Lücke zwischen diesen beiden Verteilungen ist der Grund, warum eine Policy, die bei der Validierung gut aussieht, beim Schritt 300 vom Tisch fällt. Dies ist das Theorie-Kapitel unserer DAgger-Serie: woher der quadratische Fehlerterm kommt, was Dataset Aggregation ändert, was der No-Regret-Beweis voraussetzt, und welchen Teil der Rechnung der menschliche Experte immer noch bezahlen muss.

DROID, BridgeData V2 und Open X-Embodiment werden in 7-D Endeffektor-Aktionen für 6- und 7-DoF-Arme umgewandelt. Ein SO-100 benötigt 6 Gelenkpositionen. Was übertragbar ist, was nicht, und was stattdessen zu tun ist.

Simulation kann eine Handvoll Demonstrationen in Tausende vervielfachen. Hier erfahren Sie, was die veröffentlichten Zahlen wirklich aussagen, wo die Sim-to-Real-Lücke zuschlägt und was noch aufgezeichnet werden muss.

TinyVLA und SmolVLA bringen ein funktionierendes VLA unter 1 Milliarde Parameter. Echte Zahlen aus beiden Papieren, die LeRobot-Standardeinstellungen, gemessene Latenz und was ein Durchlauf auf einer 24-GB-Karte kostet.

Ihre Robotermaschine hat keine GPU. Platzieren Sie den GR00T-Policy-Server auf einer gemieteten Cloud-GPU, streamen Sie Aktions-Chunks an den Arm und erfahren Sie genau, was das Netzwerk Sie kostet.

Trainieren Sie einen Action Chunking Transformer von Grund auf auf einem SO-100 mit lerobot: die act config, chunk_size und n_action_steps, den 100000-Schritt-Zeitplan, 20 ms Inferenz.

GR00T N1.7, Pi0.5, SmolVLA, ACT oder GR00T N1.5? Eine Entscheidungstabelle, abgestimmt auf reale Situationen, mit den veröffentlichten Benchmark-Zahlen, Latenz, Kosten pro Lauf und Lizenzen hinter jeder Wahl.

Reale Spotmarkt-GPU-Preise, wie lange jede der fünf Policies läuft, was der Arm und die Demonstrationen kosten und die vier Stellen, an denen das Geld still und leise verschwindet.

Nehmen Sie einen nutzbaren LeRobot-Datensatz mit einem SO-100 auf: Kalibrierung, Leader-Follower-Teleoperation, die echten lerobot-record Flags und Standardwerte, Kamera-Setup, Episodenanzahl und die Defekte, die einen Durchlauf ruinieren.

SmolVLA ist ein VLA mit 450 Millionen Parametern, das auf einer einzelnen 24 GB Karte feinabgestimmt werden kann. Echte lerobot 0.6.1 Befehle, die tatsächlichen Standardeinstellungen, die Fallstricke, die einen Tag kosten können, und was ein Durchlauf kostet.

Fine-tune Pi0.5, das Flow-Matching VLA von Physical Intelligence, mit Ihren eigenen Roboterdaten. Echte Befehle für openpi und lerobot pi05, Fallstricke im Datensatzformat, VRAM- und Latenzgrenzen.

Eine erprobte Anleitung zur Feinabstimmung von NVIDIA GR00T N1.7 auf einem SO-100 LeRobot Datensatz: echte Flags, modality.json, die v2.1-Anforderung, was ein Durchlauf kostet und die Fallstricke.

Entdecken Sie Expertenstrategien zur Erfassung hochwertiger VLA-Trainingsdaten zur Verbesserung von Robotermanipulationsaufgaben. Erfahren Sie mehr über Teleoperationsmethoden, Datenerweiterung, Benchmarks und skalierbare Ansätze zur Optimierung von KI-Modellen für die Robotik.

Entdecken Sie alles, was Sie über den SO-100 Roboterarm wissen müssen, von der Ersteinrichtung und Teleoperationstechniken bis hin zum fortgeschrittenen KI-Training mit VLA-Modellen. Dieser umfassende Leitfaden ist ideal für Robotikforscher, KI-Ingenieure und Bediener, die ihre Arbeitsabläufe optimieren und eine skalierbare Robotereinführung erreichen möchten.

Entdecken Sie, wie NVIDIAs Isaac Lab das multimodale Roboterlernen durch GPU-beschleunigte Simulationen revolutioniert und schnelleres KI-Training, skalierbare Bereitstellung und optimierten ROI für Robotikforscher und Unternehmen ermöglicht.

Discover how Isaac Gym revolutionizes robot learning with GPU-native physics simulation, enabling thousands of parallel environments for rapid reinforcement learning, VLA models training, and efficient AI robot teleoperation. Explore benchmarks, integration with PyTorch, and real-world applications that bridge the sim-to-real gap.

Discover how RoboTurk revolutionizes robot learning by crowdsourcing high-quality data through remote teleoperation, enabling scalable datasets for AI models in robotics. Explore its impact on imitation learning, VLA models, and ROI for robotics companies.

Erfahren Sie, wie BC-Z das robotergestützte Imitationslernen revolutioniert, indem es Zero-Shot-Aufgabengeneralisierung durch skalierte Demonstrationsdaten ermöglicht. Entdecken Sie Skalierungsgesetze, VLA-Modelle, Best Practices für die Teleoperation und ROI-Vorteile für Robotikunternehmen und KI-Ingenieure.

Discover how the DROID Dataset, a large-scale robot manipulation dataset, is transforming AI training for robots with over 76,000 demonstrations from real-world environments. Learn about its impact on VLA models, benchmarks, and scalable data collection methods for robotics companies.

Erfahren Sie, wie BridgeData V2 kostengünstige Roboterdaten in großem Maßstab bereitstellt und so Imitation Learning-Methoden sowie Offline Reinforcement Learning verbessert. Entdecken Sie wichtige Benchmarks, VLA-Modelle in der Robotik und effiziente Workflows für die Roboter-Teleoperation zur Erfassung von KI-Trainingsdaten.

Discover how Open X-Embodiment, a collaborative dataset spanning over 20 robot embodiments, is transforming robot learning. Learn about RT-X models, cross-embodiment generalization, and practical strategies for robotics companies to boost ROI through efficient data collection and teleoperation.

Entdecken Sie, wie die Flow-Matching-Technik von Pi-Zero in Kombination mit VLM-Initialisierung generalistische Roboter-Policies für die geschickte Steuerung transformiert. Erfahren Sie mehr über die Vorteile gegenüber herkömmlichen Methoden, die Effizienz bei KI-Trainingsdaten für die Robotik und die Auswirkungen auf den skalierbaren Robotereinsatz in der Industrie.

Discover how Google's RT-2 Vision-Language-Action Model revolutionizes robot control by transferring web knowledge to physical actions. Learn about its architecture, training methods, emergent capabilities, and implications for robotics companies and operators, including integration with teleoperation for efficient AI training.

Erfahren Sie, wie Vision-Language-Action (VLA)-Modelle das Roboterlernen revolutionieren, indem sie Vision, Sprache und Aktion für eine intelligentere und effizientere Robotik integrieren. Entdecken Sie Architekturen, Trainingsmethoden, Benchmarks und den ROI für den Einsatz in diesem umfassenden Leitfaden.

Entdecken Sie, wie das RT-2 Vision-Language-Action (VLA)-Modell von Google das Robotik-Lernen neu gestaltet, indem es visuelle Daten, natürliche Sprache und Echtzeitaktionen integriert. Diese innovative KI-Technologie verbessert die Datenerhebung für Fernbediener und steigert die Effizienz in Robotikanwendungen. Erkunden Sie ihren potenziellen Einfluss auf die Zukunft von KI-gesteuerten Robotern bei AY-Robots.

Entdecken Sie, wie das RT-2-Modell von Google DeepMind die KI-Robotik revolutioniert, indem es die entscheidende Rolle hochwertiger Trainingsdaten über fortgeschrittene Algorithmen betont. Dieser Artikel analysiert die Experimente, die zeigen, warum effektive Datensammlung für die Leistung von Robotern in der realen Welt unerlässlich ist. Erfahren Sie, wie Plattformen wie AY-Robots helfen können, die Lücke in den Trainingsdaten für zukünftige Innovationen zu schließen.