Blog

Een stap-voor-stap verslag van één menselijk-gated DAgger-ronde op een SO-100 arm: voer het beleid uit en neem het op, neem over wanneer het fout gaat, dien de run in als correctie, stel een gemengde dataset samen en ga verder met trainen vanuit een checkpoint. Inclusief het keyboard- en schuifregelaartakeover-pad voor mensen zonder leidarme, en de vier fouten die een ronde waardeloos maken.

Het interventiepercentage – interventieframes gedeeld door de frames van de run – is het goedkoopste eerlijke voortgangssignaal dat een human-gated DAgger-lus heeft. Dit artikel definieert het zodat twee personen dezelfde waarde berekenen, laat zien hoe je het registreert, en gaat door de vier manieren waarop het je misleidt: exploitanthabituatie, een driftende evaluatieopstelling, training alleen op correcties, en een mens die dinsdag anders corrigeert dan maandag.

Plain DAgger vraagt een mens om toestanden te labelen terwijl de robot nog steeds rijdt. Op echte hardware is dat onveilig en het levert slechte labels op. De gated varianten vervangen blind labelen met een poort die iemand vast moet houden: de mens in HG-DAgger, een veiligheidsclassificeerder in SafeDAgger, de meningsverschillen van een ensemble in EnsembleDAgger, een begrotingsvastgestelde novelty-en-risicoschattingen in ThriftyDAgger. Dit artikel vergelijkt ze naar wie eigenaar is van de poort, welk signaal het opent, en wat elk ervan kost — en waarom de human-gated vorm degene is die stand houdt tegen contact met een echte arm.

Behavior cloning past een policy in op de staatsverdeling van de expert en wordt vervolgens op eigen kracht ingezet. De kloof tussen die twee verdelingen is waarom een policy die bij validatie goed lijkt, in stap 300 van tafel valt. Dit is het theoriehoofstuk van onze DAgger-serie: waar de kwadratische foutenterm vandaan komt, wat dataset aggregation verandert, wat het no-regret bewijs aanneemt, en welk deel van de rekening de mensenexpert nog moet betalen.

DROID, BridgeData V2 en Open X-Embodiment converteren naar 7-D eind-effector acties op 6- en 7-DoF armen. Een SO-100 accepteert 6 gewrichtsposities. Wat overdraagbaar is, wat niet, en wat in plaats daarvan te doen.

Simulatie kan een handvol demonstraties vermenigvuldigen tot duizenden. Hier is wat de gepubliceerde cijfers echt zeggen, waar de sim-naar-echt kloof toeslaat, en wat nog steeds moet worden opgenomen.

TinyVLA en SmolVLA plaatsen een werkende VLA onder 1 miljard parameters. Echte cijfers uit beide papers, de lerobot standaardinstellingen, gemeten latentie, en wat een run kost op een 24 GB kaart.

Je robotmachine heeft geen GPU. Plaats de GR00T beleidsserver op een gehuurde cloud-GPU, stream actiechunks naar de arm en ontdek precies wat het netwerk je kost.

Train een Action Chunking Transformer vanaf nul op een SO-100 met lerobot: de act config, chunk_size en n_action_steps, het 100000-stappen schema, 20 ms inferentie.

GR00T N1.7, Pi0.5, SmolVLA, ACT of GR00T N1.5? Een beslissingstabel afgestemd op reële situaties, met de gepubliceerde benchmarkcijfers, latentie, kosten per uitvoering en licenties achter elke keuze.

Werkelijke spotmarkt GPU-prijzen, hoe lang elk van de vijf beleidsregels draait, wat de robotarm en de demonstraties kosten, en de vier plaatsen waar het geld stilletjes verdwijnt.

Neem een bruikbare LeRobot-dataset op met een SO-100: kalibratie, leader-follower teleoperatie, de echte lerobot-record flags en standaardinstellingen, camera-instelling, aantal afleveringen en de defecten die een run verpesten.

SmolVLA is een VLA met 450 miljoen parameters die finetunet op één enkele 24 GB kaart. Echte lerobot 0.6.1 commando's, de werkelijke standaardinstellingen, de valkuilen die een dag kosten, en wat een run kost.

Finetune Pi0.5, de flow-matching VLA van Physical Intelligence, met je eigen robotdata. Echte commando's voor openpi en lerobot pi05, valkuilen in datasetformaten, VRAM- en latentielimieten.

Een geteste handleiding voor het finetunen van NVIDIA GR00T N1.7 op een SO-100 LeRobot dataset: echte flags, modality.json, de v2.1 vereiste, wat een run kost, en de valkuilen.

Ontdek hoe RoboTurk een revolutie teweegbrengt in robotleren door het crowdsourcen van hoogwaardige data via teleoperatie op afstand, waardoor schaalbare datasets mogelijk worden voor AI-modellen in de robotica. Onderzoek de impact ervan op imitatie-leren, VLA-modellen en ROI voor robotica-bedrijven.

Ontdek hoe de flow-matching techniek van Pi-Zero, gecombineerd met VLM-initialisatie, generalistische robot policies transformeert voor behendige besturing. Leer over de voordelen ten opzichte van traditionele methoden, efficiëntie in AI-trainingsdata voor robotica en implicaties voor schaalbare robotimplementatie in industrieën.

Ontdek hoe NVIDIA's Isaac Lab een revolutie teweegbrengt in multi-modale robot learning door middel van GPU-versnelde simulaties, waardoor snellere AI-training, schaalbare implementatie en geoptimaliseerde ROI mogelijk worden voor robotica-onderzoekers en -bedrijven.

Discover how Isaac Gym revolutionizes robot learning with GPU-native physics simulation, enabling thousands of parallel environments for rapid reinforcement learning, VLA models training, and efficient AI robot teleoperation. Explore benchmarks, integration with PyTorch, and real-world applications that bridge the sim-to-real gap.

Ontdek hoe BC-Z een revolutie teweegbrengt in robotic imitation learning door zero-shot task generalisatie mogelijk te maken via geschaalde demonstratiegegevens. Ontdek schaalwetten, VLA-modellen, best practices voor teleoperatie en ROI-voordelen voor robotbedrijven en AI-engineers.

Ontdek hoe BridgeData V2 goedkope robotdata op schaal biedt, waardoor methoden voor imitatie-leren en offline reinforcement learning worden verbeterd. Ontdek belangrijke benchmarks, VLA-modellen in de robotica en efficiënte workflows voor robot-teleoperatie voor het verzamelen van AI-trainingsgegevens.

Ontdek hoe Google's RT-2 Vision-Language-Action Model een revolutie teweegbrengt in de robotbesturing door webkennis over te dragen naar fysieke acties. Leer meer over de architectuur, trainingsmethoden, opkomende mogelijkheden en implicaties voor robotbedrijven en -operators, inclusief integratie met teleoperatie voor efficiënte AI-training.

Ontdek hoe Google DeepMind's RT-2 model AI robotica revolutioneert door de nadruk te leggen op de cruciale rol van hoogwaardige trainingsdata boven geavanceerde algoritmen. Dit artikel ontleedt de experimenten die aantonen waarom effectieve dataverzameling essentieel is voor real-world robotprestaties. Leer hoe platforms zoals AY-Robots kunnen helpen de kloof in trainingsdata te overbruggen voor toekomstige innovaties.

Ontdek hoe Google's RT-2 Visie-Taal-Actie (VLA) model het robotleren hervormt door visuele data, natuurlijke taal en real-time acties te integreren. Deze innovatieve AI-technologie verbetert de dataverzameling voor teleoperators en verhoogt de efficiëntie in robotica-toepassingen. Verken de potentiële impact op de toekomst van AI-gestuurde robots bij AY-Robots.