Blog

Detaljno pregled jedne DAgger runde sa ljudskim vremenima na SO-100 armu: pokrenite politiku i zabeležite je, preuzite je kada krene po zlu, zabeležite izvršavanje kao korekciju, sastavite mešoviti skup podataka i nastavite obuku od kontrolne tačke. Uključuje putanju preuzimanja preko tastature i klizača za ljude bez lidera, i četiri greške koje čine rundu beskorisnom.

Stopa intervencije - okviri intervencije podijeljeni s okvirima pokretanja - je najjeftiniji iskren signal napretka koji humana gatera DAgger petlja ima. Ovaj članak je definiše tako da dvije osobe računaju istu vrijednost, pokazuje kako je logirati, i prolazi kroz četiri načina na koja vas zavodi: operatorska habituacija, pomjerena postavka evaluacije, treniranje samo na ispravkama, i čovjek koji ispravljač drugačije u utorak nego u ponedjeljak.

Obični DAgger traži od čovjeka da označi stanja dok robot još vozi. Na stvarnom hardveru to nije sigurno i stvara loše oznake. Kontrolirane varijante zamjenjuju slijepo označavanje sa vratima koja netko mora držati: čovjek u HG-DAgger-u, sigurnosni klasifikator u SafeDAgger-u, neslaganje ansambla u EnsembleDAgger-u, budžetirana procjena novosti i rizika u ThriftyDAgger-u. Ovaj članak ih uspoređuje prema tome tko posjeduje vrata, koji signal ih otvara i što svaki koštaju — i zašto oblik kontroliran čovjekom je onaj koji preživi susret sa stvarnim rukom.

Behavior cloning uklapa politiku na distribuciju stanja eksperta i zatim je implementira sa vlastitom. Razlika između te dvije distribucije je razlog što politika koja izgleda dobro pri validaciji pada sa stola u koraku 300. Ovo je теorijski dio naše DAgger serije: odakle dolazi kvadratni termin greške, što dataset aggregation mijenja, što dokaz bez kajanja pretpostavlja i koji dio računa čovjek-ekspert još mora platiti.

DROID, BridgeData V2 i Open X-Embodiment se konvertuju u 7-D akcije krajnjeg efektora na rukama sa 6 i 7 stepeni slobode (DoF). SO-100 prihvata 6 pozicija zglobova. Šta se prenosi, šta ne, šta umesto toga učiniti.

Simulacija može umnožiti pregršt demonstracija u hiljade. Evo šta objavljeni brojevi zaista govore, gdje sim-to-real jaz grize i šta još treba snimiti.

TinyVLA i SmolVLA stavljaju funkcionalni VLA ispod 1 milijarde parametara. Stvarni brojevi iz oba rada, zadane postavke lerobota, izmjerena latencija i koliko košta pokretanje na kartici od 24 GB.

Vaša robotska mašina nema GPU. Postavite GR00T server politike na iznajmljeni GPU u oblaku, strimujte dijelove akcija do ruke i saznajte tačno koliko vas košta mreža.

Trenirajte Action Chunking Transformer od nule na SO-100 sa lerobot: act konfiguracija, chunk_size i n_action_steps, raspored od 100000 koraka, 20 ms inferencija.

GR00T N1.7, Pi0.5, SmolVLA, ACT ili GR00T N1.5? Tabela odluka usklađena sa stvarnim situacijama, sa objavljenim benchmark brojevima, latencijom, troškom po pokretanju i licencama iza svakog izbora.

Stvarne cijene GPU-a na spot tržištu, koliko dugo traje pokretanje svake od pet politika, koliko koštaju ruka i demonstracije, i četiri mjesta gdje novac tiho nestaje.

Snimite upotrebljiv LeRobot skup podataka sa SO-100: kalibracija, teleoperacija vođa-pratilac, stvarne lerobot-record zastavice i podrazumevane vrednosti, postavka kamere, broj epizoda i defekti koji kvare izvođenje.

SmolVLA je VLA sa 450 M parametara koji se fino podešava na jednoj 24 GB kartici. Stvarne lerobot 0.6.1 komande, stvarne podrazumevane vrednosti, zamke koje koštaju dan i koliko košta jedno pokretanje.

Fino podesite Pi0.5, VLA model za podudaranje toka (flow-matching VLA) tvrtke Physical Intelligence, na vlastitim robotskim podacima. Stvarne komande za openpi i lerobot pi05, zamke formata skupa podataka, ograničenja VRAM-a i latencije.

Provjereni vodič za fino podešavanje NVIDIA GR00T N1.7 na SO-100 LeRobot skupu podataka: stvarne zastavice, modality.json, zahtjev v2.1, koliko košta pokretanje i zamke.

Otkrijte kako RoboTurk revolucionira učenje robota putem crowdsourcinga visokokvalitetnih podataka kroz udaljenu teleoperaciju, omogućavajući skalabilne skupove podataka za AI modele u robotici. Istražite njegov utjecaj na učenje imitacijom, VLA modele i ROI za robotske tvrtke.

Otkrijte kako Pi-Zero tehnika usklađivanja toka, u kombinaciji s VLM inicijalizacijom, transformira generalističke politike robota za vještu kontrolu. Saznajte više o njegovim prednostima u odnosu na tradicionalne metode, učinkovitosti u podacima za obuku umjetne inteligencije za robotiku i implikacijama za skalabilno raspoređivanje robota u industrijama.

Otkrijte kako Isaac Gym revolucionira učenje robota pomoću GPU-nativne fizikalne simulacije, omogućavajući hiljade paralelnih okruženja za brzo učenje putem pojačanja, obuku VLA modela i efikasnu AI robotsku teleoperaciju. Istražite mjerila, integraciju s PyTorchom i stvarne aplikacije koje premošćuju jaz između simulacije i stvarnosti.

Istražite kako BridgeData V2 pruža jeftine robotske podatke u velikom obimu, poboljšavajući metode učenja imitacijom i offline učenje s pojačanjem. Otkrijte ključne mjerila, VLA modele u robotici i efikasne radne tokove robotske teleoperacije za prikupljanje podataka za obuku AI.

Discover how Pi-Zero's flow-matching technique, combined with VLM initialization, is transforming generalist robot policies for dexterous control. Learn about its advantages over traditional methods, efficiency in AI training data for robotics, and implications for scalable robot deployment in industries.

Otkrijte kako Googleov RT-2 model vizije-jezika-akcije revolucionira kontrolu robota prenošenjem znanja s weba na fizičke akcije. Saznajte više o njegovoj arhitekturi, metodama obuke, emergentnim sposobnostima i implikacijama za robotske tvrtke i operatere, uključujući integraciju s teleoperacijom za učinkovitu obuku umjetne inteligencije.

Otkrijte kako RT-2 model Google DeepMind-a revolucionira AI robotiku naglašavajući ključnu ulogu visokokvalitetnih podataka za obuku u odnosu na napredne algoritme. Ovaj članak razlaže eksperimente koji pokazuju zašto je efikasno prikupljanje podataka ključno za performanse robota u stvarnom svijetu. Saznajte kako platforme poput AY-Robots mogu pomoći u premošćivanju jaza u podacima za obuku za buduće inovacije.

Otkrijte kako RT-2 model vida, jezika i akcije (VLA) od Googlea preoblikuje učenje robota integracijom vizuelnih podataka, prirodnog jezika i akcija u stvarnom vremenu. Ova inovativna AI tehnologija poboljšava prikupljanje podataka za teleoperatere i povećava efikasnost u robotskim aplikacijama. Istražite njegov potencijalni uticaj na budućnost robota vođenih umjetnom inteligencijom na AY-Robots.