Blog

Korak po korak opis jedne ljudski vođene DAgger runde na SO-100 kraku: pokrenite politiku i snimite je, preuzimite kada nešto pođe po zlu, zabilježite kao korekciju, sastavite mješoviti skup podataka i nastavite treniranje od kontrolne točke. Uključuje putanju preuzimanja putem tipkovnice i klizača za ljude bez voditeljskog kraka, te četiri greške koje čine rundu beskorisnom.

Stopa intervencije - okviri intervencije podijeljeni s okvirima vožnje - najnegovanija je i najbrojnija mjera napretka koju ima ljudski kontrolirana DAgger petlja. Ovaj članak je definira tako da je dva čovjeka mogu izračunati istu vrijednost, pokazuje kako je zapisati, i prolazi kroz četiri načina na koja vas zavodi: navika operatora, pomicanja protokola evaluacije, treniranja samo na korekcijama i čovjeka koji korigira drugačije u utorak nego u ponedjeljak.

Obični DAgger traži od čovjeka da označi stanja dok robot i dalje vozi. Na stvarnom hardveru to je nesigurno i daje loše oznake. Gatirane varijante zamjenjuju slijepo označavanje gatom koju netko mora držati: čovjek u HG-DAgger-u, sigurnosni klasifikator u SafeDAgger-u, različitost ansambla u EnsembleDAgger-u, procijenjeni budžet za novost i rizik u ThriftyDAgger-u. Ovaj članak uspoređuje ih prema tome tko drži gatu, koji signal je otvara i što svaka košta — i zašto ljudski-gatirani oblik preživljava kontakt sa stvarnom rukom.

Behavior cloning prilagođava policy na distribuciju stanja eksperta i zatim se primjenjuje na svojoj. Razlika između te dvije distribucije je razlog što policy koji izgleda dobro pri validaciji padne sa stola na koraku 300. Ovo je teorijski dio naše DAgger serije: odakle dolazi kvadratni izraz greške, što dataset aggregation mijenja, što dokaz bez žaljenja pretpostavlja, i koji dio računa još uvijek mora platiti ljudski ekspert.

DROID, BridgeData V2 i Open X-Embodiment pretvaraju se u 7-D akcije krajnjeg efektora na rukama sa 6 i 7 stupnjeva slobode. SO-100 prihvaća 6 pozicija zglobova. Što se prenosi, što ne, i što učiniti umjesto toga.

Simulacija može umnožiti pregršt demonstracija u tisuće. Evo što objavljeni brojevi stvarno govore, gdje sim-to-real jaz predstavlja problem i što se još mora snimiti.

TinyVLA i SmolVLA stavljaju funkcionalni VLA ispod 1 milijarde parametara. Stvarni brojevi iz oba rada, zadane postavke LeRobota, izmjerena latencija i koliko košta pokretanje na kartici od 24 GB.

Vaš robotski stroj nema GPU. Postavite GR00T poslužitelj pravila na unajmljeni GPU u oblaku, streamajte dijelove akcija na ruku i saznajte točno koliko vas košta mreža.

Trenirajte Action Chunking Transformer od nule na SO-100 s lerobot-om: act konfiguracija, chunk_size i n_action_steps, raspored od 100000 koraka, 20 ms inferencija.

GR00T N1.7, Pi0.5, SmolVLA, ACT ili GR00T N1.5? Tablica odluka usklađena sa stvarnim situacijama, s objavljenim benchmark brojevima, latencijom, troškom po pokretanju i licencama iza svakog izbora.

Stvarne cijene GPU-a na spot tržištu, koliko dugo traje izvođenje svake od pet politika, koliko koštaju ruka i demonstracije, i četiri mjesta gdje novac tiho nestaje.

Snimite upotrebljiv LeRobot skup podataka s SO-100: kalibracija, teleoperacija vođa-sljedbenik, stvarne lerobot-record zastavice i zadane vrijednosti, postavke kamere, broj epizoda i nedostaci koji kvare izvođenje.

SmolVLA je VLA s 450 milijuna parametara koji se fino podešava na jednoj 24 GB kartici. Stvarne lerobot 0.6.1 naredbe, stvarne zadane postavke, zamke koje koštaju cijeli dan i koliko košta jedno pokretanje.

Fino podesite Pi0.5, VLA model za podudaranje toka (flow-matching VLA) tvrtke Physical Intelligence, na vlastitim robotskim podacima. Stvarne naredbe za openpi i lerobot pi05, zamke formata skupa podataka, ograničenja VRAM-a i latencije.

Provjereni vodič za fino podešavanje NVIDIA GR00T N1.7 na SO-100 LeRobot skupu podataka: stvarne zastavice, modality.json, zahtjev v2.1, koliko košta pokretanje i zamke.

Otkrijte kako RoboTurk revolucionira učenje robota putem crowdsourcinga visokokvalitetnih podataka kroz udaljenu teleoperaciju, omogućujući skalabilne skupove podataka za AI modele u robotici. Istražite njegov utjecaj na učenje imitacijom, VLA modele i ROI za tvrtke u robotici.

Otkrijte kako tehnika usklađivanja toka Pi-Zero, u kombinaciji s VLM inicijalizacijom, transformira generalističke politike robota za vještu kontrolu. Saznajte više o njegovim prednostima u odnosu na tradicionalne metode, učinkovitosti u podacima za obuku umjetne inteligencije za robotiku i implikacijama za skalabilno raspoređivanje robota u industrijama.

Otkrijte kako Isaac Gym revolucionira učenje robota s GPU-nativnom fizikalnom simulacijom, omogućujući tisuće paralelnih okruženja za brzo učenje s pojačanjem, obuku VLA modela i učinkovito teleoperiranje AI robota. Istražite mjerila, integraciju s PyTorchem i primjene u stvarnom svijetu koje premošćuju jaz između simulacije i stvarnosti.

Otkrijte kako Googleov RT-2 model vizije, jezika i akcije revolucionizira upravljanje robotima prenošenjem web znanja na fizičke radnje. Saznajte više o njegovoj arhitekturi, metodama obuke, emergentnim sposobnostima i implikacijama za tvrtke i operatere u području robotike, uključujući integraciju s teleoperacijama za učinkovito AI treniranje.

Otkrijte kako RT-2 model tvrtke Google DeepMind revolucionira AI robotiku naglašavajući ključnu ulogu visokokvalitetnih podataka za obuku u odnosu na napredne algoritme. Ovaj članak razlaže eksperimente koji pokazuju zašto je učinkovito prikupljanje podataka ključno za performanse robota u stvarnom svijetu. Saznajte kako platforme poput AY-Robots mogu pomoći premostiti jaz u podacima za obuku za buduće inovacije.

Otkrijte kako RT-2 model vida, jezika i akcije (VLA) od Googlea preoblikuje učenje robota integriranjem vizualnih podataka, prirodnog jezika i akcija u stvarnom vremenu. Ova inovativna AI tehnologija poboljšava prikupljanje podataka za teleoperatore i povećava učinkovitost u robotskim aplikacijama. Istražite njegov potencijalni utjecaj na budućnost robota vođenih umjetnom inteligencijom na AY-Robots.