Blog

A step-by-step account of one human-gated DAgger round on an SO-100 arm: run the policy and record it, take over when it goes wrong, file the run as a correction, compose a mixed dataset, and continue training from a checkpoint. Includes the keyboard and slider takeover path for people without a leader arm, and the four mistakes that make a round worthless.

ఇంటర్‌వెన్‌షన్ రేట్ — ఇంటర్‌వెన్‌షన్ ఫ్రేమ్‌ల సంఖ్యను రన్‌లో మొత్తం ఫ్రేమ్‌ల సంఖ్యగా భాగించిన విలువ — మానవ నియంత్రిత DAgger లూప్ కలిగి ఉంటున్న చcheapest నిజమైన పురోగతి సంకేతం. ఈ కథ దానిని నిర్వచించిన విధంగా రెండు వ్యక్తులు ఒకే విలువను లెక్కించుకుంటారు, దానిని లాగ్ చేయడం ఎలాగో చూపుతుంది, మరియు నాలుగు విధాలైన విపరీతమైనవాటిని ఎదుర్కోవడం: సంచాలకుడి అలవాటు, ఎవాలుయేషన్ సెటప్ యొక్క గమనం, సరిదిద్దుకోవడం కోసం మాత్రమే శిక్షణ, మరియు సోమవారం కంటే మంగళవారం నేను ఇతరంగా సరిదిద్దుకుంటున్న మానవుడు.

సాధారణ DAgger రోబోట్ ఇప్పటికీ డ్రైవ్ చేస్తున్నప్పుడు మానవుడిని స్థితులను లేబుల్ చేయమని అడుగుతుంది. నిజమైన హార్డ్‌వేర్‌లో ఇది సురక్షితం కాదు మరియు చెత్త లేబుల్‌లను ఉత్పత్తి చేస్తుంది. నియంత్రిత వేరియంట్‌లు గోధూమ లేబుల్ చేయడానికి విధించిన గేట్‌తో ప్రత్యామ్నాయం చేస్తాయి: HG-DAggerలో మానవుడు, SafeDAggerలో సురక్షితత్వ వర్గీకరణదారు, EnsembleDAggerలో సమిష్టి విభేదం, ThriftyDAggerలో బడ్జెట్ చేయిన నవీనత-మరియు-ప్రమాణం అంచనా. ఈ వ్యాసం వాటిని ఎవరు గేట్ నిర్ణయిస్తారు, ఏ సంకేతం దానిని తెరుస్తుంది, మరియు ప్రతిదానికి ఎంత ఖర్చు అవుతుందో సరిపోల్చుతుంది — మరియు నిజమైన చేతిని కలిసి ఎందుకు మానవ-నియంత్రిత రూపం ఉనికిలో ఉంది.

ఆచారణ సంచిక్రణ నిపుణుల స్థితి పంపిణీపై ఒక విధానాన్ని సరిపోల్చుకుంది మరియు తరువాత దానిని స్వతంత్రంగా ప్రయోగించారు. ఆ రెండు పంపిణీల మధ్య అంతరం ఎందుకంటే ధ్రువీకరణలో సరిగ్గా కనిపించే విధానం ఆరోహణ 300 వద్ద టేబుల్ నుండి బయటకు వెళ్తుంది. ఇది మా DAgger సిరీస్ యొక్క సిద్ధాంత అధ్యాయం: చతురస్రాకార లోపం పదం ఎక్కడ నుండి వస్తుంది, డేటాసెట్ సమీకరణ ఏమిని మారుస్తుంది, పశ్చాత్తాపం లేని రుజువు ఏమిని సూచిస్తుంది, మరియు విల్లు యొక్క ఏ భాగం మానవ నిపుణుడు ఇంకా చెల్లించవలసి ఉంటుంది.

DROID, BridgeData V2 మరియు Open X-Embodiment లు 6 మరియు 7-DoF ఆర్మ్‌లపై 7-D ఎండ్-ఎఫెక్టర్ చర్యలుగా మార్చబడతాయి. ఒక SO-100 6 జాయింట్ పొజిషన్‌లను తీసుకుంటుంది. ఏమి బదిలీ అవుతుంది, ఏమి కాదు, బదులుగా ఏమి చేయాలి.

సిమ్యులేషన్ కొన్ని ప్రదర్శనలను వేల సంఖ్యలో గుణించగలదు. ప్రచురించబడిన సంఖ్యలు నిజంగా ఏమి చెబుతున్నాయో, సిమ్-టు-రియల్ గ్యాప్ ఎక్కడ ఇబ్బంది పెడుతుందో మరియు ఇంకా ఏమి రికార్డ్ చేయబడాలో ఇక్కడ ఉంది.

TinyVLA మరియు SmolVLA 1 బిలియన్ పారామీటర్ల లోపు పనిచేసే VLAని అందిస్తాయి. రెండు పేపర్‌ల నుండి వాస్తవ సంఖ్యలు, lerobot డిఫాల్ట్‌లు, కొలవబడిన లేటెన్సీ మరియు 24 GB కార్డ్‌లో ఒక రన్ ఎంత ఖర్చవుతుంది.

మీ రోబోట్ మెషీన్‌కు GPU లేదు. అద్దెకు తీసుకున్న క్లౌడ్ GPUలో GR00T పాలసీ సర్వర్‌ను ఉంచండి, యాక్షన్ చంక్‌లను ఆర్మ్‌కు స్ట్రీమ్ చేయండి మరియు నెట్‌వర్క్ మీకు ఎంత ఖర్చవుతుందో ఖచ్చితంగా తెలుసుకోండి.

lerobot తో SO-100 పై యాక్షన్ చంకింగ్ ట్రాన్స్‌ఫార్మర్‌ను మొదటి నుండి శిక్షణ ఇవ్వండి: act config, chunk_size మరియు n_action_steps, 100000 స్టెప్ షెడ్యూల్, 20 ms ఇన్ఫరెన్స్.

GR00T N1.7, Pi0.5, SmolVLA, ACT లేదా GR00T N1.5? నిజమైన పరిస్థితులకు సరిపోలే నిర్ణయ పట్టిక, ప్రచురించబడిన బెంచ్‌మార్క్ సంఖ్యలు, లేటెన్సీ, ఒక్కో రన్‌కు ఖర్చు మరియు ప్రతి ఎంపిక వెనుక ఉన్న లైసెన్స్‌లతో సహా.

నిజమైన స్పాట్-మార్కెట్ GPU ధరలు, ఐదు పాలసీలలో ప్రతి ఒక్కటి ఎంతసేపు నడుస్తుంది, ఆర్మ్ మరియు డెమాన్‌స్ట్రేషన్‌లకు ఎంత ఖర్చవుతుంది, మరియు డబ్బు నిశ్శబ్దంగా అదృశ్యమయ్యే నాలుగు ప్రదేశాలు.

SO-100తో ఉపయోగించదగిన LeRobot డేటాసెట్‌ను రికార్డ్ చేయండి: క్రమాంకనం, లీడర్-ఫాలోవర్ టెలిఆపరేషన్, నిజమైన lerobot-record ఫ్లాగ్‌లు మరియు డిఫాల్ట్‌లు, కెమెరా సెటప్, ఎపిసోడ్ గణనలు మరియు రన్‌ను పాడుచేసే లోపాలు.

SmolVLA అనేది ఒకే 24 GB కార్డ్‌లో ఫైన్-ట్యూన్ చేయబడే 450 M పారామీటర్ VLA. నిజమైన lerobot 0.6.1 కమాండ్‌లు, అసలు డిఫాల్ట్‌లు, ఒక రోజు సమయం తీసుకునే సమస్యలు మరియు ఒక రన్ ఖర్చు ఎంత.

ఫిజికల్ ఇంటెలిజెన్స్ నుండి ఫ్లో-మ్యాచింగ్ VLA అయిన Pi0.5ని మీ స్వంత రోబోట్ డేటాపై ఫైన్-ట్యూన్ చేయండి. openpi మరియు lerobot pi05 కోసం నిజమైన ఆదేశాలు, డేటాసెట్ ఫార్మాట్ సమస్యలు, VRAM మరియు లేటెన్సీ పరిమితులు.

SO-100 LeRobot డేటాసెట్‌పై NVIDIA GR00T N1.7ని ఫైన్-ట్యూనింగ్ చేయడానికి పరీక్షించబడిన వాక్‌త్రూ: నిజమైన ఫ్లాగ్‌లు, modality.json, v2.1 అవసరం, ఒక రన్ ఎంత ఖర్చవుతుంది మరియు ఎదురయ్యే సమస్యలు.

Discover how NVIDIA's Isaac Lab revolutionizes multi-modal robot learning through GPU-accelerated simulations, enabling faster AI training, scalable deployment, and optimized ROI for robotics researchers and companies.

Discover how Pi-Zero's flow-matching technique, combined with VLM initialization, is transforming generalist robot policies for dexterous control. Learn about its advantages over traditional methods, efficiency in AI training data for robotics, and implications for scalable robot deployment in industries.

అధునాతన అల్గారిథమ్‌ల కంటే అధిక-నాణ్యమైన శిక్షణ డేటా యొక్క కీలక పాత్రను నొక్కి చెబుతూ Google DeepMind యొక్క RT-2 మోడల్ AI రోబోటిక్స్‌లో ఎలా విప్లవాత్మక మార్పులు చేసిందో తెలుసుకోండి. వాస్తవ-ప్రపంచ రోబోట్ పనితీరుకు సమర్థవంతమైన డేటా సేకరణ ఎందుకు అవసరమో ఈ కథనం వివరిస్తుంది. భవిష్యత్తు ఆవిష్కరణల కోసం శిక్షణ డేటాలోని అంతరాన్ని తగ్గించడంలో AY-Robots వంటి ప్లాట్‌ఫారమ్‌లు ఎలా సహాయపడతాయో తెలుసుకోండి.

Google యొక్క RT-2 విజన్-లాంగ్వేజ్-యాక్షన్ (VLA) మోడల్ దృశ్య డేటా, సహజ భాష మరియు నిజ-సమయ చర్యలను ఏకీకృతం చేయడం ద్వారా రోబోట్ లెర్నింగ్‌ను ఎలా మారుస్తుందో తెలుసుకోండి. ఈ వినూత్న AI సాంకేతికత టెలిఆపరేటర్ల కోసం డేటా సేకరణను మెరుగుపరుస్తుంది మరియు రోబోటిక్స్ అనువర్తనాల్లో సామర్థ్యాన్ని పెంచుతుంది. AY-Robots వద్ద AI-ఆధారిత రోబోట్ల భవిష్యత్తుపై దాని సంభావ్య ప్రభావాన్ని అన్వేషించండి.