Blog

Пошаговый отчёт об одном человеко-контролируемом DAgger-цикле на SO-100: запустите политику и записывайте её, берите управление, когда она ошибается, подавайте цикл как корректировку, составьте смешанный датасет и продолжайте обучение с контрольной точки. Включает путь перехвата клавиатурой и слайдерами для тех, у кого нет leader-arm, и четыре ошибки, которые делают цикл бесполезным.

Коэффициент вмешательства (кадры вмешательства, разделённые на кадры прогона) — это самый дешёвый честный сигнал прогресса, который имеет DAgger-цикл под управлением человека. Эта статья определяет его так, чтобы два человека получили одно и то же значение, показывает, как его регистрировать, и разбирает четыре способа, которыми он вас вводит в заблуждение: привыкание оператора, дрейф оценочной установки, обучение только на коррекциях и человек, который исправляет по-разному во вторник и в понедельник.

Обычный DAgger просит человека обозначить состояния, пока робот все еще ездит. На реальном оборудовании это небезопасно и дает плохие метки. Гейтированные варианты заменяют слепое обозначение на переключатель, который кто-то должен держать: человек в HG-DAgger, классификатор безопасности в SafeDAgger, несогласие ансамбля в EnsembleDAgger, оценка новизны и риска с бюджетом в ThriftyDAgger. Эта статья сравнивает их по тому, кто владеет гейтом, какой сигнал его открывает и что каждый стоит — и почему форма с человеческим гейтом — это та, которая выживает при контакте с реальным рычагом.

Behavior cloning подгоняет политику на распределение состояний эксперта и затем разворачивает её самостоятельно. Разрыв между этими двумя распределениями - это причина, по которой политика, которая выглядит хорошо при валидации, падает со стола на шаге 300. Это теоретическая глава нашей серии о DAgger: откуда берётся квадратичный член ошибки, что меняет агрегация данных, что предполагает доказательство без сожаления, и какую часть счёта человеческий эксперт ещё должен оплатить.

DROID, BridgeData V2 и Open X-Embodiment преобразуются в 7-мерные действия концевого эффектора для 6- и 7-степенных манипуляторов. SO-100 принимает 6 позиций суставов. Что переносится, что нет, и что делать вместо этого.

Симуляция может преумножить горстку демонстраций в тысячи. Вот что на самом деле говорят опубликованные данные, где проявляется разрыв между симуляцией и реальностью, и что еще предстоит записать.

TinyVLA и SmolVLA позволяют использовать рабочую VLA с менее чем 1 миллиардом параметров. Реальные данные из обеих статей, настройки по умолчанию LeRobot, измеренная задержка и стоимость запуска на карте с 24 ГБ памяти.

Ваша роботизированная машина не имеет GPU. Разместите сервер политик GR00T на арендованном облачном GPU, передавайте фрагменты действий на манипулятор и точно узнайте, во что вам обходится сеть.

Обучите Action Chunking Transformer с нуля на SO-100 с помощью lerobot: конфигурация ACT, chunk_size и n_action_steps, расписание на 100000 шагов, инференс за 20 мс.

GR00T N1.7, Pi0.5, SmolVLA, ACT или GR00T N1.5? Таблица решений, соответствующая реальным ситуациям, с опубликованными бенчмарками, задержкой, стоимостью за запуск и лицензиями для каждого выбора.

Реальные цены на GPU на спотовом рынке, сколько времени занимает выполнение каждой из пяти политик, сколько стоят манипулятор и демонстрации, и четыре места, куда незаметно уходят деньги.

Запишите пригодный для использования набор данных LeRobot с SO-100: калибровка, телеуправление по принципу «ведущий-ведомый», реальные флаги и значения по умолчанию lerobot-record, настройка камеры, количество эпизодов и дефекты, которые портят выполнение.

SmolVLA — это VLA с 450 миллионами параметров, который дообучается на одной карте с 24 ГБ. Реальные команды lerobot 0.6.1, фактические значения по умолчанию, подводные камни, которые могут стоить дня работы, и стоимость одного запуска.

Выполните тонкую настройку Pi0.5, VLA с сопоставлением потоков от Physical Intelligence, на собственных данных робота. Реальные команды для openpi и lerobot pi05, подводные камни формата набора данных, ограничения VRAM и задержки.

Проверенное пошаговое руководство по тонкой настройке NVIDIA GR00T N1.7 на наборе данных LeRobot SO-100: реальные флаги, modality.json, требование v2.1, стоимость запуска и подводные камни.

Узнайте, как RoboTurk революционизирует обучение роботов, используя краудсорсинг высококачественных данных посредством удаленной телеоперации, что позволяет создавать масштабируемые наборы данных для моделей ИИ в робототехнике. Изучите его влияние на имитационное обучение, модели VLA и рентабельность инвестиций для компаний, занимающихся робототехникой.

Узнайте, как NVIDIA Isaac Lab революционизирует мультимодальное обучение роботов с помощью симуляций с ускорением на GPU, обеспечивая более быстрое обучение ИИ, масштабируемое развертывание и оптимизацию ROI для исследователей и компаний в сфере робототехники.

Discover how Isaac Gym revolutionizes robot learning with GPU-native physics simulation, enabling thousands of parallel environments for rapid reinforcement learning, VLA models training, and efficient AI robot teleoperation. Explore benchmarks, integration with PyTorch, and real-world applications that bridge the sim-to-real gap.

Узнайте, как BC-Z революционизирует обучение имитации роботов, обеспечивая обобщение задач zero-shot с помощью масштабированных демонстрационных данных. Откройте для себя законы масштабирования, модели VLA, лучшие практики телеуправления и преимущества ROI для робототехнических компаний и инженеров AI.

Узнайте, как набор данных DROID, крупномасштабный набор данных для манипулирования роботами, трансформирует обучение ИИ для роботов с помощью более чем 76 000 демонстраций из реальных сред. Узнайте о его влиянии на модели VLA, эталонные тесты и масштабируемые методы сбора данных для робототехнических компаний.

Узнайте, как BridgeData V2 предоставляет недорогие данные роботов в масштабе, улучшая методы имитационного обучения и автономного обучения с подкреплением. Откройте для себя ключевые тесты, модели VLA в робототехнике и эффективные рабочие процессы телеуправления роботами для сбора данных для обучения ИИ.

Discover how Pi-Zero's flow-matching technique, combined with VLM initialization, is transforming generalist robot policies for dexterous control. Learn about its advantages over traditional methods, efficiency in AI training data for robotics, and implications for scalable robot deployment in industries.

Узнайте, как модель RT-2 Vision-Language-Action от Google революционизирует управление роботами, перенося веб-знания в физические действия. Узнайте о ее архитектуре, методах обучения, возникающих возможностях и последствиях для робототехнических компаний и операторов, включая интеграцию с телеоперацией для эффективного обучения ИИ.

Узнайте, как модель RT-2 от Google DeepMind революционизирует AI-робототехнику, подчеркивая критическую роль высококачественных данных для обучения по сравнению с продвинутыми алгоритмами. В этой статье анализируются эксперименты, демонстрирующие, почему эффективный сбор данных необходим для реальной работы роботов. Узнайте, как платформы, такие как AY-Robots, могут помочь преодолеть разрыв в данных для обучения для будущих инноваций.

Узнайте, как модель «зрение-язык-действие» (VLA) RT-2 от Google меняет обучение роботов, интегрируя визуальные данные, естественный язык и действия в реальном времени. Эта инновационная технология AI улучшает сбор данных для телеоператоров и повышает эффективность в приложениях робототехники. Изучите ее потенциальное влияние на будущее роботов с AI-управлением на AY-Robots.