데스크톱 클라이언트와 CLI

데스크톱 앱이 하는 일

브라우저 콕핏은 플랫폼에 있는 로봇을 원격으로 제어하기 위해 만들어졌습니다. 데스크톱 클라이언트는 워크플로의 나머지 절반을 담당합니다. 사용자, 책상 위 로봇 암, 그리고 직접 녹화하고 싶은 데이터셋입니다. USB로 암에 연결되어 부착된 카메라를 감지하고, 에피소드를 하나씩 녹화하도록 안내합니다.

감지는 자동입니다. SO-100을 연결하면 앱이 시리얼 포트를 찾아 서보를 열거합니다. 연결된 웹캠은 미리보기로 표시되므로 녹화 전에 프레이밍을 확인할 수 있습니다. 작성해야 할 설정 파일도, 찾아 헤매야 할 드라이버도 없습니다.

녹화한 모든 것은 먼저 로컬 디스크에 저장됩니다. 명시적으로 업로드하기 전까지는 아무것도 사용자의 기기를 벗어나지 않습니다. 에피소드에 아직 공유할 준비가 되지 않은 내용이 담겨 있거나, 안정적인 연결이 없는 환경에서 녹화하는 경우 이 점이 중요합니다.

다운로드와 설치

앱은 /download에서 macOS, Windows, Linux용으로 제공됩니다. 설치한 뒤 플랫폼 계정으로 로그인하고 암을 연결하십시오. 로봇을 플랫폼에 동시에 페어링하는 경우에도 마법사에서 받은 페어링 코드를 이 앱에서 사용합니다.

안내형 녹화 흐름

좋은 모방 학습 데이터를 녹화하는 일은 대부분 규율의 문제이며, 앱이 그 규율을 대신 지켜 줍니다. 각 에피소드는 동일한 다섯 단계를 거칩니다.

1. 1
   작업 설명하기

   같은 작업에는 매번 같은 방식으로 표현한 명확한 한 문장을 사용합니다. 언어 조건부 정책은 이 문자열에 주목하므로 "pick up the red cube and place it in the bowl"이 "test 4"보다 낫습니다.

2. 2
   장면 재설정

   암을 시작 자세로 옮기고 물체를 배치합니다. 카메라 미리보기는 녹화를 시작한 뒤가 아니라 시작하기 전에 프레이밍을 확인하기 위한 것입니다.

3. 3
   녹화

   의도적이고 매끄러운 동작으로 작업을 수행하며 암을 원격 조작합니다. 작업이 끝나면 화면 안에서 대기하지 말고 즉시 멈추십시오.

4. 4
   검토

   에피소드를 유지하기 전에 재생해 확인합니다. 나쁜 에피소드를 버리는 데는 몇 초면 충분하지만, 그것으로 학습시키면 몇 시간이 낭비됩니다.

5. 5
   업로드

   만족스러우면 배치를 업로드합니다. 에피소드는 원격 세션으로 녹화된 것과 함께 플랫폼의 데이터셋 브라우저에 나타납니다.

로컬 데이터와 LeRobot 내보내기

에피소드는 오픈소스 로봇 학습 생태계 대부분이 받아들이는 교환 형식인 LeRobot 형식으로 저장되고 내보내집니다. 데스크톱 클라이언트로 녹화한 데이터셋은 ACT, Diffusion Policy, SmolVLA, GR00T 파인튜닝 학습에 바로 사용할 수 있습니다.

CLI

CLI는 데스크톱 앱 없이 단독으로 설치할 수 있어 헤드리스 기기와 스크립트에 적합한 선택입니다. macOS와 Linux에서는 다음과 같이 설치합니다.

curl -fsSL https://www.ay-robots.com/install.sh | sh

Windows의 PowerShell에서는 다음과 같이 설치합니다.

irm https://www.ay-robots.com/install.ps1 | iex

CLI는 API 키로 인증합니다. /dashboard/settings에서 키를 생성하십시오. 키는 ayr_live_ 접두사를 가지며 비밀번호처럼 다루어야 하므로, 커밋하는 스크립트가 아니라 셸 환경 변수나 시크릿 관리자에 보관하십시오.

MCP: 로컬과 호스팅

MCP를 지원하는 어시스턴트나 에디터를 사용한다면, Model Context Protocol을 통해 플랫폼에 두 가지 방식으로 접근할 수 있습니다. 로컬 서버는 사용자의 기기에서 실행되며 명령 하나로 시작됩니다.

ay-robots mcp

호스팅 서버는 https://www.ay-robots.com/api/mcp에 있으며 Streamable HTTP를 사용합니다. 별도 설치가 필요 없습니다. MCP 클라이언트를 이 URL로 연결하고 /dashboard/settings에서 발급한 ayr_live_ API 키로 인증하면 계정 데이터를 사용할 수 있습니다.

자주 묻는 질문