Desktop client en CLI

Wat de desktopapp doet

De cockpit in de browser is gebouwd voor het op afstand besturen van robots die op het platform leven. De desktop client dekt de andere helft van de workflow: u, een robotarm op uw bureau en een dataset die u zelf wilt opnemen. Hij maakt via USB verbinding met de arm, detecteert de aangesloten camera's en begeleidt u bij het episode voor episode opnemen.

Detectie gebeurt automatisch. Sluit een SO-100 aan en de app vindt de seriële poort en somt de servo's op; aangesloten webcams verschijnen in een voorbeeldweergave zodat u de framing kunt controleren voordat u iets opneemt. Er is geen configuratiebestand te schrijven en geen driver te zoeken.

Alles wat u opneemt, wordt eerst naar lokale schijf geschreven. Er verlaat niets uw machine totdat u expliciet uploadt, wat belangrijk is als uw episodes dingen bevatten die u nog niet wilt delen, of als u ergens opneemt zonder betrouwbare verbinding.

Downloaden en installeren

De app is beschikbaar voor macOS, Windows en Linux op /download. Installeer de app, meld u aan met uw platformaccount en sluit de arm aan. Koppelt u tegelijk een robot aan het platform, dan is dit ook de plek waar u de koppelcode uit de wizard inwisselt.

De begeleide opnameflow

Goede imitation-learning-data opnemen is vooral een kwestie van discipline, en de app legt die discipline voor u op. Elke episode doorloopt dezelfde vijf stappen.

1. 1
   Beschrijf de taak

   Eén heldere zin, elke keer op dezelfde manier geformuleerd voor dezelfde taak. Taalgeconditioneerde policies letten op deze string, dus "pak de rode kubus op en zet hem in de kom" is veel beter dan "test 4".

2. 2
   Zet de scene terug

   Beweeg de arm naar zijn startpositie en plaats de objecten. De cameravoorbeeldweergave is er om de framing te bevestigen voordat u vastlegt, niet erna.

3. 3
   Neem op

   Teleopereer de arm door de taak heen met bewuste, vloeiende bewegingen. Stop zodra de taak is voltooid, in plaats van stil te blijven staan in beeld.

4. 4
   Beoordeel

   Speel de episode terug voordat u hem bewaart. Een slechte episode weggooien kost seconden; erop trainen kost uren.

5. 5
   Upload

   Zodra u tevreden bent, uploadt u de batch. De episodes verschijnen in uw datasetverkenner op het platform, samen met alles wat via externe sessies is opgenomen.

Lokale data en LeRobot-export

Episodes worden opgeslagen en geëxporteerd in LeRobot-formaat, het uitwisselingsformaat dat het grootste deel van het open source robot-learning-ecosysteem accepteert. Een dataset die met de desktop client is opgenomen, kan direct naar training gaan voor ACT, Diffusion Policy, SmolVLA of GR00T-fine-tunes.

De CLI

De CLI installeert zelfstandig, zonder de desktopapp, wat hem de juiste keuze maakt voor headless machines en scripts. Op macOS en Linux:

curl -fsSL https://www.ay-robots.com/install.sh | sh

Op Windows, in PowerShell:

irm https://www.ay-robots.com/install.ps1 | iex

De CLI authenticeert met een API-sleutel. Maak er een aan onder /dashboard/settings; sleutels dragen het voorvoegsel ayr_live_ en moeten als wachtwoorden worden behandeld, dus bewaar ze in uw shell-omgeving of een secretmanager in plaats van in scripts die u commit.

MCP: lokaal en gehost

Werkt u met een MCP-geschikte assistent of editor, dan is het platform op twee manieren bereikbaar via het Model Context Protocol. De lokale server draait op uw machine en start met één enkel commando:

ay-robots mcp

De gehoste server staat op https://www.ay-robots.com/api/mcp en spreekt Streamable HTTP. Hij vergt geen lokale installatie: richt uw MCP-client op de URL en authenticeer met een ayr_live_ API-sleutel uit /dashboard/settings om met de data van uw account te werken.

Veelgestelde vragen