Wie man ACT auf dem SO-100 von Grund auf trainiert

ACT ist der Außenseiter unter den SO-100-Richtlinien. GR00T N1.7 und N1.5 basieren auf nvidia/GR00T-N1.7-3B und nvidia/GR00T-N1.5-3B, Pi0.5 auf lerobot/pi05_base. ACT beginnt bei Null: Es gibt keinen Basis-Checkpoint, da es kein Grundmodell ist. Es ist ein Transformator mit etwa 80 Millionen Parametern, den Sie von Grund auf für eine Aufgabe, an Ihrem Arm, unter Ihrer Beleuchtung trainieren.

Das ist auch der Grund, warum es einen Steuerungsschritt in 20 ms ausführt, während ein VLA mit 3 Milliarden Parametern 152 bis 485 ms benötigt und 1 bis 3 USD pro Lauf kostet, anstatt 4 bis 12. Dieser Leitfaden beschreibt den manuellen Weg mit lerobot auf einem SO-100: Aufzeichnung, die act Konfiguration, was chunk_size und n_action_steps steuern, den 100000-Schritte-Zeitplan, den Rollout. Danach derselbe Job auf AY-Robots, einschließlich der Punkte, an denen die Plattform nicht hilft.

Was ACT tatsächlich ist

Action Chunking with Transformers stammt aus dem ALOHA-Paper, Erlernen feingranularer bimanuelle Manipulation mit kostengünstiger Hardware, von Zhao, Kumar, Levine und Finn, arXiv, 23. April 2023. Die Anlage zeichnet mit 50 Hz auf, wobei vier Webcams 480x640 bei 30 fps streamen: zwei an den Greifern, eine oben, eine vorne. Das Abstract beansprucht sechs Fähigkeiten mit 80 bis 90 Prozent Erfolg, darunter das Öffnen eines durchsichtigen Gewürzbechers und das Einstecken einer Batterie, basierend auf 10 Minuten Demonstrationen.

Der Hauptteil ist nützlicher bei der Planung einer Aufnahmesitzung: 50 Demonstrationen pro Aufgabe, außer bei 'Thread Velcro' mit 100, was 10 bis 20 Minuten Daten und 30 bis 60 Minuten Echtzeit bedeutet, sobald Resets gezählt werden. Der Erfolg ist ebenfalls nicht einheitlich: 'Thread Velcro' endet bei 20 Prozent, 'Put On Shoe' bei 92, 'Cup Open' bei 84, 'Prep Tape' bei 64.

Aktions-Chunking ist die ganze Idee

Gewöhnliches Verhaltensklonen bildet eine Beobachtung auf eine Aktion ab, und Fehler summieren sich: Eine Abweichung bringt den Arm aus der Verteilung, was zu einer schlechteren Aktion führt, und dreißig Schritte später ist der Greifer nirgendwo in der Nähe des Objekts. Aktions-Chunking sagt k Aktionen gleichzeitig voraus und führt sie aus, wodurch der effektive Horizont um den Faktor k sinkt. Es behandelt auch ein Ärgernis, das spezifisch für menschliche Daten ist: Teleoperatoren pausieren, und eine einstufige Markovsche Policy kann eine Pause, die von dem abhängt, was zuvor geschah, nicht modellieren.

Das Papier evaluiert k durch Ablation, anstatt es einfach zu behaupten. Bei ausgeschaltetem Temporal Ensembling, gemittelt über vier Einstellungen, steigt der Erfolg von 1 Prozent bei k = 1 auf 44 Prozent bei k = 100 und flacht dann bei 200 und 400 ab, wenn die Policy sich der Open-Loop-Steuerung nähert. Diese Kurve ist der Grund, warum der Standardwert 100 ist.

• chunk_size: wie viele zukünftige Aktionen der Decoder pro Forward-Pass vorhersagt. Standard 100.
• n_action_steps: wie viele davon Sie ausführen, bevor Sie erneut abfragen. Standard 100, sodass lerobot den gesamten Chunk im Open-Loop-Modus ausführt.
• lerobot validiert n_action_steps <= chunk_size und löst einen ValueError aus, wenn Sie es umgekehrt eingeben.

Was im Betrieb zählt, ist die chunk_size geteilt durch die Bildrate. Bei den 30 fps, die lerobots SO-100-Beispiele verwenden, entspricht ein Chunk von 100 etwa 3,3 Sekunden ab einer Beobachtung. Wenn die Aufgabe innerhalb dieses Fensters eine Korrektur benötigt, reduzieren Sie n_action_steps, nicht chunk_size: Sie behalten die lange Vorhersage bei und beobachten häufiger neu.

# predict 100 actions, re-query after 25 of them (about 0.8 s at 30 fps)
lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --policy.chunk_size=100 \
  --policy.n_action_steps=25 \
  --policy.device=cuda

Wenn ACT ein Grundmodell übertrifft

Die fünf trainierbaren Policies nebeneinander, mit den Zahlen, die AY-Robots misst und verwendet, um die Größe der gemieteten GPU zu bestimmen.

Wählen Sie ACT, wenn Aufgabe und Szene fest sind und die Bewegung schnell und präzise sein muss. Wählen Sie ein , wenn ein Checkpoint mehrere Anweisungen abdecken muss. Zwei Seiten behandeln die Entscheidung im direkten Vergleich: und . Für veröffentlichte Benchmarks verlinkt jede Zahl zu ihrer Quelle.

Was Sie vor dem Start benötigen

Ein Follower-Arm, ein Leader-Arm für die , mindestens eine Kamera, eine 24-GB-GPU. ACT liest nur Bilder und Gelenkpositionen. Zwei Kameras sind ideal: eine feste Frontansicht für die Position der Dinge, eine Handgelenkkamera für das, was der berühren wird, wie bei ALOHA.

Vom nackten Arm zum aufgezeichneten Datensatz

Der folgende Ablauf ist für lerobot 0.6.x. Überspringen Sie diesen Schritt, wenn Sie einen kalibrierten Arm und einen Datensatz haben. Andernfalls behandelt der SO-100 Erste Schritte Anleitung die Montage, der Aufnahme-Walkthrough die Erfassung und die Datensatz-Dokumentation das Format.

1. 1
   lerobot mit den richtigen Extras installieren

   Für die Aufnahme werden core_scripts benötigt, für das Training training, für Feetech-Servos feetech. Python 3.12+.

   bash

   conda create -y -n lerobot python=3.12
   conda activate lerobot
   conda install ffmpeg -c conda-forge
   
   pip install 'lerobot[core_scripts,training,feetech]'
   lerobot-info

2. 2
   Den USB-Port jedes Arms finden

   Führen Sie es mit beiden angeschlossenen Armen aus und ziehen Sie einen ab, wenn Sie dazu aufgefordert werden. Unter Linux müssen Sie möglicherweise die Knotenberechtigungen öffnen.

   bash

   lerobot-find-port
   # on Linux, if the port exists but is unreadable:
   sudo chmod 666 /dev/ttyACM0

3. 3
   Motor-IDs und Baudrate einstellen

   Beim SO-100 geschieht dies vor der Montage: Im Gegensatz zum SO-101 sind die Anschlüsse nach dem Aufbau unerreichbar. Das Skript durchläuft den Bus Motor für Motor, beginnend am Greifer, und schreibt IDs in den EEPROM.

   bash

   lerobot-setup-motors \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0
   
   lerobot-setup-motors \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1

4. 4
   Beide Arme kalibrieren

   Stellen Sie jedes Gelenk in die Mitte seines Bereichs, drücken Sie Enter und bewegen Sie dann jedes Gelenk durch seinen gesamten Bereich. Kalibrierung ermöglicht es, eine an einem Arm trainierte Richtlinie auf einem anderen auszuführen. Verwenden Sie dieselbe id wieder.

   bash

   lerobot-calibrate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower
   
   lerobot-calibrate \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader

5. 5
   Einmal mit eingeschalteten Kameras teleoperieren

   Die lerobot-Faustregel: Sie sollten die Aufgabe nur anhand der Kamerabilder ausführen können. Wenn Sie das nicht können, kann ACT es auch nicht. Dies fängt mehr schlechte Datensätze ab als späteres Debugging.

   bash

   lerobot-teleoperate \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --display_data=true

6. 6
   50 Episoden aufnehmen

   50 ist das AY-Robots-Minimum und was ALOHA pro Aufgabe verwendet hat. lerobot empfiehlt 10 pro Objektposition, feste Kameras, konsistenter Griff. n beendet eine Episode, r nimmt erneut auf, q stoppt und kodiert.

   bash

   HF_USER=$(NO_COLOR=1 hf auth whoami | awk -F': *' 'NR==1 {print $2}')
   
   lerobot-record \
       --robot.type=so100_follower \
       --robot.port=/dev/ttyACM0 \
       --robot.id=my_follower \
       --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
       --teleop.type=so100_leader \
       --teleop.port=/dev/ttyACM1 \
       --teleop.id=my_leader \
       --dataset.repo_id=${HF_USER}/so100_cube \
       --dataset.num_episodes=50 \
       --dataset.single_task="Grab the black cube and put it in the bin" \
       --display_data=true

Vor dem Training mindestens fünf Episoden wiedergeben. speichert Kameraströme, Gelenkzustände und Aktionen pro , und die Wiedergabe sendet diese Aktionen zurück an den Arm. Wenn die Wiedergabe die Aufgabe nicht ausführt, sind die Daten nicht enthalten und das Training wird sie nicht erfinden.

lerobot-replay \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower \
    --dataset.repo_id=${HF_USER}/so100_cube \
    --dataset.episode=0

Trainieren der ACT-Richtlinie

Dies ist der vollständige Befehl. Alles ACT-spezifische ist bereits Standard, weshalb auf der lerobot ACT-Seite empfohlen wird, damit zu beginnen.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so100_cube \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_cube \
  --job_name=act_so100_cube \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_so100_cube

--policy.type=act lädt ACTConfig, das sich an die Anzahl der Motoren und Kameras anpasst, die Ihr Datensatz aufgezeichnet hat, sodass Sie die Beobachtungsform nie deklarieren müssen. --wandb.enable=true ist optional und lohnenswert: Die Verlustkurve ist das einzige günstige Signal in einem Lauf von 100000 Schritten. Der Zeitplan stammt aus der lerobot-Trainingskonfiguration, nicht aus ACTConfig: 100000 Schritte, Batch 8, Seed 1000, ein Checkpoint alle 20000 Schritte, Protokollierung alle 200.

Ein vollständiger Lauf hinterlässt fünf Checkpoint-Verzeichnisse, 020000 bis 100000, plus einen last Symlink. Behalten Sie alle: Die beste Policy ist oft nicht die letzte.

Dauer: etwa 5 Stunden auf einer 11 GB RTX 2080 Ti im Paper, einige Stunden für 100.000 Schritte pro lerobot's ACT-Seite, 2 bis 5 Stunden auf dem AY-Robots 24 GB Tier. Nicht abkürzen. Die README des Referenz-Repos besagt, dass eine ruckartige oder pausierende Policy normalerweise nur mehr Training benötigt, da sich Erfolg und Geschmeidigkeit auch nach dem Plateau der Verlustfunktion weiter verbessern: Für reale Daten sind mindestens 5000 Epochen oder die 3- bis 4-fache Länge nach dem Plateau erforderlich.

lerobot-train \
  --config_path=outputs/train/act_so100_cube/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

Ausführen der trainierten Policy auf dem Arm

Die Bereitstellung verwendet lerobot-rollout. Kamerakeys müssen mit den aufgezeichneten übereinstimmen: Eine Policy, die auf front und wrist trainiert wurde, akzeptiert nicht cam0 und cam1, und rename_map hilft nicht, da sie einen vortrainierten Checkpoint benötigt. Der Task-String kann weggelassen werden; lerobot's eigenes Beispiel kennzeichnet ihn als für ACT überspringbar.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_so100_cube \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=my_follower \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30} }" \
  --display_data=true \
  --duration=60

Um einen Checkpoint anstelle des finalen Modells zu fixieren, fügen Sie --policy.pretrained_revision. Dazu muss der Lauf mit --save_checkpoint_to_hub=true, standardmäßig deaktiviert, gestartet worden sein: Ohne diese Option pusht lerobot nur das finale Modell und nichts anderes. Damit wird jeder Checkpoint mit seinem null-aufgefüllten Schritt getaggt, sodass --policy.pretrained_revision=060000 den 60000er-Schritt wiederherstellt. Der Vergleich mit dem 100000er-Schritt am realen Arm ist das günstigste verfügbare Experiment.

Zwei Wege zum selben Checkpoint

Alles oben Genannte ist der manuelle Weg und er funktioniert. Der Plattformweg tauscht Kontrolle gegen den Verzicht auf eine eigene GPU oder Python-Umgebung ein.

# the two commands that matter, end to end
lerobot-record --robot.type=so100_follower --robot.port=/dev/ttyACM0 \
  --teleop.type=so100_leader --teleop.port=/dev/ttyACM1 \
  --dataset.repo_id=${HF_USER}/so100_cube --dataset.num_episodes=50 \
  --dataset.single_task="Grab the black cube"

lerobot-train --dataset.repo_id=${HF_USER}/so100_cube --policy.type=act \
  --output_dir=outputs/train/act_so100_cube --policy.device=cuda

Was tatsächlich schiefgeht

Fast keine der Schwierigkeiten liegt im Trainingsbefehl selbst. Sie liegen in den Dingen drumherum, geordnet danach, wie oft sie beim ersten Mal Probleme bereiten.

Zwei Zeilen verdienen besondere Beachtung. ACT trainiert mit LeRobot v3.0, während GR00Ts Loader damit abstürzt und v2.1 benötigt, sodass ein Datensatz, der ACT trainiert, einen GR00T-Lauf fehlschlagen lassen kann. Und die letzte Zeile hat zwei Lösungen: Die ACT-Autoren begegnen ruckartiger Bewegung mit mehr Training, während bei n_action_steps bei 100 ein echter Stillstand an einer Chunk-Grenze auftritt, eine sichtbare Pause alle 3.3 Sekunden bei 30 fps. Zwei weitere Dinge, die man wissen sollte: Ein einzelnes totes Gelenk ist normalerweise eine Servo-ID, die nie geschrieben wurde, und ein Greifer, der sich nähert, aber nie schließt bedeutet zu wenig Greifbereich in den Demonstrationen. Vollständiger Index: die Seiten zu den Fehlermodi.

Was ein Lauf kostet

Dies ist das Argument, mit ACT zu beginnen, auch wenn Sie später ein VLA wünschen. Ein fehlgeschlagener ACT-Lauf kostet den Preis eines Kaffees und verrät Ihnen innerhalb von Stunden, ob Ihr Datensatz die Aufgabe enthält. Ein fehlgeschlagener GR00T-Lauf kostet das Vierfache für die gleiche Erkenntnis. Ein Wechsel zu GR00T N1.7 oder SmolVLA danach ist eine Formänderung, kein Neuaufbau. Hintergrund: Vision-Sprach-Aktionsmodelle, der vollständige SO-100 Anleitung, trainieren Sie Ihre erste Policy und Imitationslernen. Kein Arm? Die Live-Seite streamt einen echten SO-100, den Sie ohne Anmeldung steuern können.