Policy eğitimi

Kendi GPU'nuz olmadan eğitim

Bir manipülasyon policy'sini eğitmek bir GPU iş yüküdür ve modern vision-language-action modelleri tipik bir iş istasyonunda bulunandan daha fazla VRAM ister. AY-Robots'ta eğitim, platform tarafından yönetilen bulut GPU'larında çalışır: bir veri kümesi ve bir policy tipi seçersiniz, çalıştırmayı başlatırsınız ve ilerlemesini tarayıcıdan izlersiniz. CUDA kurulumu, sürücü eşleştirme veya bakımı gereken bir ortam yoktur.

Girdi her zaman Dashboard > Datasets altındaki bir bulut veri kümesidir. Teleoperasyon oturumları üzerinden kaydettiğiniz veya LeRobot formatında yüklediğiniz her şey, birleştirilmiş veri kümeleri dahil, uygundur. Eğitmeden önce düzenleyin: Failure etiketli bölümler genellikle eğitim kümesinin dışında kalmalıdır ve bölüm tarayıcısında on dakikalık bir inceleme, kötü demonstrasyonlardan öğrenmekle harcanan saatlerce GPU süresinden tasarruf ettirir.

Desteklenen policy'ler

Dört policy ailesi desteklenir. Boyut, eğitim maliyeti ve verinizden ne kadar özümseyebildikleri bakımından farklılık gösterirler, bu yüzden doğru seçim herhangi bir genel sıralamadan çok görevinize ve veri kümenize bağlıdır.

Bir çalıştırma başlatma

1. 1
   Veri kümesini seçin

   Dashboard > Training kısmını açın ve üzerinde eğitim yapılacak veri kümesini seçin. Doğru olanı seçtiğinizi doğrulayabilmeniz için bölüm sayısı ve robot tipi gösterilir.

2. 2
   Policy'yi seçin

   Desteklenen policy tiplerinden birini seçin. Emin değilseniz ACT ile başlayın: veri kümenizin herhangi bir şey eğitmeye yetecek kadar iyi olup olmadığını öğrenmenin en ucuz yolu budur.

3. 3
   Başlatın

   Çalıştırmayı başlatın. Bir iş kimliği ve kendi çalıştırma sayfasını alır, tarayıcıyı kapatabilirsiniz: eğitim sunucu tarafında devam eder ve döndüğünüzde sayfa canlı durumu gösterir.

Eğitim çalıştırma sayfası

Her çalıştırmanın, eğitim sırasında gerçekten sorduğunuz iki soruyu yanıtlayan özel bir sayfası vardır: öğreniyor mu ve makine sağlıklı mı. Öğrenme ilerlemesi, kaybın (loss), öğrenme oranı programının ve gradyan normunun grafikleri olarak gösterilir. Hemen platoya oturan bir kayıp veya patlayan bir gradyan normu, çalıştırmanın beklemeye değmediğini erkenden söyler.

Makine sağlığı yanında gösterilir: GPU kullanımı ve belleği, artı eğitim makinesinin ana bilgisayar metrikleri. Bir faz zaman çizelgesi, çalıştırmanın şu anda nerede olduğunu gösterir: ortam hazırlığından veri yüklemeye, eğitim döngüsünün kendisine ve kontrol noktası yüklemesine kadar. Bir şeyler tuhaf göründüğünde, yerleşik günlük görüntüleyici SSH erişimi olmadan ham eğitim günlüklerini verir; bu genellikle bir hatanın veri kümenizden mi yoksa çalıştırmanın kendisinden mi kaynaklandığını görmeye yeter.

Kontrol noktaları ve devam etme

Kontrol noktaları paylaşılan bir havuzda değil, çalıştırma başına saklanır, bu yüzden bir çalıştırma sayfasında listelenen kontrol noktaları her zaman tam olarak o çalıştırmaya ve yapılandırmasına aittir. Bu, kulağa geldiğinden daha önemlidir: farklı ayarlara sahip çalıştırmalar arasında kontrol noktalarını karıştırmak, sessizce bozulmuş policy'lerin klasik bir kaynağıdır.

Bir çalıştırma kesintiye uğrarsa, baştan başlamak yerine en son kontrol noktasından devam edebilirsiniz. Ara kontrol noktaları da kendi başlarına yararlıdır: uzun bir çalıştırma sona doğru aşırı öğrenmeye (overfitting) başladığında, daha erken bir kontrol noktası genellikle gerçek kolda sonuncusundan daha iyi çalışır.

Eğitilmiş policy'yi kolunuzda çalıştırma

Tamamlanmış bir policy doğrudan robotunuza geri dağıtılabilir. Kokpitte, bağlı kolunuz için eğitilmiş policy'yi seçin ve çıkarımı başlatın: policy artık daha önce teleoperasyonla ürettiğiniz eklem komutlarını üretir. Kol, veri kümesinin kaydedildiği robot tipiyle aynı olmalı ve sahne, kamera yerleşimi dahil, eğitim sahnelerine benzemelidir.

İlk çıkarım çalıştırmalarını demo olarak değil, deney olarak ele alın. Acil durdurmayı erişilebilir tutun, demonstre ettiğinize yakın bir başlangıç durumundan başlayın ve policy'nin fark etmeyeceğiniz şeylere duyarlı olmasını bekleyin: oynamış bir kamera, farklı bir ışıklandırma veya veri kümesinin hiç içermediği bir nesne.

Kaç bölüme ihtiyacınız var

Platformdaki en yaygın eğitim hatası yanlış bir hiperparametre değil, çok az veri üzerinde eğitim yapıp policy tipinin işe yaramadığı sonucuna varmaktır. Tek bir masaüstü görevi için kaba bir kural olarak: yaklaşık 50 bölüm, demonstre ettiğiniz durumlara yakın başlangıç durumlarından başarılı olan, dar genelleme yapan bir policy verir. Yaklaşık 100 ile 200 bölüm, bölümler arasında nesne yerleşimini değiştirdiyseniz, o tek görev için çalışma alanı genelinde kullanılabilir bir sağlamlık verir.

Daha yetenekli policy tipleri bunu ortadan kaldırmaz. 20 bölüm üzerinde bir GR00T ince ayarı yine de zayıf genelleme yapar; daha büyük modellerin size sağladığı şey, veri hazır olduğunda daha iyi bir tavandır. Bütçeniz sınırlıysa önce daha çeşitli bölümlere, sonra daha büyük bir modele harcayın.

Sık sorulan sorular