TL;DR
· Robotik bilimci Animesh Garg, sektörde teleoperasyon saatlerinin model yeteneği için bir gösterge olarak kullanılmasını sorguluyor.
· Robotik veri toplama maliyetli olup, dağıtım verileri genellikle dar senaryolardan gelir ve tekrarlanan örnekler hızla pahalı hale gelir.
· Toplam çalışma süresinden daha değerli olan şey, uzun kuyruk başarısızlıkları, görev kapsamı ve yeni örnekler olabilir.

Daha önce Toronto Üniversitesi'nde görev yapmış ve halen Georgia Teknoloji Enstitüsü'nde çalışan robotik bilimci Animesh Garg, "Moneyball for Physical AI" başlıklı makalesinde, fiziksel zekanın veri yarışını beyzbol tarihindeki "Moneyball" anına benzetiyor.

Garg, giderek yaygınlaşan bir fonlama anlatısına meydan okumak istiyor: Robotik şirketlerinin daha fazla teleoperasyon, daha fazla gerçek dünya dağıtımı ve daha fazla çalışma saati biriktirerek bir veri çarkı oluşturabileceği fikri. Yatırımcılar için bu, akademik bir sözlü tartışma değil. Fiziksel zeka şirketlerinin maliyet yapıları, ticarileşme hızları ve model bariyerleri, çoğu zaman "veri döngüsü" kavramı altında paketleniyor. Birikmiş saatler, etkili model ilerlemesine eşit değilse, piyasanın bu şirketlerin veri varlıklarını yeniden değerlendirmesi gerekecek.

"Veri Saatleri" Robotik Sektöründe Bir Vuruş Oranı Batıl İnancı Olabilir

Garg, "Moneyball" klasik benzetmesini kullanıyor. 2002 yılında Oakland Athletics, ligdeki en düşük maaşlı kadrolardan biriyle 103 maç kazandı; anahtar, daha pahalı oyuncular satın almak değil, piyasanın oyuncu değerini yanlış değerlendirdiğini keşfetmekti. Geleneksel izciler vuruş oranı, çalma ve duruşa odaklanırken, takımın puanlama yeteneğini daha iyi açıklayan gösterge, üsse ulaşma oranıydı.

Ona göre, Fiziksel AI da benzer bir aşamada olabilir. Sektör, verinin genel amaçlı robot modellerine giden yolda bir gereklilik olduğunu kabul ediyor, ancak en kolay gösterilebilir metrikleri en önemli metrikler olarak görme eğiliminde: birikmiş teleoperasyon saatleri, gösterim yörüngelerinin sayısı, dağıtılan robot sayısı, üretim senaryolarındaki çalışma süresi.

Robotik verileri ve metin verileri aynı şekilde sağlanmaz. Büyük dil modelleri, internet, kod tabanları, kitaplar ve web sayfalarından düşük maliyetle büyük miktarda metin verisi alabilir; darboğaz daha çok hesaplama gücü, temizleme ve eğitim verimliliğinden kaynaklanır. Robot modelleri, fiziksel etkileşim, eylem geri bildirimi ve çevresel değişiklikler içeren verilere ihtiyaç duyar; her bir saatlik etkili veri, gerçekten yaratılmalıdır ve arkasında ekipman, insan gücü, alan, sensörler, başarısızlık yönetimi ve güvenlik maliyetleri vardır.

Robotik bilimci Ken Goldberg, robotik ile internet ölçeğindeki AI verileri arasındaki farkı tanımlamak için "100.000 yıllık veri boşluğu" terimini kullanmıştı. Daha doğrusu, modern büyük görsel dil modellerinin eğitimi için tüketilen metin ve görüntü verileri, insan okuma veya izleme süresine çevrildiğinde yaklaşık 100.000 yıla eşdeğerdir ve robotlar aynı ölçekte gerçek etkileşim verisine sahip değildir. Bu ifade, robot modelleri için kesin bir eşik belirlemek değil, sektöre gerçek dünya etkileşim verilerinin web metinleri gibi düşük maliyetle toplanamayacağını hatırlatmaktır.

Garg'ın "ter atölyesi tarzı uzaktan kumanda" anlatısına karşı çıkmasının nedeni de budur. Büyük miktarda insan eliyle uzaktan kumanda, yoğun eylem içeren eğitim örnekleri sağlayabilir, ancak şirketler veriyi yalnızca toplam saat üzerinden değerlendirirse, fonlar başarısızlık oranını en çok düşürecek senaryolar yerine tekrarlayan, düşük zorlukta ve düşük bilgi yoğunluğuna sahip örneklere yönelebilir.

Üç tür veriyle satın alınan şeyler aynı değil

Garg'ın sınıflandırmasında, Fiziksel Yapay Zeka verileri kabaca üç kategoriye ayrılır: gözlem verileri, müdahale verileri ve dağıtım verileri. Bunların hepsi faydalı olabilir, ancak maliyet, kısıtlamalar ve bilgi yoğunluğu açısından büyük farklılıklar gösterir.

İlk kategori, birinci şahıs veya üçüncü şahıs videoları gibi gözlem verileridir. Avantajı düşük maliyet ve geniş kapsamdır; modelin nesneleri, alanı, eylem sonuçlarını ve çevresel dağılımı anlamasına yardımcı olabilir. Dezavantajı da açıktır: Model, insan veya nesneye ne olduğunu görebilir, ancak bir robotun belirli bir durumda hangi eylemi çıktılaması gerektiğini mutlaka bilemez.

İkinci kategori, müdahale verileridir; yani uzaktan kumanda, gösterim ve insan müdahalesiyle oluşturulan durumdan eylem yörüngelerine kadar olan veriler. Bu tür veriler robot eğitimi için daha doğrudandır çünkü "neyi gördüğü, nasıl hareket ettiği ve hareket ettikten sonra ne olduğu" zincirini içerir. Bedeli ise her bir yüksek kaliteli yörüngenin parayla satın alınması gerektiğidir; insan gücü ve ekipman maliyetleri, yazılım verileri gibi hızla düşmez.

Üçüncü kategori, dağıtım verileridir; yani robotların gerçek ticari senaryolarda çalışırken ürettiği telemetri verileri. Kulağa ticari bir çarka en yakın gibi gelir: Robot bir yandan çalışır, bir yandan para kazanır, bir yandan da eğitim verisi üretir. Ancak burada istatistiksel bir tuzak vardır.

Bugün ilk hayata geçen robot senaryoları genellikle en az değişkenlik gösteren, en sabit süreçlere sahip ve riski en kontrol edilebilir senaryolardır; örneğin yüksek düzeyde yapılandırılmış depolar, fabrikalar veya tek görevli ortamlar. Bu tür üretim verileri miktar olarak büyük olabilir, ancak dağılımı dardır ve tekrarlama oranı yüksektir. Model yerel kalıpları öğrendikten sonra, çalıştırılan her ek saat, getirdiği yeni bilgi miktarını azaltır.

Dağıtım verileri değersiz değildir. Gerçekten değerli olan, genellikle çok sayıdaki "başarıyla tamamlanmış görev"in sıradan bölümleri değil, başarısızlıklar, takılmalar, anormal nesneler, sınır koşulları ve nadir görülen bozucu etkilerdir. Sorun şu ki, bu uzun kuyruklu örnekler şirketlerin istediği tempoda istikrarlı bir şekilde ortaya çıkmaz; bunları bulma, filtreleme ve analiz etme maliyeti de daha yüksektir.

Daha fazla veri faydalıdır, ancak tekrarlayan örnekler hızla pahalılaşır

Garg, dil modellerindeki ölçekleme yasasına (scaling law) temkinli yaklaşır: Veri artışı genellikle model kaybında düşüşe yol açar, ancak getiriler azalır. Örnekler tekrarlıyorsa, yaklaşık olarak tekrarlıysa veya aynı dar dağılımdan geliyorsa, yeni verilerin katkısı daha hızlı azalır.

Robotik alanında bu sorun daha sezgiseldir. Bir robotun sabit bir raftan sabit bir kutu almayı öğrendiğini düşünün. İlk birkaç bin gösterim, başarısızlık ve düzeltme çok değerli olabilir. Hareket, nesne, ışıklandırma ve yol tekrar tekrar toplandığında, yeni veriler daha çok önceden öğrenilmiş yerel deneyimleri kopyalamak gibi olur.

Dil modeli eğitiminde benzer bir deneyim zaten mevcut: tekrarlayan ve neredeyse aynı olan veriler eğitim bütçesini boşa harcar ve aşırı tekrar genellemeyi zayıflatabilir. Garg, bu sonuçları doğrudan robot eğitimine uygulamak yerine, bir yön belirlemek için kullanıyor: veri değerini yalnızca miktarla değil, aynı zamanda örnekler arasındaki farklılıkla da ölçmek gerekir.

Physical AI için çeşitliliğin en az iki anlamı vardır. Birincisi, modelin daha fazla nesne, alan, malzeme, ışıklandırma, engel ve manipülasyon yöntemi görmesini sağlamaktır. İkincisi, modelin çok basit bir görev dağılımında iyi performans gösterip, biraz farklı bir senaryoda başarısız olmasını önlemektir.

Bu nedenle, uzun kuyruklu başarısızlık durumları kritik hale gelir. Gerçek fiziksel dünya eşit dağılmamıştır; düşük frekanslı anormallikler genellikle ticari kullanılabilirliği belirler: nesnenin hafifçe yanlış yerleştirilmesi, ambalajın deformasyonu, yüzey yansıması, tutucunun kayması, bir kişinin aniden müdahalesi, sensörün bir şeyi kaçırması, zemin sürtünmesindeki değişiklik. Model normal örneklerde ne kadar iyi performans gösterirse göstersin, bu uç durumları ele alamazsa, dağıtım yine de az sayıdaki başarısızlık tarafından engellenecektir.

Dağıtım çarkının dönmesi için erken senaryoların yeterince "yeni" olması gerekir

Bu makalenin gerçekten meydan okuduğu şey, gömülü zeka şirketlerinin yaygın ticarileştirme yoludur: önce dar senaryolarda robotları dağıtmak, insanların uzaktan devralmasıyla kullanılabilirliği sağlamak, aynı anda üretim verileri toplamak ve ardından bu verilerle daha güçlü bir model eğiterek daha fazla senaryoya açılmak.

Garg, bu tür bir yolu "neo-integrator" yaklaşımı olarak adlandırıyor. Saf veri toplama maliyetini aşmaya çalışır, robotları ticari üretime sokar ve işletme gelirinin veri maliyetini karşılamasını sağlar. Özel bir teleoperasyon fabrikası kurmaya kıyasla bu yol daha verimli görünüyor.

Ancak çarkın dönmesi için bir ön koşul vardır: erken ticari senaryolardan üretilen veriler, modele daha fazla göreve geçiş yapmasına yardımcı olacak kadar yeni ve çeşitli olmalıdır. Dağıtım senaryosu yalnızca düşük değişkenlik, düşük entropi ve yoğun mühendislik özelleştirmesi olan dar görevlerden oluşuyorsa, veriler hızla doygunluğa ulaşır. Şirketin elde edeceği şey genel bir yetenek çarkı değil, sürekli entegrasyon, bakım ve anomali işleme gerektiren bir dizi özelleştirilmiş proje olabilir.

Bu, iki tür maliyeti beraberinde getirir. Birincisi, her yeni senaryoya girerken çevre düzenlemesi, süreç uyarlaması, başarısızlık önlemleri ve güvenlik mekanizmalarına yatırım yapmak gerekir. İkincisi, dağıtım henüz başabaş noktasına ulaşmadıysa, ölçeği büyütmek düşük maliyetle veri toplamak anlamına gelmeyebilir; aksine, düşük yenilik içeren çok sayıda örnek için zarar etmek anlamına gelebilir.

Bu nedenle, erken dağıtım işe yaramaz değildir, ancak daha ayrıntılı bir şekilde değerlendirilmelidir: ne kadar yeni görev kapsamı sağladı, ne kadar başarısızlık ve anomali örneği üretti, bu örnekler diğer senaryolara aktarılabilir mi ve donanım, iş gücü, bakım ve entegrasyon maliyetleri düşüldükten sonra, her bir dolar için ne kadar model iyileştirmesi elde edildi.

Değerleme Anlatıları Sadece Kaç Saat Biriktirildiğini Sormamalı

Garg'ın önerisi veri toplamayı durdurmak değil, değerlendirme kriterlerini değiştirmek. Toplam çalışma saati, uzaktan işletim saatleri ve yörünge sayıları operasyonel metrikler olarak kullanılabilir, ancak doğrudan model ilerlemesiyle eş tutulmamalıdır.

Daha açıklayıcı sorular şunları içerir: Tek bir görev için veri ne zaman doygunluğa ulaşır, yeni bir görev eklemek ne kadar mühendislik entegrasyon maliyeti gerektirir, veri kaç farklı senaryo ve eylem kümesini kapsar, üretim verisinde gerçek dağılım kayması ve anormal örnekler ne kadar yer alır, dağıtım akışında modele beslenmek yerine filtrelenmesi gereken kaç tane rutin başarılı segment vardır.

Üç veri türüne karşılık olarak, sermaye tahsisi de farklılık gösterecektir. Gözlem verileri, düşük maliyet, çeşitlilik ve geniş kapsamı önceliklendirmeli, temel yetenek sınırlarını genişletmek için kullanılmalıdır. Yüksek maliyetli uzaktan işletim ve öğretim verileri, tek bir görev doygunluğa ulaştığında, bütçe aynı eylemi tekrarlamak yerine daha fazla göreve yönlendirilmelidir. Dağıtım verileri ise başarısızlık, sınır koşulları ve dağılım dışı örnekleri filtrelemeye odaklanmalı, bilgi yoğunluğu düşük rutin çalışma kayıtları atılmalıdır.

Bu görüşlerin Physical AI değerleme anlatıları üzerinde gerçek bir etkisi vardır. Daha fazla robota, daha uzun çalışma süresine ve daha büyük bir uzaktan işletim ekibine sahip bir şirket, otomatik olarak daha güçlü bir model bariyerine sahip olduğu anlamına gelmez. Daha zor kopyalanabilir yetenekler, sürekli olarak yüksek değerli uzun kuyruklu veriler bulmak, belirli bir veri türünün ne zaman doygunluğa ulaştığını belirlemek ve daha düşük maliyetle daha fazla görev dağılımını kapsamak olabilir.

Ancak bu hâlâ bir sermaye tahsisi perspektifidir ve sektörde kesin bir sonuç değildir. Robot modellerinin dil modellerine benzer ölçek getirileri gösterip göstermeyeceği, dağıtım verilerinin belirli yüksek boyutlu senaryolarda sürekli yeni bilgi üretip üretemeyeceği ve farklı görevler arasındaki aktarım verimliliğinin ne kadar yüksek olduğu, daha fazla ampirik sonuçla yanıtlanmayı beklemektedir.

Garg'ın uyarısı daha spesifik bir soruna odaklanıyor: Physical AI'nın "altın metrik"i belki de veri saatleri değil, her dolar karşılığında elde edilen yeni örneklerdir. Hâlâ veri çarkıyla hikaye anlatan robot şirketleri için piyasanın nihayetinde bakacağı şey, toplam çalışma süresinin ne kadar uzun olduğu değil, bu süre zarfında ne kadar yeni bilgi üretildiğidir.

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia