a16z: Yapay Zekanın Sonraki Sınırı, Robotlar, Otonom Bilim, Beyin-Bilgisayar Arayüzü Üçlü Jant

Bu makaleyi okumak için 55 Dakika

Fiziksel AI Yatırım Mantığını anlamak isteyenler için, şu anda mevcut olan en kapsamlı çerçeve budur.

Orijinal Başlık: Fiziksel Dünya için Sınır Sistemleri

Orijinal Yazar: Oliver Hsu, a16z crypto Araştırmacısı
Orijinal Çeviri: Derin Akıntı TechFlow

Derin Akıntı Özet: Bu makale, a16z Araştırmacısı Oliver Hsu'dan gelmektedir ve 2026'dan beri en sistemli "fiziksel AI" yatırım haritasıdır. Onun değerlendirmesi şudur: Dil/kod bu ana trendde hala ölçekleniyor, ancak gerçekten bir sonraki nesil devrim niteliğindeki yetenekleri hayata geçirebilen, ana trende yakın üç alan—genel amaçlı robotlar, otomatik bilim (AI bilim insanı), beyin-makine arayüzü gibi yeni tip insan-makine arayüzüdür. Yazar, onları destekleyen beş temel yeteneği ayrıştırmış ve bu üç cephe arasında karşılıklı beslenen yapısal bir döner fırlatma oluşacağını kanıtlamıştır. Fiziksel AI yatırım mantığını anlamak isteyenler için bu şu anda mevcut en kapsamlı çerçevedir.

Bugünü yönlendiren AI paradigması, dil ve kod düzenlemesi etrafında dönüyor. Büyük dil modellerinin ölçekleme yasası artık açık bir şekilde tanımlanmış durumda, veri, hesaplama gücü, algoritma geliştirmenin ticari döner çarkı dönüyor, her bir adımın getirdiği getiri hala büyük ve bu getirilerin çoğu görülebilir. Bu paketlenmiş paradigmaya çekilen sermaye ve dikkat hak ediyor.

Ancak bir grup bitişik alan, zaten kuluçka döneminde somut ilerlemeler kaydetmiştir. Bu, VLA (görüntü-dil-hareket modeli), WAM (dünya hareket modeli) gibi genel amaçlı robot rota, fizik ve bilimsel mantığa dayalı bir yaklaşım olan "AI bilim insanı" etrafında dönen ve AI kullanarak insan-makine etkileşimini yeniden şekillendirmeyi amaçlayan yeni tip arayüzleri (beyin-makine arayüzü ve nöroteknolojiyi içerir) içerir.

Teknolojinin yanı sıra, bu yönlere her biri yeteneklerini, sermayeyi ve kurucuları çekmeye başladı. Fiziksel dünyadaki AI'nın sınırlarını genişleten teknik öncülükler aynı anda olgunlaşıyor, geçen 18 ayın ilerlemeleri bu alanların yakında kendi ölçekleme aşamalarına gireceğini göstermektedir.

Herhangi bir teknoloji paradigmında, mevcut yeteneklerle orta vadeli potansiyel arasındaki en büyük farklılığa sahip olan yer genellikle iki özellik taşır: birincisi, mevcut sınırı yönlendiren aynı ölçekleme kazancından yararlanabilecek olması, ikincisi ise ana akım paradigmadan bir adım uzakta olması—hem altyapısını hem de araştırma momentumunu devralacak kadar yakın, ancak ekstra çalışma yapılması gereken kadar uzak.

Bu mesafe kendisi başlı başına çift taraflı bir etkiye sahiptir: Hızlı takipçilere karşı doğal bir savunma hattı oluşturur ve aynı zamanda daha az yoğun ve daha kalabalık olmayan bir problem alanını tanımlar, bu nedenle yeni yetenekler ortaya çıkma olasılığı daha yüksektir—çünkü kısayol henüz denenmemiştir.

Not: Mevcut AI paradigması (dil/kod) ile komşu en ön uç sistem arasındaki ilişkiyi gösteren çizim

Bu tanıma uyan bugün üç alan bulunmaktadır: Makine Öğrenimi, Özgür Bilim (özellikle malzeme ve yaşam bilimleri alanları) ve Yeni Tür İnsan-Makine Arayüzü (beyin-makine arayüzü, sesiz konuşma, nöral giyilebilir cihazlar ve dijital koku gibi yeni duyu kanallarını içerir).

Bunlar tamamen bağımsız çalışmalar değildir, konu olarak hepsi aynı "fiziksel dünyanın ön uç sistemleri" grubuna aittir. Bunlar altta yatan bir dizi temel kavramı paylaşırlar: Fiziksel dinamiklerin öğrenme temsilleri, bedensel eyleme odaklanan mimari, simülasyon ve sentez veri altyapısı, genişleyen duyu kanalları ve döngülü zeki ajan düzenlemesi. Bu alanlar, disiplinler arası geri besleme ilişkilerinde birbirlerini güçlendirir. Aynı zamanda dönüşümsel yeteneklerin en olası ortaya çıkacağı yerdir - model ölçeği, fiziksel uygulama ve yeni veri biçimlerinin etkileşimi.

Bu makale, bu sistemleri destekleyen teknik kavramları düzenleyecek, bu üç alanın neden ön uç fırsatları temsil ettiğini açıklayacak ve aralarındaki karşılıklı güçlendirmenin AI'ı fiziksel dünyaya yönlendiren yapısal bir uçurtma oluşturduğunu öne sürecek.

Beş Temel Kavram

Belirli uygulamalara geçmeden önce, bu ön uç sistemlerin paylaştığı teknik altyapıyı anlamak önemlidir. AI'nın fiziksel dünyaya doğru ilerlemesini sağlayan şey, beş ana kavramdır. Bu teknikler herhangi bir tek uygulama alanına özgü değildir, bunlar yapının unsurlarıdır - AI'ın fiziksel dünyaya ulaşmasını sağlayan sistemlerin oluşturulmasını sağlayan temellerdir. Bu kavramların eşzamanlı olgunlaşması, şu anda bu zamana özgü olmanın nedenidir.

Not: Fiziksel AI'yı destekleyen beş temel kavram

Kavram Bir: Fiziksel Dinamiklerin Öğrenme Temsili

En temel kavramlardan biri, sıkıştırılmış, evrensel bir fiziksel dünya davranış temsili öğrenebilen bir şeydir - cisimlerin nasıl hareket ettiği, şekil değiştirdiği, çarpıştığı, kuvvete nasıl tepki verdiği. Bu katman olmadan, her fiziksel AI sistemi kendi alanının fizik kurallarını sıfırdan öğrenmek zorunda kalır, bu maliyeti kimse karşılayamaz.

Birkaç mimari akımı, bu hedefe farklı yönlerden yaklaşmaktadır. VLA modeli üst seviyeden yaklaşır: Önceden eğitilmiş bir görme-dil modeli alır - bu tür modeller nesneler, uzay ilişkileri ve dilin anlamsal anlayışına sahiptir - ve bunların üstüne bir eylem çözümleyici ekler, hareket kontrol talimatları çıktılar.

Önemli olan nokta, "dünyayı görmeyi" ve "anlamayı" öğrenme maliyetinin, İnternet ölçeğindeki görsel ve metin önceden eğitiminin yaygınlaştırılmasıyla düşürülebilmesidir. Fiziksel Zeka'nın π₀, Google DeepMind'in Gemini Robotları, NVIDIA'nın GR00T N1'i, bu tür bir mimarinin giderek artan ölçekte doğrulandığını gösterdi.

WAM modeli ise alt seviyeden başlar: İnternet ölçeğindeki videolarda önceden eğitilmiş Video Diffusion Transformer'a dayanan, zengin fiziksel dinamiklerden gelen önyargıyı devralan (bir nesnenin nasıl düştüğü, nasıl gölgelendiği, kuvvet uygulanınca nasıl etkileşime girdiği), bu önyargıları ve eylem üretimini birleştirir.

NVIDIA'nın DreamZero'su, sıfır örnek genelleme ile yeni görevler ve ortamlara yönelik, insan videosundan az miktarda uyarlama verisi kullanarak çapraz vücut doğrulaması yapabilme becerisini sergiledi, gerçek dünya genelleme becerisi anlamlı bir iyileşme gördü.

Üçüncü yol belki de gelecek yönü hakkında en ilham verici olanıdır, çünkü önceden eğitilmiş VLM ve video diffüzyon omurgasını tamamen atlar. Generalist'in GEN-1'i, sıfırdan yetiştirilen doğal bir vücut temelli modeldir, eğitim verileri 50.000 saatten fazla gerçek fiziksel etkileşim verisidir ve çoğunlukla günlük işlem görevlerini yerine getiren insanlardan düşük maliyetli giyilebilir cihazlar aracılığıyla toplanmıştır.

O, standart anlamda bir VLA değildir (hiçbir görüntü-dil omurgası fevkalade özelleştirilmemiştir), ayrıca WAM da değildir. O, fiziksel etkileşim için tasarlanmış temel bir modele sahiptir, sıfırdan öğrenilmiştir, İnternet görseli, metin veya video istatistiksel düzenliliğini değil, insanların nesnelerle etkileşim istatistiğini öğrenir.

World Labs gibi şirketlerin yaptığı uzaysal zeka, bu temel yapının değerini bilmektedir, çünkü VLA, WAM ve doğal vücut modellerinin ortak olarak eksik olarak gördüğü bir noktayı doldurur: Üçü de bulundukları sahnenin üç boyutlu yapısını açıkça modellememişlerdir.

VLA, görsel ve metinsel önceden eğitimden gelen 2B görüntü özelliklerini miras alır; WAM, video yoluyla dinamikleri öğrenir, video zaten 3B'nin 2B yansımasıdır; giyilebilir sensör verilerinden öğrenilen modeller, kuvvet ve kinematiği yakalayabilir, ancak sahne geometrisini yakalayamaz. Uzaysal zeka modelleri, bu noktayı doldurmaya yardımcı olabilir - fiziksel çevrenin tam 3B yapısını yeniden oluşturmayı, oluşturmayı ve bu yapı üzerine mantıksal yürütmeyi öğrenir: geometri, aydınlatma, gölgelenme, nesne ilişkileri, mekansal düzen.

Her bir yolun yakınsaması zaten başlı başına önemlidir. Temsilin VLM'den miras mı alındığı, video işbirliği eğitiminden mi öğrenildiği, yoksa fiziksel etkileşim verilerinden başka bir şey öğrenildiği önemli değildir, temel öğe aynıdır: sıkıştırılmış, taşınabilir fiziksel dünya davranış modeli.

Bu temsilin hizmet edebileceği veri akışı çok büyüktür ve çoğu henüz hareket etmemiştir - sadece İnternet videoları ve robot izlemleri değil, aynı zamanda giyilebilir cihazlarla toplanmaya başlanan büyük miktarda insan vücut deneyimi verisi de vardır. Aynı temsil seti, bir havlu katlayan bir robota hizmet edebileceği gibi, tepki sonuçlarını tahmin eden otonom bir laboratuvara da hizmet edebilir, ayrıca bir motor korteks kavrama niyetini çözen bir sinir deşifresine hizmet edebilir.

原语二：Somut Eyleme Odaklı Mimari

Yalnızca fiziksel temsile sahip olmak yeterli değildir. "Anlama"yı güvenilir bir fiziksel eyleme çevirmek, birkaç ilişkili sorunu çözmek için mimari gerektirir: Yüksek-düzey niyetleri sürekli hareket talimatlarına eşlemek, uzun eylem dizilerinde tutarlılığı korumak, gerçek zamanlı gecikme kısıtlamaları altında çalışmak ve deneyime dayalı olarak sürekli gelişmek.

İki sistemli katmanlı bir mimari, karmaşık somut görevler için standart bir tasarım haline geldi: Yavaş ve güçlü görme-dil modeli sahne anlayışı ve görev çıkarımından sorumlu (Sistem 2), hızlı ve hafif görme-hareket stratejisi ise gerçek zamanlı kontrolden sorumlu (Sistem 1). GR00T N1, Gemini Robotics, Figure'ın Helix'i, "büyük model zenginleştirmesi sağlar" ile "fiziksel görevler milisaniye kontrol frekansı gerektirir" arasındaki temel gerilimi çözen bu yolun farklı bir versiyonunu benimsemiştir. Generalist ise, düşünmeyi ve eylemi aynı anda gerçekleştirmek için "rezonans çıkarımını" kullanmıştır.

Eylem üretme mekanizması da hızla evrim geçiriyor. π₀ tarafından başlatılan akış eşleme ve yayılma temelli eylem başlığı, pürüzsüz, yüksek frekanslı sürekli eylemler üretme üzerine yaygın yöntem haline gelmiş, dil modellemeye dayalı ayrık belirteçleştirmenin yerini almıştır. Bu tür yöntemler, eylem üretmeyi bir görüntü sentezi gibi gürültüyü azaltma süreci olarak ele alır ve üretilen yol fiziksel olarak daha düzgündür, hata birikimine karşı daha sağlamdır ve otomatik regresyon belirteç tahmininden daha iyidir.

Ancak mimari düzeydeki en önemli ilerleme, güçlendirme öğrenmeyi önceden eğitilmiş bir VLA'ya (Eylem ve Dil Modeli) genişletmektir - öğrenme verilerinde eğitilen temel bir model, kendi kendine egzersiz yaparak devam edebilir, insanların tekrarlayan pratik ve öz düzeltme yoluyla bir beceriyi geliştirdiği gibi. Fiziksel Zeka'nın π*₀.₆ çalışması, bu ilkeyi en net ölçeklendirilebilir şekilde göstermektedir. Onların yöntemi RECAP ("Öne Çıkan Koşul Stratejisi Tabanlı Deneyim ve Düzeltme Güçlendirme Öğrenimi") olarak adlandırılmaktadır ve saflaştırma öğrenmesinin başa çıkamadığı uzun dizi kredi atama sorununu çözmektedir.

Bir robot, İtalyan espresso makinesinin koluyla hafifçe eğik bir açıyla kaparsa, başarısızlık hemen ortaya çıkmayabilir, belki birkaç adım sonra takılabilir. Taklit öğrenme, bu başarısızlığı daha erken bir yakalama işlemine atfetme mekanizmasına sahip değildir, ancak güçlendirme öğrenmeye sahiptir. RECAP, başka bir deyişle, herhangi bir ara durumdan başarılı olma olasılığını tahmin eden bir değer fonksiyonu eğitir, ardından VLA'yı yüksek avantajlı eylemleri seçmeye yönlendirir. Temel nokta, çeşitli heterojen verileri - öğretici veriler, politika tabanlı özerk deneyimler, uzman uzaktan operasyonlar sırasında sağlanan düzeltmeleri - aynı eğitim akışına entegre etmesidir.

Bu yöntemin sonuçları, güçlendirme öğrenmeye eylem alanında sağladığı olanaklar açısından olumlu bir gelişmedir. π*₀.₆, gerçek ev ortamında 50'den fazla görülmemiş giysi yığını oluşturabilir, güvenilir bir şekilde karton kutuları monte edebilir, profesyonel bir makinede İtalyan espresso hazırlayabilir ve birkaç saat boyunca insan müdahalesi olmadan sürekli çalışabilir. En zorlu görevlerde, RECAP, saf taklit temeline göre işlem kapasitesini iki katına çıkarırken başarısızlık oranını yarı yarıya keser. Bu sistem ayrıca, güçlendirme öğrenimini takiben taklit öğreniminde elde edilemeyen kalitatif değişim davranışını göstermiştir: daha düzgün geri alma eylemleri, daha verimli kavrama stratejileri ve öğretici verilerde bulunmayan adaptif yanılar.

Bu getiriler bir şeyi gösteriyor: GPT-2'den GPT-4'e büyük ölçekli modelin gücünü aktarma işlemi, artık somut alanlarda işlemeye başladı—sadece şu anda daha erken bir noktada, eylem alanı sürekli ve yüksek boyutlu ve fiziksel dünya tarafından belirlenen hiç acımasız kısıtlamalarla başa çıkmak zorunda.

Asıl Dil Üç: Simülasyon ve Sentetik Veriler Olarak Ölçekleme Altyapısı

Dil alanında, veri sorunu Internet aracılığıyla çözüldü: Doğal olarak oluşan, ücretsiz erişilebilir trilyonlarca simge metin. Fiziksel dünyada, bu sorun çok daha büyük bir ölçekte—bu artık bir fikir birliği haline geldi ve en doğrudan işaretlerden biri fiziksel dünya verilerine yönelik girişimci şirketlerin hızla artıyor olmasıdır.

Gerçek dünya robot izi toplamanın maliyeti yüksek, ölçeklendirme riskli ve çeşitlilik sınırlıdır. Bir dil modeli milyarlarca konuşmadan öğrenebilirken, bir robot (şimdilik) milyarlarca fiziksel etkileşime sahip olamaz.

Simülasyon ve sentetik veri oluşturma, bu kısıtlamayı aşmanın altyapı katmanıdır ve bugünün fiziksel yapay zeka alanını hızlandıran ana nedenlerden biri haline gelmiştir.

Modern simülasyon yığını, fizik tabanlı simülasyon motorları, ışın izleme tabanlı fotoğraf kalitesinde renderlama, programlanabilir ortam oluşturma ve simülasyon girdisinden fotoğraf kalitesinde video oluşturmaya kadar uzanan dünya temel modellerini bir araya getirir—sonuncusu sim-to-real uçurumu kapatmayı üstlenir. Tüm bu boru hattı, gerçek ortamın sinirsel yeniden yapılandırmasından (sadece bir cep telefonu ile yapılabilen) başlayarak, fiziksel olarak doğru 3B varlıklarla doldurur, ardından otomatik olarak işaretlenmiş büyük ölçekli sentetik veri oluşturmaya gider.

Simülasyon yığınının gelişiminin anlamı, bu durumun fiziksel yapay zekayı destekleme ekonomik varsayımlarını değiştirmesidir. Eğer fiziksel yapay zekanın engeli "gerçek veri toplama"dan "çeşitli sanal ortamlar tasarlama"ya kayarsa, maliyet eğrisi çökecektir. Simülasyon, hesaplama gücü genişledikçe, insan gücüne ve fiziksel donanıma dayanmaz. Bu, fiziksel yapay zeka sistemlerini eğitmenin ekonomik yapısını dönüştürme, İnternet metin verilerinin dil modellerini eğitmedeki etkisiyle aynıdır—anlamı, simülasyon altyapısına yapılan yatırımın ekosistemi büyük ölçüde etkileyeceğidir.

Ancak simülasyon yalnızca bir robotika dili değildir. Aynı altyapı aynı zamanda otonom bilim (labaratuar cihazlarının dijital ikizi, hipotez öncesi tarama için simülasyon tepki ortamı), yeni tür arayüzler (BCI çözücü eğitimi için simülasyon nöral ortam, yeni sensörlerin kalibrasyonu için sentetik duyusal veriler) ve diğer yapay zeka ve fiziksel dünya etkileşimi alanlarını hizmet eder. Simülasyon, fiziksel dünya yapay zekanın evrensel veri motorudur.

Asıl Dil Dört: Duyusal Kanalları Genişletme

Fiziksel dünyada iletişim sinyalleri, görme ve dilin çok ötesinde zengindir. Dokunsal iletişim malzeme özellikleri, kavrama stabilitesi, temasa dayalı geometri gibi kamera tarafından görülemeyen bilgileri iletebilir. Sinir sinyalleri, herhangi bir mevcut insan-makine arabiriminden çok daha geniş bir bant genişliği ile hareket niyetini, bilişsel durumu, algı deneyimini kodlar. Alt perde kas aktivitesi, herhangi bir ses oluşturulmadan önce konuşma niyetini kodlar. Dördüncü birim, yapay zeka için bu önceki erişilmesi zor duyusal kanalların hızla genişlemesini sağlar - sadece araştırmadan değil, aynı zamanda tüketici düzeyinde cihazlar, yazılım ve altyapı oluşturan geniş bir ekosistemden gelir.

Not: Gelişmekte olan AI duyusal yol, AR, EMG'den beyin-bilgisayar arayüzüne doğru

En açık göstergelerden biri yeni kategori cihazlarının ortaya çıkmasıdır. Son birkaç yılda AR cihazları deneyim ve şekil olarak büyük ölçüde gelişti (bu platformda tüketici ve endüstriyel senaryolar için uygulamalar yapan şirketler var); ses odaklı yapay zeka giyilebilir cihazlar, dil odaklı yapay zekanın daha kapsamlı fiziksel dünya bağlamına erişmesini sağlar - gerçekten de kullanıcıları fiziksel çevreye katılırken takip ederler.

Uzun vadede, sinir arayüzleri muhtemelen daha kapsamlı etkileşim modlarını açacaktır. Yapay zekanın getirdiği hesaplama paradigması değişimi, insan-makine etkileşimini büyük ölçüde geliştirmek için bir fırsat yaratmıştır, Sesame gibi şirketler bu amaçla yeni modları ve cihazları oluşturuyor.

Daha yaygın bir mod olan ses, yükselen etkileşim yöntemleri için bir itici güç sağlamaktadır. Wispr Flow gibi ürünler sesi ana giriş yöntemi haline getirirken (çünkü yüksek bilgi yoğunluğuna sahiptir ve doğal avantaja sahiptir), sessiz ses arayüzü piyasa koşullarını iyileştirmektedir. Sessiz ses cihazları, dilin tanınmayan bir şeklini yakalamak için dil ve ses telleri hareketlerini çeşitli sensörlerle yakalar - bu, sesli bilgiden daha yüksek bir bilgi yoğunluğuna sahip bir insan-makine etkileşim modunu temsil eder.

Beyin-bilgisayar arayüzü (invaziv ve invaziv olmayan) daha derin bir cephede temsil eder ve etrafında dönüp gelişen bir ticari ekosisteme sahiptir. Sinyaller, klinik doğrulama, düzenleyici onay, platform entegrasyonu, kurumsal sermaye gibi dört birleşme noktasında ortaya çıkar - bu da birkaç yıl öncesine kadar sadece akademik bir alan olan bir teknoloji kategorisidir.

Dokunsal algı; somut AI mimarisine girmekte olup, robotik öğrenmedeki bazı modeller, dokunma duyusunu açıkça içermeye başlamıştır. Koku duyusu ara yüzü gerçek mühendislik ürünü haline gelmektedir: Giyilebilir koku ekranları mikro koku üreticileri, milisaniye düzeyinde yanıt süresi kullanırken, artırılmış gerçeklik uygulamalarında gösterilmiştir; koku modelleri aynı zamanda kimya endüstrisindeki işlem izleme için görüntü AI sistemleri ile eşleştirilmeye başlamıştır.

Bu gelişmelerin ortak kuralı şudur: Sınıra ulaşmaları durumunda birbirlerine yaklaşırlar. AR gözlükler, kullanıcı ve fiziksel çevre etkileşimine yönelik görsel ve mekansal veri üretmeye devam eder; EMG bilek bandı, insan hareket niyetini istatistiksel kural olarak yakalar; sessiz konuşma arayüzü, alt perde ses üretiminden dil çıktısına eşleme yapar; BCI, şu anda mevcut en yüksek çözünürlükle nöral aktivite yakalar; dokunsal sensör, fiziksel işlem operasyonunun temas dinamiğini yakalar. Her yeni kategori cihaz aynı zamanda aynı zamanda bir veri oluşturma platformudur ve çoklu uygulama alanlarının altındaki temel modelleri besler.

Bir robota EMG ile hareket niyeti verilerinden eğitilen, ve bir robotun sadece uzaktan işlem verilerinden eğitildiği durumda, öğrendikleri kavrama stratejileri farklı olacaktır; sesaltı komutlara yanıt veren bir laboratuvar arayüzü, ve bir klavye kontrolüne sahip bir laboratuvar, getirdikleri bilim insanı-makine etkileşimi tamamen farklı olacaktır; yüksek yoğunluklu BCI verilerinden eğitilen bir beyin çözümleyici, herhangi başka bir kanaldan elde edilemeyen hareket planlama temsilini ortaya çıkarabilir.

Bu cihazların yayılması, eğitim öncesi yolcuğunun fiziksel AI sistemlerinin kullanılabilir veri manifoldunun etkin boyutlarını genişletmekte olduğunu genişletmektedir - ve bu genişleme büyük ölçüde, yalnızca akademik laboratuvarlardan değil, aynı zamanda sermayesi bol tüketici ürünü şirketlerinin itiş gücü tarafından sağlanmaktadır, bu da veri döngüsünün benimsenme oranıyla birlikte genişlemesine olanak tanır.

Prensip Beş: Kapalı Döngü Zeki Sistem

Son prensip daha çok bir mimari seviyesinde yer almaktadır. Bu, algılama, çıkarım ve eylemi sürekli, otonom, kapalı bir döngüde çalışacak şekilde düzenlemeyi kastediyor ve bunu insan müdahalesi olmadan uzun süre boyunca gerçekleştiriyor.

Dil modelinde, karşılık gelen gelişim, zeki sistemlerin ortaya çıkışıdır - çok adımlı çıkarı zinciri, araç kullanımı, öz düzeltme süreci, modeli tek bir tur soru-cevap aracından kendi kendine sorun çözücüye kadar genişletir. Fiziksel dünyada, aynı dönüşüm yaşanıyor olsa da, gereksinimler çok daha katı. Bir dil zeka sistemi hata yaparsa maliyetsiz bir şekilde geri dönebilir; bir fiziksel zeka sistemi bir kimya kabını devirirse geri dönüşü olmayabilir.

Fiziksel dünyanın zeki sistemlerinin, onları dijital versiyonundan ayıran üç özelliği vardır.

İlk olarak, bunlar deney veya işletme kapalı döngüsüne gömülü olmaları gerekiyor: doğrudan orijinal enstrüman veri akışına, fiziksel durum duyucusuna ve eylem diline bağlanarak, çıkarımı fiziksel gerçekliğe yerleştirirler, söz konusu olan sadece fiziksel gerçekliğin metinsel açıklaması değil.

İkinci olarak, uzun dizi sürekliliğe ihtiyaçları vardır: bellek, geri izleme, güvenlik izleme, kurtarma davranışı, çoklu çalışma döngülerini bir araya getirirler, her görevi bağımsız bir bölüm olarak değil, çoklu bölümler olarak ele alırlar.

Üçüncü olarak, kapalı döngü uyumuna ihtiyaçları vardır: fiziksel sonuçlara göre stratejiyi revize etmeleri gerekir, sadece metin geri bildirimine dayanmamalıdırlar.

Bu prensip, farklı yetenekleri (iyi bir dünya modeli, güvenilir eylem mimarisi, zengin duyusal takım) fiziksel dünyada otonom çalışabilen bütünsel bir sistem haline getirir. Bu, entegrasyon katmanıdır, olgunluğu, aşağıdaki üç uygulama alanının gerçek dünya konumlandırması olarak yalnızca izole araştırma gösterisi olmaksızın var olabilmesinin önkoşuludur.

Üç Alan

Yukarıdaki prensipler genel olan yetkinlik katmanlarıdır, bunlar başlıca uygulamanın nerede ortaya çıkacağını belirtmez. Birçok alan fiziksel eylem, fiziksel ölçüm veya fiziksel algı içermektedir. "Ön Cephe Sistem" ile "Sadece mevcut sistemlerin iyileştirilmiş versiyonu" arasındaki ayrım, alan içi model yetenek artışı ve ölçeklendirme altyapısının etkinliğinin artışı düzeyindedir - sadece daha iyi performans değil, daha önce mümkün olmayan yeni yeteneklerin ortaya çıkmasını sağlar.

Robotlar, AI Odaklı Bilim ve Yeni Tür İnsan-Makine Arayüzü, bu etkileşim etkisinin en güçlü olduğu üç alanıdır. Her biri temel dilbilgileri benzersiz bir şekilde bir araya getirirken, her biri mevcut dilbilgilerin çözdüğü sınırlamalar tarafından kısıtlanmıştır ve her biri işlem sırasında yan ürün olarak yapılandırılmış bir fiziksel veri türü oluşturur - bu veri, dilbilgileri kendini daha iyi hale getirir hale getirir, geri besleme döngüsü oluşturur ve tüm sistemi hızlandırır. Bu, dikkate değer fiziksel AI alanlarından sadece biri olmamakla birlikte, ileri AI yetenekleri ve fiziksel gerçeklik etkileşiminin en yoğun olduğu yerlerdir; aynı zamanda mevcut dil / kod paradigmalarına en uzak yerlerdir ve bu nedenle yeni yeteneklerin ortaya çıkma alanı en büyüktür - aynı anda son derece karşılıklı ve faydasını görebilecekleri yerlerdir.

Robotlar

Robotlar, en harfiyen fiziksel AI temsili olarak ortaya çıkar: Bir AI sistemi anlık olarak algılamalı, mantık yürütmeli ve fiziksel dünyaya fiziksel eylemler uygulamalıdır. Ayrıca her bir dilbiline karşı bir baskı testi uygular.

Bir genel amaçlı bir robotun bir havluyu katlaması gerektiğini düşünün ve bunun için kaç şey yapması gerektiğini düşünün. Değişken şekilli malzemelerin kuvvet altındaki davranışının ne olduğuna dair öğrenilmiş bir temsil setine sahip olması gerekir - bir fiziksel önyargı, ve bu tür bir şey, bir dil öncesi eğitimin sağlayamayacağı bir şeydir. Yüksek seviyeli talimatları 20 Hz'nin üzerinde bir kontrol frekansına çevirebilen sürekli hareket talimatları dizisine çevirebilen bir hareket mimarisi olması gerekir.

Milyonlarca gerçek havlu katlama gösterisini hiç kimsenin toplamadığı için eğitim verileri üretmesi gerekmektedir. Kaydırma algılama ve kavrama kuvvetini ayarlamak için dokunsal geri bildirime ihtiyaç duyar, çünkü görme bir kez stabil kavrama ile başarısız kavrama arasındaki farkı göremez. Ayrıca, hata yapılırken hatayı tanımlama ve düzeltme yeteneğine sahip bir kapalı çevrim kontrolcüsüne ihtiyacı vardır, hafızayla izlenen bir izi kör bir şekilde takip etmek yerine.

Şekil Notu: Robot görevi beş temel dilbini aynı anda çağırır

Bu yüzden robotlar bir uygulamadan ziyade bir araştırma sistemi olmaktadır. Bu dilbilgiler mevcut robot yeteneklerini iyileştirmiyor, önceki dar kontrollü endüstriyel ortamlarda yapılamayan işlemleri, hareketleri ve etkileşim kategorilerini açığa çıkarıyorlar.

Son birkaç yılda, ilerici ilerlemeler kaydedilmiştir - daha önce bahsetmiştik. Birinci nesil VLA, temel modelin çeşitli görevleri gerçekleştirmek için bir robotu kontrol edebileceğini kanıtlamıştır. Mimarlık ilerlemeleri, robot sistemini yüksek seviyeli çıkarımla düşük seviyeli kontrol arasında açmıştır. Uç taraf çıkarımı mümkün hale gelmiş, ontoloji arası taşıma, bir modelin sınırlı veri ile yeni bir robot platformuna uyum sağlamasını sağlar hale gelmiştir. Kritik kalan zorluk, hala uygulamanın engeli olan ölçeklenebilir güvenilirliktir. Her adımda %95 başarı oranı, 10 adımlık bir görev zincirinde sadece %60, ve üretim ortamı bu oranın çok üzerinde talep etmektedir. RL sonrası eğitim burada büyük potansiyele sahiptir, bu alanı, ölçeklendirme aşamasına ulaşmak için gereken yetenekler ve dayanıklılık eşiğini aşmaya yardımcı olabilir.

Bu gelişmeler piyasa yapısını etkiliyor. Robotik endüstrisinin onlarca yıllık değeri, çoğunlukla mekanik sistemlerde birikmiştir; mekanik hala teknik yığının önemli bir parçası olsa da, öğrenme stratejileri daha standardize olduğunda, değer model, eğitim altyapısı, ve veri döngüsüne kayacaktır. Robotlar aynı zamanda yukarıdaki temelleri besler: Her gerçek dünya trajedisi, dünya modelinin eğitim verilerini geliştirmek, her dağıtım hatası, simülasyon kapsamındaki bir boşluğu ortaya çıkarır, her yeni ortam testi, ön eğitim için kullanılabilen fiziksel deneyim çeşitliliğini genişletir. Robotlar hem temellerin en zorlu tüketicileridir hem de onların en önemli iyileştirme sinyal kaynaklarından biridir.

Otonom Bilim

Eğer robotlar "gerçek zamanlı fiziksel eylem" kullanarak temelleri test ediyorsa, otonom bilim biraz farklı bir şeyi test eder- nedensel karmaşık fiziksel sistemlerde devam eden çok adımlı çıkarımdır, saatler veya günlerle ölçülen bir zaman dilimi, deney sonuçları yorumlanmalı, bağlamsallaştırılmalı ve stratejileri revize etmek için kullanılmalıdır.

Not: Otonom Bilim (Yapay Zeka Bilimci), beş temel temele entegre olma şekli

AI destekli bilim, temel yapı kombinasyonunun en derin yayılma alanıdır. Bir otonom sürüş laboratuvarı (SDL), ne tür bir deneyin sonuç vereceğini tahmin etmek için fiziksel kimyasal kinetik temsilleri öğrenmelidir; sıvı transferi yapacak, numuneleri konumlandıracak, analitik aletleri işletecek fiziksel eylemlere ihtiyaç duyar; aday deneyleri önceden taramak ve nadir enstrüman zamanını tahsis etmek için simülasyon yapmak zorundadır; sonuçları temsil etmek için genişletilmiş algılama yeteneklerine-spektral, kromatografik, spektroskopik ve giderek daha yeni kimyasal ve biyolojik sensörlere---ihtiyaç duyar.

Herhangi başka bir alandan çok daha fazla açık döngü zekası düzenleme anahtarı gerektirir: çoklu tur "varsayım-deney-analiz-düzeltme" iş akışlarını insan müdahalesi olmadan sürdürebilmelidir, izlenebilirliği korumalı, güvenliği izlemeli ve her turda ortaya çıkan bilgiye göre stratejiyi ayarlamalıdır.

Diğer alanlar bu temelleri çağırma açısından bu derece derin değildir. Bu, otonom bilimin neden bir laboratuvar otomasyonundan çok daha fazlası olan sınırın "sistem" olduğunun nedenidir. Periodic Labs ve Medra gibi şirketler, malzeme bilimi ve yaşam bilimleri alanında bilimsel akıl yürütme yeteneği ve fiziksel doğrulama yeteneğini sentezlemiş, bilimsel iterasyonu gerçekleştirmiş ve yol boyunca deney eğitim verileri üretmişlerdir.

Bu tür sistemlerin değeri sezgisel olarak oldukça açıktır. Geleneksel malzeme keşfi kavramdan ticarileşmeye kadar uzun yıllar alır; teoride AI iş akışını bu süreci çok daha kısa süreye sıkıştırabilirdi. Temel kısıtlama, hipotez üretiminden (temel modelin yardımcı olabileceği bir alan) üretim ve doğrulamaya (fiziksel cihazlar, robot yürütme, döngüsel optimize etme) doğru kayıyor. SDL, bu tıkanıklık için kurulmuştur.

Özerk Bilim'in diğer önemli bir özelliği, tüm fiziksel dünya sistemlerinde geçerli olmasıdır ve veri motoru olarak rol üstlenmesidir. Her SDL tarafından yürütülen deney, sadece bir bilimsel sonuç üretmez, aynı zamanda fiziksel bir dayanağı olan, deneysel olarak doğrulanmış bir eğitim sinyali de üretir.

Belirli bir koşul altında polimerin nasıl kristalleştiğine dair bir ölçüm, malzeme dinamiği hakkındaki dünya modelini zenginleştirdi; doğrulanmış bir sentez yol haritası, fiziksel akıl yürütmenin eğitim verisi haline geldi; karakterize edilmiş bir başarısızlık, yapay zeka sistemine tahminlerinin nerede hatalı olduğunu söyledi. Bir AI bilim insanının gerçek deneylerden elde ettiği veri, internet metni veya simülasyon çıktısından farklıdır - yapılandırılmış, nedensel, deneysel olarak doğrulanmıştır. Bu tam da fiziksel akıl yürütme modelinin en çok ihtiyaç duyduğu ancak başka bir kaynaktan sağlanamayan veridir. Özerk Bilim, fiziksel gerçeği yapılandırılmış bilgiye dönüştürme ve genel fiziksel AI ekosistemini iyileştirme yoludur.

Yeni Nesil Arayüz

Robotlar AI'ı fiziksel harekete genişletirken, Özerk Bilim AI'ı fiziksel araştırmaya genişletir. Yeni nesil arayüz, yapay zekayı ve insan algısını, duyusal deneyimi, bedensel sinyalleri doğrudan eşler - AR gözlüklerinden EMG bilekliklere ve implant uygulamalı beyin-bilgisayar arayüzlerine kadar cihazlarla.

Bu kategoriyi bir arada tutan şey ise tek bir teknoloji değil, ortak bir işlevdir: insan zekası ve AI sistemleri arasındaki kanalın ve modların genişliği ve modalitesini genişletmek ve bu süreçte fiziksel AI inşa etmek için doğrudan kullanılabilen insan-dünya etkileşim verisi üretmektir.

Şekil Notu: AR gözlüklerinden beyin-bilgisayar arayüzlerine yeni nesil arayüz spektrumu

Ana akım paradigmadan uzaklık, bu alanın hem zorluğunu hem de potansiyelini oluşturur. Dil modelleri kavramsal olarak bu modları biliyor olabilir, ancak doğal olarak işitme olmadan hareket desenlerini, koku alma reseptörlerinin geometrik yapısını veya EMG sinyallerinin zamanlamasını bilmez.

Bu sinyallerin temsilini çözümlemek, genişletilen duyu kanallarından öğrenilmelidir. Birçok modun büyük ölçekli çevrimiçi eğitim verisine sahip olmadığı, verinin genellikle arayüzden kendisinin üretildiği anlamına gelir - bu da sistem ve eğitim verisinin işbirliği içinde evrim geçirdiği anlamına gelir, bu durum dil AI'sinde karşılığı yoktur.

Bu alanın son zamanlardaki performansı, AI'ın tüketici ürünü olarak hızla yükselmesidir. AR gözlükler belki de bu kategorinin en dikkat çekici örneğidir, diğer ses veya görme odaklı giyilebilir cihazlar da aynı anda ortaya çıkmaktadır.

Bu tüketici cihaz ekosistemi, hem AI'nin fiziksel dünyaya genişlemesi için yeni bir donanım platformu sağlar hem de fiziksel dünya verilerinin altyapısı haline gelir. Bir AI gözlük takan biri, fiziksel ortamda nasıl navigasyon yaptığı, nesnelerle nasıl etkileşime girdiği ve dünyayla nasıl etkileşime geçtiği hakkında sürekli birinci şahıs video akışı üretebilir; diğer giyilebilir cihazlar sürekli olarak biyometrik ve hareket verisi yakalar. AI giyilebilirlerin dağıtılmış bir fiziksel dünya veri toplama ağı haline gelmesi, insanın fiziksel deneyimini önceki olası olmayan bir ölçekte kaydeder.

Akıllı telefonun bir tüketici cihazı olarak ne kadar büyük bir etkiye sahip olduğunu düşünün - aynı ölçekte bir yeni tür tüketici cihazı, bir bilgisayarın dünyayı yeni bir şekilde algılamasına izin verirken, aynı zamanda AI'nin fiziksel dünya ile etkileşiminde devasa yeni bir kanal açar.

Beyin-makine arayüzü daha derin bir önde gelişi temsil ediyor. Neuralink şu anda birkaç hastaya implant yapmış durumda, cerrahi robotlar ve çözümleme yazılımları üzerinde iterasyonlar yapılıyor. Synchron'ın damar içi Stentrode'u, felçli kullanıcıların dijital ve fiziksel ortamları kontrol etmelerini sağlamak için kullanılmıştır. Echo Neurotechnologies, yüksek çözünürlüklü korteks tabanlı konuşma çözme üzerindeki araştırmalarına dayalı olarak dil restore etme için bir BCI sistemi geliştiriyor.

Nudge gibi yeni şirketler de, yeni nöro arayüz ve beyin etkileşim platformları oluşturmak için yetenek ve sermayeyi bir araya getiriyor. Araştırma düzeyindeki teknoloji kilometre taşları da dikkate değerdir: BISC yongası, tek bir çipte 65536 elektrottan oluşan bir kablosuz sinir kaydını gösterdi; BrainGate ekibi doğrudan hareket korteksinden içsel dilin kodunu çözdü.

AR gözlüklerden, AI giyilebilirlere, sessiz konuşma cihazlarına ve implant BCI'lara uzanan ana tema yalnızca "hepsi arayüzlerdir" değil, aynı zamanda insanın fiziksel deneyimi ve AI sistemleri arasında genişleyen bant genişliği spektrumunu oluştururlar - spektrumdaki her nokta, bu makalenin temel taşı olan üç büyük alandaki ilerlemeleri desteklemektedir.

Milyonlarca AI gözlük kullanıcısının yüksek kaliteli birinci şahıs video kullanarak eğitildiği robotlarla, işletimsel önyargılar öğrenen makinenin ve filtrelenmiş uzaktan operasyon veri kümesi ile eğitilen robotun tamamen farklı olduğunu; alt-yankı komutlarına yanıt veren laboratuvar AI ve klavye kontrolü arasındaki gecikme ve akış hızı tamamen farklıdır; yüksek yoğunluklu BCI verileri ile eğitilen sinirsel kod çözücü, diğer kanalların ulaşamayacağı bir hareket planlama temsilini üretir.

Yeni arayüz türleri, duyusal kanalın kendisini genişleten bir mekanizmadır - bu mekanizma, önceki yok olan bir veri kanalı açar. Bu genişleme, tüketici cihaz şirketlerinin ölçeklenebilir benimsemeyi izlemesiyle sağlanır ve bu da veri çarkının tüketicilerin benimsemesiyle birlikte hızlanacağı anlamına gelir.

Fiziksel Dünya Sistemleri

Robotları, otonom bilimi ve yeni tür arayüzü aynı öz dilden türetilmiş öncü sistemlerin farklı örnekleri olarak görün, çünkü birbirlerini etkinleştirirler ve bu etkileşim kümülatif etki yaratır.

Şekil Notu: Robotlar, otonom bilim ve yeni tür arayüz arasındaki karşılıklı geri besleme döneri

Robotlar Otonom Bilimi Etkinleştirir. Otomatik sürüş laboratuvarı esasen bir robot sistemidir. Genel amaçlı robotlar için geliştirilen işlevsellik - hünerli kavrama, sıvı işleme, hassas konumlandırma, çok adımlı görev yürütme - doğrudan laboratuvar otomasyonuna transfer edilebilir. Her bir robot modeli, genişletildikçe, SDL'nin otonom olarak yürütebileceği deney protokollerinin kapsamını genişletir. Robot öğrenmesinin her ilerlemesi, otonom deneyin maliyetini düşürmekte ve verimliliğini artırmaktadır.

Otonom Bilim Robotları Etkinleştirir. Otomatik sürüş laboratuvarının ürettiği bilimsel veriler - doğrulanmış fiziksel ölçümler, nedensellik deneyi sonuçları, malzeme özellikleri veritabanı - dünya modeli ve fiziksel akıl yürütme motorunun ihtiyaç duyduğu türden yapılandırılmış, uygulanabilir eğitim verilerini sağlar. Dahası, bir sonraki nesil robotların ihtiyaç duyduğu malzemeler ve cihazlar (daha iyi aktüatörler, daha hassas dokunma sensörleri, daha yüksek yoğunluklu piller vb.) zaten malzeme biliminin ürünüdür. Malzeme bilgisini hızlandıran otonom keşif platformu, doğrudan robot öğrenme işletiminin yapıldığı donanımın temelinde iyileştirmeler yapar.

Yeni Tür Arayüz Robotları Etkinleştirir. Artırılmış gerçeklik cihazları, "İnsanların fiziksel çevreyi nasıl algıladığı ve etkileşimde bulunduğu" verilerini toplamanın ölçeklenebilir bir yoludur. Nöral arayüz, insan hareket niyeti, bilişsel planlama, duyusal işleme hakkında veri üretir. Bu veriler, özellikle insan-makine işbirliği veya uzaktan işlemleri içeren görevlerle ilgili olduğunda, robot öğrenme sistemlerini eğitmek için son derece değerlidir.

Burada AI ilerlemenin doğası hakkında daha derin bir gözlem var. Dil/kod paradigmaları olağanüstü sonuçlar vermiş olabilir ve ölçekleme çağında hala güçlü bir yükselişte olabilirler. Ancak, fiziksel dünya sunduğu yeni sorunlar, yeni veri tipleri, yeni geri besleme sinyalleri, yeni değerlendirme standartları neredeyse sonsuzdur. AI sistemlerini fiziksel gerçekliğe yerleştirmek - nesneleri manipüle eden robotlar, sentetik malzemelerin bulunduğu laboratuvarlar, biyolojik ve fiziksel dünya arasında arabirim - mevcut dijital öncüyü tamamlayan yeni bir ölçekleme ekseni açtık - ve muhtemelen birbirlerini geliştirmelerine olanak sağladık.

Şekil Notu: Fiziksel AI'nın çeşitli ölçekleme eksenlerinin etkileşimi ve ortaya çıkması

Bu sistemlerin ne tür bir davranışı ortaya çıkaracağı zor tahmin edilebilir — yükselişin tanımı, bağımsızca anlaşılabilir ancak bir araya geldiğinde daha önce görülmemiş etkileşim yeteneğinden gelir. Ama tarihî bir kural iyimserdir. AI sistemleri her biri dünya ile etkileşimde bulunduğunda getirdikleri yeni modu — görme (bilgisayarlı görme), konuşma (konuşma tanıma), okuma yazma (dil modeli) — her bir geliştirmenin toplamından çok daha fazla bir yetenek sıçraması getirir. Fiziksel dünya sistemlerine doğru geçiş, bir sonraki bu tür bir faz değişiminin temsilcisidir. Bu anlamda, bu makalede tartışılan bu temel unsurlar şu anda inşa edilmekte olup, önde gelen AI sistemlerinin fiziksel dünyayı algılamasına, çıkarsamasına ve etkileşimde bulunmasına izin vererek, fiziksel dünyada büyük miktarda değer ve ilerleme ortaya çıkarabilir.