Li Feifei'nin World Labs'ın yeni yayınladığı dünya modeli, gerçekten bir dünya modeli mi?

Bu makaleyi okumak için 29 Dakika

Dünya modelinin tüm evreni kopyalaması gerekmez.

Orijinal Başlık: "Li Feifei'nin World Labs'ının Yayınladığı Yeni Dünya Modeli, Gerçekten Bir Dünya Modeli mi?"
Orijinal Yazar: Dongcha Beating

1 Eylül'de, Li Feifei'nin World Labs'ı Atlas'ı yayınladı.

Yayın sayfasında gerçekten güzel görünen bir dizi görüntü var. Birkaç telefon, tripodlar ve kelepçeler üzerine yerleştirilmiş, aynı sahneye üç ila beş açıdan bakıyor, sonra zaman duruyor, kamera hareket etmeye başlıyor, insanların etrafından dolaşıyor ve gerçek kameraların hiç durmadığı konumlara gidiyor.

Büllet time, bu teknik son iki yılda pek de nadir değil. Fark, Atlas'ın aynı anda ortaya koyduğu diğer üç şeyde.

İlk şey depth. Görüntüdeki her piksele kameradan ne kadar uzakta olduğunu işaretlemek, sıradan bir fotoğrafı mesafeye göre renklendirilmiş bir topografya haritasına dönüştürür.

İkinci şey point cloud. Uzayda milyonlarca nokta dağıtılır, her nokta kendi üç boyutlu koordinatını hatırlar, bir araya geldiklerinde bu odanın şeklini oluştururlar.

Üçüncü şey 3D Gaussian Splat. Üçgen yüzeylerle model oluşturmaz, bunun yerine renkli, şeffaflıklı, yönlü ve kalınlıklı çok sayıda küçük ışık lekesiyle tüm sahneyi yığar ve herhangi bir açıdan yeniden render edilebilir.

Bu üç şeyin ortak noktası ölçülebilir olmalarıdır. Bardak çapı, masadan duvara mesafe, hepsi doğrudan değer olarak okunabilir. Üretilen sonuç artık sadece insanların görmesi için bir görüntü değil, oyun motorlarına, tasarım yazılımlarına veya bir robot kolunun kontrol koduna gönderilebilir.

World Labs, Atlas'ı doğrudan dünya simülatörü olarak adlandırıyor.

Simülatör kelimesini gelişigüzel kullanmıyorlar. Üç ay önce, bu isme hangi sistemlerin layık olduğunu belirleyen bir makale yazmışlardı.

Görülebilen ve Dokunulabilen

Bu makale bu yılın Haziran ayında yayınlandı ve gerçek dünya modelinin ne olduğunu tartışıyordu. Sonuç, piyasadaki sistemleri üç seviyeye ayırmaktı: renderer, simülatör, planlayıcı.

Bu sınıflandırma yönteminin kökeni çok eski. 1943'te İngiliz psikolog Kenneth Craik, insanların bir olayın nasıl gelişeceğini önceden anlayabilmesinin nedeninin, zihinlerinde küçültülmüş bir gerçek dünya modeli bulunması olduğunu söyledi. Bu görüş daha sonra sibernetik, sinir ağları ve pekiştirmeli öğrenme tarafından devralındı ve üç kelimeye dönüştü: state, observation, action.

Bir mutfakla anlatalım.

Bardağın masanın neresinde durduğu, kenardan kaç santimetre uzakta olduğu, masanın duvardan ne kadar uzakta bulunduğu, kapının açık mı kapalı mı olduğu—bunların hepsi, mutfağın o andaki state'ini oluşturur.

Kapıda duran bir kişi, durumun yalnızca bir kısmını görür. Buzdolabının arkasında kalan zemin görünmez, bardakta ne kadar su kaldığını da bilmez. Gözlerinin topladığı bu bilgiye observation denir.

Yürüyüp bardağı ittirdiğinde, bu bir action'dır.

State, observation, action—bir sistemin bunlardan kaçını yönetebildiği, hangi seviyeye ait olduğunu belirler.

Renderer görüntüyü yönetir. Kişi bir adım ileri gittiğinde, o adımda ne görmesi gerektiğini hesaplar; görüntü gerçekçi ve önceki kareyle uyumluysa iş tamamdır. Bardağın yüksekliğini veya masanın duvara uzaklığını bilmesine gerek yoktur, çünkü çıktısı yalnızca bir görüntüdür.

Simülatör durumu yönetir. Bardağın konumu, masanın boyutları, kapının duvara çarpmadan ne kadar açılabileceği—bu sayıları sürekli saklamak ve gerektiğinde çağırmak zorundadır. Bu sayıları sakladığı için diğer programlar bağlanabilir ve bir robot kolu bu mutfakta uzanabilir.

Planlayıcı eylemleri yönetir. Yalnızca bardağın masada olduğunu ve devrilirse ne olacağını bilmekle kalmaz, aynı zamanda şu an uzanmanın gerekip gerekmediğini, hangisini önce alacağını ve hangi açıdan en sağlam şekilde yakalayacağını da değerlendirir.

Bu ölçütlere göre, Google DeepMind'ın Genie 3'ü en düşük seviyeye, yalnızca bir renderer olarak sınıflandırılır. Aynı kategoriye, World Labs'ın Ekim 2025'te yayımladığı RTFM de dahildir.

Bundan önce, "dünya modeli" terimi neredeyse her şeyi kapsayabiliyordu. Bir metin girip içine adım atılabilen bir görüntü üretmek dünya modeliydi. Web sitesi sloganını AI ile dünyayı simüle etmek olarak değiştirmek de dünya modeliydi. Bu makale ilk kez bir çizgi çekti: görüntü görüntüdür, dünya dünyadır.

Geçtiğimiz yılki demoların çoğu birinci seviyede kaldı. Saf metinden video üretimine kıyasla gerçekten büyük bir ilerleme kaydettiler; bir ok tuşuna basıldığında görüntü buna göre değişiyor.

Ancak renderer'ın çıktısı insan gözü için yeterli olsa da, makineler için kullanışsızdır.

Atlas'ın hedefi simülatör seviyesine ulaşmaktır. Kendi tanımlarına göre, bir simülatör dünyanın tüm durumunu korumalıdır; fizik de buna dahildir.

Şu ana kadar açıklanan testler, kamera koşullu üretim ve üç boyutlu yeniden yapılandırma üzerine yoğunlaşmıştır. Karmaşık malzemeler, akışkanlar ve kumaş gibi çoklu fizik etkileşimleri henüz çözülmemiştir; tüm sektör bu sorunu çözmüş değildir.

Atlas'ın teknik adı multimodal otoregresif difüzyon transformatörüdür; bu dört kelime ayrı ayrı ele alındığında yeni bir şey değildir.

Transformatör ve otoregresif, büyük dil modellerinin bir parçasıdır; zaten üretilmiş içeriğe bakarak birbiri ardına devam eder. Difüzyon, görüntü ve video üretiminin bir parçasıdır; görüntüyü o çizer. Multimodal, aynı anda birden fazla girdi türünü aldığı anlamına gelir.

Yeni olan kısım, multimodal'ın özellikle metin, görüntü, kamera konumu ve derinlik haritası olmak üzere dört türü içermesidir.

Kamera konumu, bu fotoğraf çekilirken kameranın üç boyutlu uzayda hangi konumda olduğunu ve hangi yöne baktığını belirtir; altı sayı bunu net bir şekilde ifade eder. Derinlik haritasıyla birleştiğinde, her fotoğraf artık yalnız başına bir görüntü değil, çekim konumu işaretlenmiş bir görüntüdür.

Tüm fotoğraflar aynı koordinat sisteminde işaretlenir; bu koordinat sistemi Atlas'ın paylaşılan uzamsal bağlamıdır (shared spatial context).

Örneğin, oturma odasının kapısında durup bir kanepe fotoğrafı çekin, sonra pencere kenarına gidip bir tane daha çekin. İki fotoğrafta kanepe farklı boyutta, farklı açıda ve yarısı sehpa tarafından kapatılmıştır. Sıradan bir model iki farklı görüntü görür. İnsan ise aynı kanepeyi görür, çünkü kaç adım attığını ve kaç derece döndüğünü bilir.

Atlas'ın aldığı şey tam olarak "kaç adım atıldığı ve kaç derece dönüldüğü" verisidir.

Bu verinin başka bir kullanımı daha var; World Labs'ın önceki ürünü RTFM bunu zaten denemişti. Hedefi, tek bir H100 üzerinde gerçek zamanlı olarak sürekli gezilebilen bir dünya üretmekti. İleri gidildikçe ileri üretir, dönüş yapıldığında görüş açısı buna göre değişir. Sorun hafızada ortaya çıkar.

Birinin bu sanal evde yarım saat gezindiğini varsayalım. Bu yarım saat boyunca üretilen tüm görüntüler bağlama sıkıştırılırsa, model hiçbir şeyi unutmaz; ancak bağlam giderek uzar ve hesaplama gücü önce dayanamaz. Yalnızca son birkaç on kare tutulursa, hesaplama gücü kurtarılır; ancak yatak odasından dolaşıp mutfağa geri dönüldüğünde, model yirmi dakika önce masanın nerede olduğunu hatırlamaz ve aynı mutfak iki farklı şekilde üretilir.

World Labs'ın RTFM için kullandığı yöntem, uzamsal hafıza olarak konumlandırılmış karelerdir (posed frames as spatial memory). Her kare, görüntünün yanı sıra çekildiği sırada kameranın uzaydaki konumunu ve yönünü de saklar. Model belirli bir konuma geldiğinde, sistem tüm hafızayı gözden geçirmek zorunda kalmaz; yalnızca konuma göre yakındaki birkaç kareyi alır ve bu üretim için gereken bağlamı birleştirir.

Konum burada dizin görevi görüyor. Mutfağın nasıl göründüğünü bilmek istiyorsanız, mutfağın yakınında çekilmiş kareleri bulmanız yeterli; ne zaman çekildikleri önemli değil.

İnsan hafızası da aslında aynı yolu izler. Geçen Çarşamba öğleden sonra ne yaptığınızı hatırlamanız istendiğinde, büyük olasılıkla hatırlayamazsınız; ancak o toplantı odasına girdiğinizde, karşınızda kimin oturduğu ve beyaz tahtada ne yazdığı hızla yerine oturur. Zamana göre arama yapmak baştan saymayı gerektirirken, konuma göre arama tek adımda sonuca ulaştırır.

Yeniden İnşa ve Üretim

Atlas'ın yayın sayfasında bir deney daha var. Önce yalnızca bir bahçe fotoğrafı verilir ve modelden yüksekten bakılan bir görüntü üretmesi istenir. Fotoğrafta yalnızca bahçe vardır; çevresi çekilmemiştir, bu yüzden bahçe kısmı olduğu gibi yeniden oluşturulurken, yanındaki binalar modelin eğitim verilerinde gördüğü genel bilgilerle tamamlanır.

İkinci fotoğrafta yandaki kulübe görünür; bu bölümün tamamlanması gerekmez. Üçüncü fotoğrafta ev ortaya çıkar ve tamamlanması gereken alan bir parça daha azalır.

World Labs'ın özeti şu: ne kadar çok görürse, o kadar az hayal eder. Verdikleri verilere göre, iki veya üç fotoğraf genellikle sahneyi kullanılabilir düzeyde yeniden oluşturmak için yeterlidir; bir seferde en fazla yüzün üzerinde fotoğraf eklenebilir.

Bu deney, normalde birbirinden ayrı duran iki şeyi aynı modelde birleştiriyor.

Bilgisayarda üç boyutlu bir sahne elde etmek için geçmişte iki yol vardı. Biri yeniden inşa olarak adlandırılır; sahada çekilen fotoğraflarla gerçek bir yeri olduğu gibi yeniden oluşturur, çekilmeyen köşeler boş bırakılır, bir delik açmak pahasına. Diğeri üretimdir; model, eğitimde gördüğü evler ve çimenliklerle hiç var olmamış bir yer yaratır.

Atlas her iki tarafı da kapsar. Çekilmeyen yerler önce genel bilgilerle doldurulur; yeni fotoğraflar eklendikçe, uydurulan kısım gerçekle değiştirilir. Fotoğraf azsa daha çok uydurur, fotoğraf çoksa daha az uydurur.

Funes World adlı bir projeyi her zaman çok sevmişimdir. Kameralarla dünyayı dolaşıp binaları çekerler: Pompeii, Truva, Köln Katedrali, Cennet Tapınağı'ndaki Qinian Salonu; ayrıca pek bilinmeyen evleri de çekerler—öyle ki bir gün tadilattan geçtikten sonra kimse orijinal halini hatırlamaz. Binaların etrafında dolaşıp her yönden fotoğraf çekerler, fotoğraflar arasında yeterli örtüşme bırakır ve fotogrametri, NeRF, Gaussian Splatting ile üç boyutlu modelleri birleştirirler. Kamu arşivinde şu anda 2100'den fazla model var ve 19'dan fazla ülkeyi kapsıyor.

Gerçek dünyanın yedeğini aldıklarını, fiziksel dünyanın bir GitHub'ını oluşturduklarını söylüyorlar.

Funes, saf yeniden inşa yolunu izliyor. Buldozerlerin önüne geçip deklanşöre basıyorlar; amaç, o evin gerçekten o şekilde olması. Bir parça eksik olsa bile, modelin onu tamamlamasına izin vermiyorlar.

Atlas ise farklı bir kullanıcıyla karşı karşıya. Bir mutfaktaki duvarın konumu ve boyutları doğru olduğu sürece, robot kolun çarpma sonucu aynı olur; duvardaki desenin fotoğrafla mı yoksa üretilmiş mi olduğu robot kolu ilgilendirmez.

Böylece sorun başka bir yere kayıyor. Kısmen uydurmaya dayanan bir dünya, gerçekte çalışacak bir makineyi eğitmek için kullanılabilir mi? Üretilen evin gerçeğe ne kadar benzediği ise şimdilik bir kenara bırakılabilir.

Temmuz ayında World Labs, robot şirketi SceniX'i satın aldı. Satın almanın ardından açıklanan ilk sonuçlar tam da bu soruya yanıt veriyor.

Birkaç robot grubu tamamen simülatörde eğitildi, gerçek dünyadan tek bir veri kullanılmadı ve ardından doğrudan gerçek robot kollarına monte edilerek kutu yerleştirme, kablo sarma ve test tüpü taşıma işlemleri yapıldı. Bunlardan birkaçı, insan müdahalesi olmadan 1 saat boyunca kesintisiz otonom çalıştı.

Daha dikkat çekici olan, bu simülatörün yeterli olup olmadığını nasıl değerlendirdikleri.

Kulağa doğal gelen bir kriter var: Simülatörde başarı oranı %80 ise, gerçek makinede de %80 olmalı. Bu kriteri kullanmadılar. Simülatördeki duvar ile gerçek duvarın sürtünmesi farklı, parçaların ağırlık dağılımı da uyuşmuyor; başarı oranı kaçınılmaz olarak farklı olur.

Bunun yerine şöyle yaptılar. Önce simülatörde birkaç yöntemi 2000 kez çalıştırıp performansa göre sıraladılar, ardından bu yöntemleri gerçek makinede 100'er kez denediler ve sadece iki şeyi karşılaştırdılar. Simülatörde A yöntemi B'den iyiyse, gerçek makinede de böyle mi; simülatör belirli bir hareketin hangi adımda en çok başarısız olduğunu söylüyorsa, gerçek makine de o adımda mı başarısız oluyor.

Açıklanan görevlerde bu iki nokta da uyuştu. İki taraf arasındaki başarı oranı farkının ne kadar olduğu ise önemsenmedi; World Labs'ın kendi ifadesine göre, yararlı bir simülatörün gerçekle aynı başarı oranına sahip olması gerekmez, sadece gerçekle aynı kararları desteklemesi yeterlidir.

Bu yöntem yüz yıldan fazla bir süre önce de kullanılmıştı.

1901 sonbaharında Wright kardeşler, Lilienthal'in yayınladığı kanat verilerine dayanarak bir planör inşa ettiler; ancak gerçek kaldırma kuvveti tahmin edilenin yalnızca üçte biriydi. Önceki veriler hatalıydı, ancak yeniden ölçmek için insanları defalarca gökyüzüne çıkarmak gerekiyordu. Bu yüzden altı fit uzunluğunda ahşap bir rüzgar tüneli yaptılar; bir öğleden sonra birkaç kanat setini test edebiliyor, bir kış boyunca 100'den fazla çeşidi deneyebiliyorlardı.

Rüzgar tünelindeki o rüzgar ile Kuzey Carolina'nın deniz meltemi aynı şey değildir, ancak hangi kanadın daha iyi olduğu karşılaştırılabilir.

Dünya modelinin tüm evreni kopyalaması gerekmez. Yalnızca kararlarla ilgili olan yapıyı koruması yeterlidir.

Başarısızlığın dersleri

Bu noktada World Labs'ın iş modeli netleşiyor. 2025'te piyasaya sürdükleri ürün Marble, zaten metin, görüntü ve videolardan keşfedilebilir üç boyutlu dünyalar üretebiliyor; World API açıldıktan sonra geliştiriciler doğrudan çağırabilir ve Atlas, bu ürünlerin altındaki model katmanıdır.

Bu yıl Şubat ayındaki 1 milyar dolarlık finansman turunda yatırımcılar oldukça çeşitliydi. NVIDIA Physical AI istiyor, Autodesk mimari, endüstriyel tasarım ve dijital ikizler istiyor, ayrıca AMD, Fidelity ve Sea da var. Aynı üç boyutlu dünyada, yönetmen kamera açısı ve ışıkla ilgilenir, mimar yapı ve ölçekle, robot ise deney yapılabilecek bir ortam ister.

Bir dünya yeterince genel olduğunda, bugün birbirinden ayrı duran birkaç yazılım endüstrisini kapsayabilir.

Kendilerini dünya modeli yaptığını söyleyen şirketleri aynı benchmark tablosuna sıkıştırmanın artık bir anlamı yok.

Genie 3 görüntü üretiyor, Meta'nın V-JEPA 2'si hiç görüntü çizmiyor, doğrudan videolardan kurallar öğreniyor, NVIDIA'nın Cosmos'u görsel akıl yürütme, dünya üretimi ve eylem tahminini aynı modele koyuyor, Runway video üretiminden simülasyona dönüyor. Aynı kelimeyi kullanıyorlar ama aynı soruyu çözmüyorlar.

Tek bir ayrım var. Bir taraf, dünyayı yeterince iyi tahmin ederseniz, üç boyutlu yapının kendiliğinden veriden çıkacağına inanıyor; videolarda zaten bu kurallar gizli. Diğer taraf, kamera konumu, geometri ve fizik kısıtlamalarını doğrudan modele yerleştiriyor ve dünyanın ilk günden yapıyla gelmesini sağlıyor. Atlas, kamera pozunu ve derinliği yerel girdi olarak yaparak bunu yapıyor.

Bu yolda kaçınılmaz bir şey var: eğitim verisi nereden gelecek?

Büyük dil modelleri bir hediye aldı. Onlarca yıl boyunca insanlar web sayfaları yazdı, kod yazdı, forumlarda tartıştı ve farkında olmadan devasa bir metin külliyatı biriktirdi.

Üç boyutlu dünyada böyle bir şey yok. Mekânsal ilişkiler nadiren sistematik olarak kaydedilir; bir zeminin sürtünme katsayısı kendiliğinden bir web sayfasına yazılmaz. Daha zoru etkileşimdir. Robot fişi yanlış taktığında, gerçekte o fiş gerçekten yanlıştır; bir sonraki denemeden önce birinin gidip onu düzeltmesi gerekir. Metin sonsuz kez kopyalanabilir, ancak gerçek dünyadaki deneyim her seferinde yeniden yaşanmak zorundadır.

Yani geçmişte robotların en çok eksik olduğu şey aslında başarısızlıktı. Gerçek dünyada hata yapmak çok pahalı; simülatörler bir kez işe yaradığında, robotlar içlerinde binlerce, on binlerce kez koşabilir ve hızla deneyim biriktirebilir.

Li Feifei bu sorunla neredeyse 20 yıldır uğraşıyor.

2009'da ekibiyle ImageNet'i oluşturdu ve internet üzerindeki dağınık görselleri WordNet kavram sistemiyle yeniden düzenledi. Tam dizin 14,19 milyon görsel ve 21.841 synset içeriyordu; derin öğrenmeyi tetikleyen ILSVRC bunun yalnızca 1.000 sınıfını kullandı. O nesil bilgisayarlı görüşün sorusu çok basitti: Makineye bir fotoğraf ver, içinde ne olduğunu, hangi kategoriye ait olduğunu ve görüntüde nerede bulunduğunu söylemesini iste.

On yedi yıl geçti, bu soru artık sorun olmaktan çıktı. Önceki mutfaktaki bardağı bugünün modelleri yalnızca tanımakla kalmıyor, aynı zamanda hiç var olmamış 100 bardak da sıfırdan üretebiliyor.

Zor olan şey, bu bardağın odadaki konumu; masanın arkasından dönüp bakıldığında hâlâ aynı bardak olup olmadığı; biri onu ittiğinde, bir sonraki bakışta nerede ve hangi durumda olması gerektiği. Bir şeyi tanımak ile o şeyin dünyada nasıl var olduğunu bilmek iki ayrı şeydir.

ImageNet'ten Atlas'a uzanan şaşırtıcı bir süreklilik çizgisi var: İnsan, makineye dünya hakkında ne kadar bilgi yüklemeli ki makine kendi dünyasını oluştursun?

1940'ta Arjantinli yazar Adolfo Bioy Casares, "Morel'in İcadı" adlı bir roman yazdı.

Ana karakter ıssız bir adaya kaçar ve garip bir grup insanla karşılaşır. Bu insanlar her gün yürür, sohbet eder, dans eder; her şey normal görünür, ama kimse onu göremez. Daha da tuhafı, aynı konuşma birkaç gün sonra birebir tekrarlanır, duraklamalar bile aynı yerde olur.

Sonradan öğrenir ki adadaki bilim insanı Morel, bir grup insanın adada geçirdiği bir haftayı tamamen kaydeden bir makine yapmıştır. Sesler kaydedilmiş, görüntüler kaydedilmiş; Morel, dokunma, koku ve sıcaklığın da korunduğuna inanır. Makine gelgitlerle çalışır ve o hafta adada sürekli döngüde oynatılır.

Morel, tüm duyular senkronize olduğunda ruhun ortaya çıktığına inanır.

Sekiz on yıl önce yazılan bu makine, saçmalık derecesinde abartılı bir multimodal modele çok benziyor. Gerçekliğin tüm duyusal kanıtlarını saklayarak, herhangi bir gözlemcinin gerçekten ayırt edemeyeceği bir kopya üretiyor.

Başkahraman, projeksiyondaki kadın Faustine'e aşık olur. Her gün onun önünde durup onunla konuşur, onun kendisini görmesini ister. Faustine bir kez bile karşılık vermez, çünkü içinde bulunduğu hafta çoktan kaydedilmiştir. Makine o haftayı on bin kez tekrar oynatabilir, ancak o sırada gerçekleşmemiş bir olayı oynatamaz.

World Labs'ın kendi tablosuna göre, Morel mükemmel bir render motoru yapmıştır.

Bugünkü modeller bir mekânı kusursuz bir şekilde yeniden oluşturabiliyor. Zor olan, hiç kimse tarafından kaydedilmemiş o olaydır: birinin içeri girip elini uzatması ve masadaki bardağı devirmesi.

Morel'in adasında her şey var, sadece bu eksik.

-****SON-