a16z: Görsel yapay zekanın geleceği resim değil, koddur.

Orijinal Başlık: Görsel Yapay Zekanın Bir Sonraki Sınırı Kod
Orijinal Yazar: @stuffyokodraws, a16z
Çeviri: Peggy

Editör Notu: Son birkaç yıldır görsel yapay zeka rekabeti neredeyse tek bir soru etrafında dönüyor: Hangi model daha gerçekçi görseller üretiyor, hangisi daha akıcı videolar oluşturuyor? Difüzyon modelleri, metin istemlerini görsellere, videolara ve gerçekçi sahnelere dönüştürürken, dış dünya da model yeteneklerini "benziyor mu", "güzel mi" kriterleriyle değerlendirmeye alıştı.

Ancak a16z'den gelen bu makale, görsel yapay zekanın bir sonraki aşamasının sadece daha güzel pikseller üretmek değil, piksellerin arkasındaki kod yapıtlarını (code artifact; düzenlenebilir, test edilebilir ve teslim edilebilir yapılandırılmış dosyalar) üretmek olabileceğini belirtiyor.

Bu fark teknik gibi görünse de, aslında yapay zekanın gerçek üretim iş akışlarına girip giremeyeceğini belirliyor. Tasarımcıların ihtiyacı sadece bir UI ekran görüntüsü değil, HTML/CSS, React bileşenleri, katmanlar ve teslim edilebilir dosyalardır; animatörlerin ihtiyacı sadece bir video değil, anahtar kareler, zaman eğrileri ve değiştirilebilir hareket parametreleridir; 3D sanatçılarının ihtiyacı sadece bir render görüntüsü değil, geometri yapısı, malzeme, ışık, kamera ve sahne hiyerarşisidir.

Bu nedenle makale, görsel üretimi iki yola ayırıyor: Piksel-doğal üretim (doğrudan görsel veya video üretimi) gerçekçilik, atmosfer ve keşif için uygundur; Kod-doğal üretim (SVG, Lottie, Blender scriptleri, USD sahneleri vb. üretimi) ise düzenleme, iterasyon ve üretim için daha uygundur. İkincisinin gerçekten önemli olan yanı, "kod → render → kontrol → değiştir" döngüsünü oluşturabilmesidir. Model artık sürekli yeniden örnekleme yapmak yerine, doğrulanabilir bir görsel programı hata ayıklamaktadır.

Bu nedenle yazar özellikle 3D'ye umutla bakıyor. Çünkü bir sandalyenin render görüntüsü sandalye değil, sadece sandalyenin resmidir. Oyunlarda, simülatörlerde veya 3D araçlarında gerçekten kullanılabilecek bir varlık, istikrarlı bir geometri yapısına, parça hiyerarşisine, malzemeye ve işlevsel kısıtlamalara sahip olmalıdır: Kapı açılabilmeli, çekmece kayabilmeli, tekerlek dönebilmelidir. Başka bir deyişle, gelecekteki görsel yapay zekanın değeri "benzemesinde" değil, "kullanılmaya devam edilebilmesinde" yatmaktadır.

Bu makale iyi bir değerlendirme çerçevesi sunuyor: İlk dalga görsel yapay zeka üretim sorununu çözerken, bir sonraki dalga üretim sorununu çözecek. Görsel yapay zeka nihai çıktıdan kaynak koda geçtiğinde, değişen sadece tasarım araçları değil, tüm görsel içerik üretim zinciri olacaktır.

İşte orijinal metin:

Geçtiğimiz birkaç yıl boyunca, görsel yapay zeka çoğunlukla "piksel" bazında değerlendirildi. Nihai olarak üretilen görüntü veya video ne kadar iyi görünüyorsa, model o kadar güçlü kabul ediliyordu.

Bu şaşırtıcı değil. Difüzyon modelleri önce metin istemlerini etkileyici görsellere dönüştürdü, ardından videolara ve giderek daha gerçekçi dünyalara genişledi. İnsanların bunu doğal olarak Photoshop veya bir kamera ile karşılaştırması kaçınılmaz.

Ancak grafik tasarım, UI tasarımı veya 3D modelleme gibi birçok görsel odaklı görev için kullanıcıların gerçekten ihtiyaç duyduğu nihai temsil, yalnızca ortaya çıkan pikseller değildir. İhtiyaç duydukları şey, geri bildirimlere ve yeni fikirlere göre sürekli olarak yineleyebilecekleri bir yapıttır. Bir tasarımcının yalnızca bir mockup'a (taslak) değil, aynı zamanda katmanlara, bileşenlere ve teslimat dosyalarına ihtiyacı vardır; bir animatörün yalnızca bir videoya değil, aynı zamanda zaman eğrilerine, anahtar karelere ve düzenlenebilir hareket yollarına ihtiyacı vardır; bir 3D sanatçısının yalnızca bir render görüntüsüne değil, aynı zamanda geometri yapısına, malzemelere, ışıklara, kameraya ve sahne yapısına ihtiyacı vardır.

Günümüzün en ilginç görsel yapay zeka araçları artık doğrudan nihai çıktıyı üretmeye çalışmıyor. Bunun yerine, nihai çıktının arkasındaki kaynak kodunu üretmeye başlıyorlar. Bu değişim, piksel tabanlı modellerin zorlukla rekabet edebileceği düzenlenebilirlik, yineleme yeteneği ve geri bildirim döngülerini serbest bırakıyor.

Görsel Üretim İçin İki Teknoloji Yığını

Görsel üretimi iki ana yolla anlayabiliriz.

Birincisi, piksel tabanlı üretimdir. Bu tür sistemler genellikle doğrudan görüntü veya video üretir ve çoğunlukla gizli uzayda çalışır. Doku, atmosfer, aydınlatma ve fotogerçekçilikte başarılıdırlar. Amaç sinematik bir çekim, güzel bir moodboard (duygu panosu) veya fotoğraf kalitesinde gerçekçi bir görüntü üretmekse, difüzyon modelleri hala ana akım yöntemdir.

İkincisi, kod tabanlı üretimdir. Bu tür sistemler, başka bir motor tarafından yürütülen veya render edilen bir temsil üretir. Model doğrudan nihai pikselleri üretmez, bunun yerine pikselleri üretebilecek bir program üretir.

Bu program bir SVG dosyası, bir HTML/CSS düzeni, bir React bileşeni, bir Lottie JSON dosyası, bir Blender betiği, bir USD sahne grafiği, bir shader (gölgelendirici) veya bir oyun motoru sahnesi olabilir. Nihai görsel çıktı hala piksellerdir, ancak gerçek "bilgi kaynağı" yapılandırılmış bir temsildir.

Bu ayrım önemlidir çünkü üretim iş akışları "üretimden sonra ne olacağı" ile yakından ilgilenir. Üretilmiş bir görüntü çıktı olarak kullanılabilir, ancak üretilmiş bir görsel program bir yapıt olarak kullanılabilir: düzenlenebilir, yeniden kullanılabilir, geliştirilebilir, sürüm yönetimi yapılabilir; bir yazılım teknoloji yığınına entegre edilebilir ve kısıtlamalara göre doğrulanabilir; farklı koşullar altında tekrar tekrar render edilebilir ve tasarımcılar, mühendisler ile ajanlar arasında aktarılabilir.

Bence önemli bir dönüşüm çoktan başladı: Bazı görsel problemler için, görsel üretim görevlerini kodlama görevleri olarak yeniden tanımlamayı ve net sınırları olan, doğrulanabilir bir kodlama problemini çözerek son derece verimli iyileştirmeler elde etmeyi öğreneceğiz.

Kod, Görsel Problemleri Çözmek İçin İyi Bir Araçtır

Görsel kod üretiminin değerini anlamanın en kolay yolu, ilk taslaktan sonra ne olacağına bakmaktır.

Bir modelin bir logo oluşturduğunu varsayalım. Çıktı raster bir görüntüyse ve içindeki bir eğri yanlışsa, kullanıcı maskeleme, yerel yeniden çizim, yeniden oluşturma veya manuel olarak yeniden çizmek zorunda kalır. Ancak çıktı SVG ise, kullanıcı doğrudan yolları, temel şekilleri, gradyanları, konturları veya metin öğelerini düzenleyebilir. Tasarımcıların Quiver'da logo tasarlama şekli zaten budur.

UI tasarımı alanında, çıktı bir ekran görüntüsüyse, daha çok bir ilham kaynağıdır. Ancak çıktı HTML/CSS veya React ise, tasarımcı DOM'u inceleyebilir, gerçek bileşenleri değiştirebilir, responsive durumları test edebilir, erişilebilirliği kontrol edebilir ve bunu uygulamaya entegre edebilir.

Bu nedenle görsel kod üretimi, test-time compute (test zamanı hesaplama) için özellikle uygundur. Piksel tabanlı üretimde, çıkarım hesaplamasını artırmak genellikle daha fazla çıktı örneklemek anlamına gelir: 20 görüntü oluştur, en iyisini seç, belki bir kez daha dene. Bu elbette işe yarar, ancak her deneme aslında yeniden zar atmak gibidir. Model geri bildirime yanıt verebilir, ancak bu geri bildirim genellikle bütünseldir ve yeterince kesin değildir.

Teknik olarak, difüzyon modelleri de test-time compute'dan faydalanabilir. Örneğin, "Inference-time Scaling of Diffusion Models through Classical Search", çıkarım aşamasındaki aramanın difüzyon modellerinin planlama, pekiştirmeli öğrenme ve görüntü üretimindeki performansını iyileştirebileceğini göstermektedir. Ancak buradaki döngü mekanizması farklıdır. Difüzyon modellerinde sistem genellikle potansiyel yörüngeler veya nihai örnekler arasında arama yapar. Ödül sinyali, modele bir çıktının diğerinden daha iyi olduğunu söyleyebilir, ancak geri bildirimi kaynak kodu seviyesinde belirli bir değişikliğe net bir şekilde eşleyemez.

Kod tabanlı üretim daha kesin bir döngü yaratır: kod → render → kontrol → değiştir.

Model bir ürün oluşturur, onu render eder, nerede sorun olduğunu gözlemler ve ardından kaynak dosyayı düzeltir. Boşluk yanlışsa CSS'yi değiştirir; logo eğrisi hatalıysa SVG yolunu düzenler; animasyon hızı çok yavaşsa zaman parametrelerini ayarlar. Kilit nokta, her yinelemenin yalnızca render edilmiş çıktıyı değil, temeldeki ürünü iyileştirmesidir. Bu nedenle görsel kod üretimi, doğal olarak daha fazla token üretimi ve test-time compute'dan faydalanır. Model, yalnızca daha fazla görüntü örneklemek yerine, kapalı döngü, doğrulanabilir bir ortamda görsel programları hata ayıklar.

Kod Odaklı Görsel Üretim Teknoloji Yığını

Yukarıdaki örneklerin arkasında şu teknoloji yığını yer alır: kodlama modeli + sembolik temsil + renderlayıcı veya motor.

Kodlama modeli, ürünün yazarı ve düzenleyicisidir. HTML, SVG, Lottie JSON, Blender betikleri, USD sahneleri veya özel 3D varlık programları yazmaktan sorumludur.

Sembolik temsil, bilginin kaynağıdır. Ürünün düzenlenebilir olmasının nedeni budur. Bir arayüzün DOM düğümleri, düzen kuralları ve bileşenleri vardır; bir Lottie animasyonunun katmanları, vektör şekilleri, zaman eğrileri, anahtar kareler ve hareket parametreleri vardır; bir 3D varlığın geometrik yapısı, malzemeleri, eklemleri, kısıtlamaları ve hiyerarşik ilişkileri vardır.

Renderlayıcı veya motor ise bu yapıları piksellere dönüştürür. Tarayıcı HTML/CSS'yi renderlar, SVG renderlayıcı vektör grafiklerini renderlar, Lottie oynatıcı animasyonları renderlar, Blender veya oyun motoru 3D sahneleri renderlar, simülatör ise eklemli bir varlığın gerçekten hareket edip edemediğini veya etkileşime girip giremediğini doğrular.

OmniLottie, sembolik temsilin neden önemli olduğuna dair iyi bir örnektir. Lottie, hafif, JSON tabanlı bir animasyon formatıdır; animasyonu düz bir video olarak değil, düzenlenebilir vektör şekilleri, katmanlar, anahtar kareler ve zaman parametreleriyle temsil eder. OmniLottie, ham Lottie JSON'u modelin daha iyi anlayabileceği bir komut dizisine dönüştürerek modelin Lottie animasyonlarını daha güvenilir bir şekilde oluşturmasını ve düzenlemesini sağlar. Bu makalenin odak noktası tam bir Agent döngüsü oluşturmak değil, Lottie'yi model üretimine daha uygun hale getirmektir: ham Lottie JSON'u bir dizi kompakt komut ve parametre dizisine dönüştürür. Bu adım kritiktir çünkü Lottie'nin kendisi zaten düzenlenebilir bir animasyon formatıdır. Hareket, şekiller, katmanlar, zaman ve animasyon parametreleri olarak temsil edildiğinde, geri bildirim kaynak dosya seviyesindeki değişikliklere yansıtılabilir. Nesne çok yavaş hareket ediyorsa zaman ayarlanır; yol yanlışsa vektör değiştirilir; deformasyon sapmışsa şekil dizisi güncellenir.

Bu teknoloji yığını, kodlama Agent'ının çıktı kalitesini artırmak için kullanabileceği test-time compute döngüsüne karşılık gelir: Her "kod → render → kontrol → değiştir" döngüsünde model yeni bir örnek üretmez, renderlayıcıdan gelen geri bildirimi kullanarak temeldeki ürünü iyileştirir. CSS kurallarını değiştirebilir, SVG yollarını ayarlayabilir, animasyon zamanlamasını düzeltebilir veya 3D kısıtlamalarını güncelleyebilir, ardından tekrar renderlayıp iyileştirmeye devam edebilir.

Bu, döngünün yakınsama potansiyeline sahip olmasını sağlar. Piksel tabanlı üretimde, her yeniden deneme genellikle yeni bir çıktı üretir. Kod tabanlı üretimde ise her yeniden deneme, kaynak ürünün kendisini iyileştirebilir. Model sadece daha fazla görüntü veya video örneklemez; kapalı döngü, işlenebilir bir ortamda görsel programlarda hata ayıklar.

Pazar Haritası: Çalışma Zamanı Etrafında Giriş Noktaları Oluşuyor

Görsel kod üretim pazarı, ürünün işlendiği veya yürütüldüğü yer olan "çalışma zamanı" etrafında organize oluyor. Kod tabanlı görsel üretimde model, bir ortamda yürütülen sembolik bir ürün üretir: tarayıcı, SVG işleyici, Lottie oynatıcı, Blender, oyun motoru veya simülatör.

Her çalışma zamanı, kendine özgü kaynak temsili, geri bildirim döngüsü ve üretim iş akışına sahip olduğu için farklı giriş noktaları oluşturur.

Bugün en belirgin uygulama, özellikle UI tasarımı ve grafik tasarım olmak üzere 2D tasarım alanındadır. Ancak görsel kod üretimi, tasarım araçlarıyla sınırlı değildir. Görsel bir ürünün arkasında, üretilebilen, işlenebilen, incelenebilen ve optimize edilebilen bir temel temsil olduğu sürece ortaya çıkabilir.

3D Neden Bir Sonraki Önemli Sınır?

Ürün tasarımı ve 2D tasarım bugün en sezgisel kullanım durumları olsa da, 3D ürünler "tutarlılık sorununu bir kodlama sorunu olarak yeniden tanımlama" yaklaşımından en çok faydalanabilecek olanlardır.

Bir 2D tasarım bazen sadece doğru görünüyorsa kullanışlı olabilir. Ancak 3D varlıklar için bu geçerli değildir. Bir sandalyenin işlenmiş görüntüsü sandalye değildir; sadece sandalyenin bir resmidir. Bu varlığın bir oyunda, simülatörde veya 3D düzenleme aracında gerçekten kullanılabilir olması için, doğru geometri, malzeme, parça hiyerarşisi ve sahne bağlamı dahil olmak üzere tutarlı bir temel 3D temsile sahip olması gerekir.

Bu nedenle 3D, görsel kod üretimi için doğal olarak uygundur. Değeri, sadece belirli bir açıdan 3D gibi görünen bir şey üretmek değil, farklı perspektiflerde, düzenlemelerde ve etkileşimlerde geçerli olan tutarlı bir 3D yapı üretmektir. Bu, yinelemeli bir döngü gerektirir: nesneyi önerme, işleme, geometri ve parçaların mantıklı olup olmadığını kontrol etme ve ardından temel temsili değiştirme. Ancak bu döngü, yalnızca Agent'ın doğru araçlara ve bağlama sahip olması durumunda etkilidir. Bir şey daha iyi görünene kadar sürekli Blender'ı çalıştırmak yeterli değildir. Agent'ın kamera perspektifini değiştirebilmesi, sahne durumunu sorgulayabilmesi, nesneleri izole edebilmesi, hedefle karşılaştırma yapabilmesi, önceki denemeleri hatırlayabilmesi ve görsel farklılıkları kaynak dosya düzeyinde değişikliklere dönüştürebilmesi gerekir. Test-time compute'un yakınsama şansına sahip olmasını sağlayan da bu yeteneklerdir.

Birçok varlık için görsel tutarlılık yalnızca asgari gerekliliktir. Nesnelerin ayrıca doğru parça semantiğine ve işlevsel kısıtlamalara sahip olması gerekir: kapılar açılabilmeli, menteşeler dönebilmeli, çekmeceler kayabilmeli, tekerlekler dönebilmelidir. Başka bir deyişle, çıktı yalnızca mantıklı görünen bir şekil olmamalı, aynı zamanda temsil ettiği şey gibi davranmalıdır.

İşte tam da bu noktada VIGA ve Articraft3D gibi projeler dikkat çekiyor. Bu yıl, ticari projeler ve açık kaynaklı projeler de dahil olmak üzere bu alanda daha fazla çalışma görmeyi bekliyoruz. VIGA, Blender'ı bir işleme ve geri bildirim ortamı olarak kullanarak görsel yeniden yapılandırmayı bir "kod-işleme-kontrol" döngüsüne dönüştürüyor; ancak VIGA, ham Blender'ı basitçe Agent döngüsüne maruz bırakmıyor. Agent'a gözlem ve değişiklik için anlamsal araçlar sağlıyor ve geçmiş denemelerin hafızasını koruyarak nesneleri daha iyi bir perspektiften incelemesine, sorunları teşhis etmesine ve hedefli değişiklikler yapmasına olanak tanıyor. Articraft3D ise varlık yapısıyla daha doğrudan ilgileniyor: eklemli 3D üretimini, parçaları, geometriyi, eklemleri ve testleri tanımlayan programlar yazmak olarak tanımlıyor.

Gelecekteki Etkiler ve Çözülmemiş Sorunlar

Görsel kod üretimi gerçekten işe yararsa, sonunda kazanan ürünler yalnızca daha güzel çıktılar üretmekle kalmayacak. Tüm döngüyü yönetecekler: ürünü oluşturmak, ürünü işlemek, nerede sorun olduğunu kontrol etmek ve kaynak dosyayı değiştirmek.

Bunun birkaç etkisi olacak.

İlk olarak, işleyiciler bir geri bildirim ortamı haline gelecek. Tarayıcılar, SVG işleyicileri, Lottie oynatıcıları, Blender, oyun motorları ve simülatörler, Agent'ın çalışmalarını test edip geliştirdiği ortamlar haline gelecek; tıpkı bugün kodlama Agent'larının sanal alanları ve sanal makineleri kullanması gibi.

İkinci olarak, yineleme bağlamının kalitesi her zamankinden daha önemli hale gelecek. Agent'ın görsel kod versiyonundaki "Ralph döngüsüne" girmesi için, ara temsilin bir sonraki adımı yönlendirecek kadar kesin olması gerekir. Modelin yalnızca "bir şeyin doğru görünmediğini" bilmesi değil, aynı zamanda kaynak dosyanın hangi bölümünün değiştirilmesi gerektiğini ve nedenini de bilmesi gerekir. Yapı, işleme veya geri bildirimdeki küçük hatalar, birden çok yinelemede hızla birikebilir.

Üçüncü olarak, gelecek büyük olasılıkla hibrit olacak. Piksel tabanlı modeller, gerçekçilik, doku ve keşif konusunda hâlâ en iyisi; kod tabanlı sistemler ise yapı, yineleme ve üretim için daha uygun. En kullanışlı iş akışları, ikisini birleştirecek.

Elbette, hala birçok açık soru var. Her alan sonunda hangi temsili benimseyecek? Önceki nesil araçları kullanmaya devam etmek yerine motorları ve işleyicileri yeniden mi oluşturmamız gerekiyor? Görsel zevk ne ölçüde kısıtlamalar, testler ve geri bildirim döngüleriyle yakalanabilir?

Ancak yön net: Görsel yapay zeka, çıktılardan kod ürünlerine doğru ilerliyor. İlk dalga, görseller oluşturmayı kolaylaştırdı; bir sonraki dalga ise düzenlenebilir, test edilebilir, teslim edilebilir ve geliştirilebilir görsel ürünler oluşturmayı kolaylaştıracak.

[Orijinal bağlantı]

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia