IOSG: Neden Wall Street, ChatGPT ve Claude'lara "Hayır" Diyor?

Bu makaleyi okumak için 39 Dakika

Yıllardır süren gizlilik ve fikri mülkiyet suçlamaları, iki şirketin de ivmesini kaybetmesine neden olmadı. Ancak bazı işletmeler harekete geçti.

Orijinal Başlık: 《IOSG Haftalık Bülten｜Yapay Zekanın Kavşağı: Wall Street Neden ChatGPT ve Claude'lara "Hayır" Diyor? #336》
Orijinal Kaynak: IOSG Ventures

Neden Özel Yapay Zekaya İhtiyaç Var

1 Temmuz'da Palantir CEO'su Alex Karp, CNBC'de bazı medya kuruluşlarının "sinir krizi" olarak nitelendirdiği 20 dakikalık bir röportaj verdi. Karp'a göre şirketler, öncü laboratuvarlara token primi ödüyor ve aynı anda kendi fikri mülkiyetlerinin model sağlayıcılara aktığını görüyor. Bu sızıntıyı "alfa transferi" olarak tanımlayan Karp, transferin mimari katmanda gerçekleştiğini söylüyor: Kapalı kaynak modellere gönderilen her talep, açık metin olarak hizmet sağlayıcının sunucularına ulaşıyor. Programın yayınlanmasından birkaç gün önce Palantir, NVIDIA ile iş birliği yaparak müşterinin kendi kontrol ettiği ortamda açık Nemotron modelini çalıştırmayı ve dokuz maddelik bir Yapay Zeka Egemenlik Bildirgesi'ni duyurmuştu. CNBC programı yayınlandıktan sonra PLTR %8 yükseldi.

Son yirmi yılda şirketler, protokol düzeyinde güvene dayalı olarak bulut yazılımlarını benimsedi ve bu işe yaradı. Her SaaS satıcısı, şirket verilerinin yalnızca bir dilimini gördü ve çoğunun müşteri verilerini temel ürünlerini beslemek için kullanma motivasyonu da yoktu. Salesforce satış kanallarını, Workday insan kaynaklarını, Jira geliştirme döngülerini gördü; AWS ise depolama ve hesaplama altyapısını sağladı. Ancak günümüzün yapay zeka iş akışları, üretkenliği en üst düzeye çıkarmak için tüm varlıkların tek seferde yüklenmesini ve departmanları birbirine bağlayan yapılandırılmış bağlamın da dahil edilmesini savunuyor. İyi niyeti bir kenara bırakırsak, üst düzey hizmet sağlayıcılar artık bu verileri sunucularda bekletmek yerine yeni özellikler geliştirmek için kullanabiliyor.

Kimse yavaşlamıyor. Anthropic'in yıllık geliri Mayıs ayında 47 milyar dolara ulaştı ve 2025 sonundaki 9 milyar dolardan büyük bir sıçrama yaptı. OpenAI ise Şubat ayında 900 milyon haftalık aktif kullanıcıyı aştı. Her iki şirket de bu bahar yeni finansman turlarını tamamladı, değerlemeleri 1 trilyon dolara yaklaştı ve daha yüksek piyasa değerleriyle halka arz edilmeleri bekleniyor. Yıllardır süren gizlilik ve fikri mülkiyet suçlamaları, her iki şirketin de ivmesini kaybetmesine neden olmadı.

Bazı şirketler çoktan harekete geçti. Şubat 2023'te, ChatGPT'nin piyasaya sürülmesinden üç aydan kısa bir süre sonra, büyük Wall Street bankaları kullanımını kısıtlamıştı. Mayıs 2023'te, Samsung mühendislerinin çip kaynak kodunu ChatGPT'ye sızdırmasının ardından şirket, üretken yapay zekayı tamamen yasakladı. Buna karşılık OpenAI, Ağustos 2023'te ChatGPT Enterprise'ı piyasaya sürdü ve ticari verileri eğitim için kullanmayacağına ve sıfır veri saklama (zero-data-retention, ZDR) protokolü uygulayacağına söz verdi. Bu protokol, o zamandan beri kurumsal satın almalar için standart bir gereklilik haline geldi.

Ancak sözleşme yalnızca şirket hesaplarını kilit altına alıyor. IBM, 2025 yılına kadar gölge yapay zekanın (çalışanların kişisel hesapları aracılığıyla şirket verilerini onaylanmamış yapay zeka araçlarına beslemesi) veri ihlali olaylarının beşte birine karıştığını ve yoğun gölge yapay zeka kullanımının ihlal maliyetlerine ortalama 670.000 dolar eklediğini tespit etti. Güvenlik eğitim şirketi Anagram'ın 2025 yılında yaptığı bir ankette, çalışanların %40'ı görevleri daha hızlı tamamlamak için yapay zeka kullanım politikalarını ihlal etmeye istekli olduklarını belirtti.

Şirketler en azından ZDR sözleşmeleri, eğitim yapılmayan hizmet katmanları ve eğer hükümet veya Palantir müşterisiyseniz egemen dağıtım seçenekleriyle bu durumdan kurtulmak için para harcayabilir. Ancak sizin ve benim gibi sıradan kullanıcılar için, mahkeme celbi kapıya dayanana kadar gizlilik odaklı yapay zekanın önemi hâlâ tartışma konusu.

Mayıs 2025'teki bir mahkeme emri, OpenAI'yi kullanıcıların sildiği tüketici düzeyindeki sohbetleri bile saklamaya zorladı. Kasım ayında ise bir yargıç, bu sohbetlerden 20 milyonunun New York Times avukatlarına delil sunumu olarak teslim edilmesine karar verdi. Ardından ceza davaları geldi: Palisades yangınını çıkarmakla suçlanan sanığın ChatGPT kayıtları delil olarak sunuldu ve Florida'daki bir çifte cinayet davasının yeminli ifadesinde, şüphelinin cesetlerin nasıl imha edileceğine dair sorduğu sorulara atıfta bulunuldu. Sam Altman da Temmuz 2025'teki bir röportajda ChatGPT konuşmalarının yasal ayrıcalık kapsamında olmadığını ve bir davada OpenAI'nin "kullanıcı sohbet geçmişini teslim etmesinin gerekebileceğini" kabul etti.

Önemli olan, yalnızca suçluların özel konuşmalara ihtiyaç duyması değil. İnsanların yapay zeka ile yaptığı konuşmalar arşivleniyor ve mahkemeye çağrılabiliyor; bu, çoğu kullanıcının varlığından haberdar olmadığı bir gözetim yüzeyi. Kolmogorov Law'ın Ekim 2025'te 1000 Amerikalı yapay zeka kullanıcısı üzerinde yaptığı bir anket, %50'sinin bu konuşmaların mahkemeye çağrılabileceğini bilmediğini, aynı zamanda üçte ikisinin bu sohbetlerin bir avukat veya doktora danışmakla aynı korumaya sahip olması gerektiğini düşündüğünü ortaya koydu.

Kendi kendine barındırılan veya doğrulanabilir ortamlarda çalışan açık kaynak modeller hızla yetişiyor, ancak en güçlü olanları genel yeteneklerde öncü kapalı kaynak modellerin yaklaşık 4 ay gerisinde kalıyor. Bu durum, tokenmaxxing yapan işletmeleri ve bireyleri bir yol ayrımına getiriyor: ya bu gizlilik için birkaç aylık model kalitesinden vazgeçecekler ya da hassas materyalleri Anthropic'in sunucularına yüklemeye devam edecekler, çünkü rakipler tam da bu şekilde üretkenlik avantajı elde ediyor.

Şu anda piyasada mükemmel bir çözüm bulunmuyor. Bu rapor, tarafların bu açığı kapatma çabalarını inceliyor ve kanıtlanabilir gizlilik altındaki öncü yapay zekanın işletmelere ve sıradan kullanıcılara ulaşmasına ne kadar kaldığını gözlemliyor.

Gizlilik Şu Anda Nasıl Sağlanıyor

Gizlilik odaklı yapay zeka tek bir mühendislik sorunu değildir, ancak piyasadaki her mekanizma aynı olayı ele alır: Bir komut (prompt) cihazınızdan ayrılır, ağ üzerinden geçer, modeli çalıştıran makineye ulaşır ve bir yanıt geri döner. Mekanizmalar arasındaki fark, düz metnin bu yol üzerinde nerede bulunduğu, kimin okuyabildiği ve yanıtın gizliliğini doğrulamak için neye güvenildiğidir.

Protokol Seviyesinde Gizlilik

Bu seviyede, sizin dışınızda bir başkası düz metin komutunuzu okur ve bundan sonra ne olacağı tamamen bir taahhüde bağlıdır.

· Sözleşmeye Dayalı Sıfır Saklama kurumsal bir çözümdür. Hizmet sağlayıcı kim olduğunuzu bilir, komutunuzu işler ve saklamayacağına dair söz verir; bu söz, sözleşme ve itibar ile yürütülür.

· Anonim Proxy'ler kim olduğunuzu siler, ancak ne söylediğinizi şifrelemez; aşağı akıştaki hizmet sağlayıcı, düz metni kendi politikalarına göre işlemeye devam eder. Şartlar değişiklik gösterir; örneğin Duck.ai (DuckDuckGo'nun sohbet robotu ürünü) gibi proxy'ler, model sağlayıcılarıyla silme anlaşmaları yaparken, Venice kullanıcıların hizmet sağlayıcının her şeyi saklayacağını varsaymasına izin verir, ancak her iki durumda da doğrulama mümkün değildir.

Makineler arasındaki her bir bağlantı TLS üzerinden çalışır; bu yalnızca tüneli şifreler, alıcı taraf tüm bilgileri okuyabilir. Aktarımlar genellikle bu bilgiyi ayırmak için Oblivious HTTP (RFC 9458) kullanır; prensip, bir arkadaş aracılığıyla not iletmek gibidir. Arkadaş, notu kimin verdiğini bilir ancak içeriğini okuyamaz; alıcı ise içeriği okur ancak kimin yazdığını bilemez. OHTTP, Ocak 2024'ten bu yana bir IETF standardıdır ve birçok şirket, üretim trafiğini Cloudflare ve Fastly'den kiralanan OHTTP aktarıcıları üzerinden yönlendirmektedir.

Bu aynı zamanda kapalı kaynak modellere erişirken elde edilebilecek maksimum gizlilik seviyesidir ve bunun nedeni bir aritmetik problemidir. Günümüzde bir amiral gemisi modelinin eğitim maliyeti milyar dolar mertebesindedir ve bu laboratuvarların trilyon dolarlık değerlemeleri, model ağırlıklarının münhasırlığına dayanmaktadır. Model yetenek farkı ne kadar sürerse, prim de o kadar sürer; bu nedenle laboratuvarlar ağırlık dosyalarını devlet sırrı gibi korur.

Meta bu deneyi istemeden de olsa yapmıştır. Şubat 2023'te yayınlanan LLaMA başlangıçta yalnızca araştırmacılara açıktı, ancak bir haftadan kısa sürede ağırlıklar tohum olarak 4chan'a sızdırıldı. Bir hafta sonra, llama.cpp en küçük 7B modelinin bir MacBook üzerinde yerel olarak çalışmasını sağladı ve üç gün sonra Stanford, aynı modeli 600 dolardan daha düşük bir maliyetle ince ayar yaparak sohbet asistanı Alpaca'yı oluşturdu. Bu sızıntı, Llama'nın çalıştırma maliyetini elektrik faturasına indirdi; dosyayı alan herkes evde çalıştırabiliyordu. Temmuz 2023'te Meta, 700 milyon aylık aktif kullanıcı hariç tutma maddesi içeren ticari bir lisansla Llama 2'yi açık kaynak olarak yayınladı. Ağırlıklar gitti, prim de gitti.

Öncü laboratuvarlar, teorik olarak kapalı kaynak modellerin çıkarımı için attestation (uzaktan kanıtlama) yapabilir, ancak attestation yalnızca hangi kod parçasının prompt'u okuduğunu kanıtlayabilir, bu kodun onunla ne yaptığını kanıtlayamaz. Sunucunun veri saklayıp saklamadığını anlamak için, hizmet kodunu (serving code) denetlememiz ve onu donanımın bildirdiği hash değerine yeniden yapılandırmamız gerekir. Ancak hizmet kodu bir kez teslim edildiğinde, laboratuvar aynı zamanda kâr marjını destekleyen toplu işleme ve önbelleğe alma tekniklerini de teslim etmiş olur ve bu teknikler gelecekteki her model nesline aktarılır. Apple ve Meta, iPhone ve WhatsApp'ın arkasındaki hizmet yığını için uzaktan kanıtlama yapabilir çünkü kârları cihazlarda ve reklamlardadır; hizmet kodunu açıklamak neredeyse hiçbir maliyet gerektirmez.

Bu nedenle, amiral gemisi modellerinin ağırlıkları ve hizmet kodları harici işletmecilerin eline geçemez. Harici işletmeci olmadan üçüncü taraf attestation'ı olmaz; attestation olmadan da doğrulanabilir gizlilik yalnızca açık kaynak modellerde mevcuttur.

Yapısal Düzeyde Gizlilik

Bu kategorideki her mekanizma, güven taahhüdünün yerine donanım, kriptografi veya fizik tabanlı kanıtlar koyar; ancak her biri gizlilik yükseltmesi için farklı bedeller öder; bunların başında da yalnızca açık kaynak modellerde çalıştırılabilmeleri gelir.

· TEE (Güvenilir Yürütme Ortamı) Gizli Hesaplama, çıkarımı donanım enclave'inde (makine operatörünün bile açamayacağı, çip üzerinde mühürlü bir bölme) çalıştırır. Çip, hangi modelin ve hangi kodun çalıştırıldığını belirten bir attestation imzalar.

· Prompt yalnızca uç noktada kapatılır. Platform aracıları üzerinden geçen yolda hâlâ düz metni okuyabilen bir rol bulunur ve aracının aktarılan içeriği kaydetmesini veya sızdırmasını engelleyen yalnızca protokoldür.

· E2EE (Uçtan Uca Şifreleme), okunabilir aktarım noktalarını kapatır. Kullanıcı cihazı, prompt'u enclave'in anahtarıyla şifreler; aradaki her atlama, yalnızca enclave'in açabileceği mühürlü bir zarf taşır.

· Güven, istemci tarafındadır. Prompt'u şifreleyen ve attestation'ı doğrulayan kod, aynı zamanda bu garantiyi geçersiz kılma yeteneğine de sahiptir. Bu nedenle doğrulanabilir E2EE, hem kanıtlanmış bir enclave hem de açık ve tekrarlanabilir istemci kodu gerektirir.

· TEE'nin basitliğine kıyasla E2EE'nin bedeli mühendislik yüküdür ve bu da özellik entegrasyonunu yavaşlatır. E2EE, aracıyı kör bir postacıya dönüştürür; bu nedenle düz metni okuyarak çalışan tüm işlevler, istemci anahtarları etrafında veya yalnızca enclave içinde yeniden inşa edilmelidir.

· FHE (Tam Homomorfik Şifreleme ve MPC Varyantları) güvenilir tarafı tamamen ortadan kaldırır. Sunucu, asla açamayacağı kilitli bir kutuda şifreli metin üzerinde hesaplama yapar; anahtar yalnızca sizdedir. MPC (Çok Taraflı Hesaplama) ise prompt'u gizli parçalara bölerek birden fazla tarafa dağıtır; tüm taraflar iş birliği yapmadığı sürece etki aynıdır.

· Bedeli hızdır. FHE doğal olarak yalnızca toplama ve çarpma işlemlerini yapabilir, bu nedenle transformer'ın çalışması için gereken doğrusal olmayan adımlar yüksek maliyetle yeniden inşa edilmelidir. Şifreli metin üzerinde çıkarım maliyeti, düz metne göre 10.000 ila 100.000 kat daha fazladır; küçük modellerde her bir token birkaç saniyeden dakikalara kadar sürebilirken, şifrelenmemiş durumda yalnızca milisaniyeler alır.

· Şifreli hesaplama için özel olarak tasarlanmış çipler bu farkı kapatmayı vaat ediyor, ancak ilk prototipin demo'su 2026'nın başında tamamlanacak ve ticari versiyon için birkaç yıl daha beklemek gerekecek.

· Yerel Çıkarım bu yolu tamamen ortadan kaldırır. Model kendi donanımınızda çalışır; aracı, sunucu, hizmet sağlayıcı veya doğrulama ihtiyacı yoktur.

· Açık bedeli maliyet ve model yeteneğidir. gpt-oss-120b, Artificial Analysis endeksinde GLM-5.2'nin yaklaşık yarısı kadar puan alır, ancak boyutu 65 GB'dir ve bu, piyasadaki iki amiral gemisi oyun ekran kartının toplam VRAM'ini aşar. Tam hassasiyetli GLM-5.2 ise yalnızca 8 kartlı veri merkezi düğümlerinde çalışabilir ve yalnızca GPU'lar 300.000 doların üzerinde maliyet oluşturur.

Ancak bu yapısal sınırlamaların ötesinde, çıkarımı enclave içine yerleştirmenin maliyeti düşüyor. Tek kartlı çıkarımda, enclave bulut hizmet sağlayıcısı Phala'nın kıyaslama testleri, enclave modundaki H100'ün verim kaybının ortalama %7'nin altında olduğunu ve büyük modellerde sıfıra yaklaştığını gösteriyor; çünkü ana maliyet, verileri çipe taşımakta, çip içinde hesaplamakta değil. Çok kartlı çıkarımda, NVIDIA'nın yeni nesil GPU'su Blackwell, kartlar arası trafik için doğrudan şifrelemeyi desteklerken, eski H100 aynı etkiyi elde etmek için bant genişliğinin yedide biriyle CPU ana bilgisayarına yönlendirmek zorunda kalıyor. NVIDIA'nın Blackwell üzerindeki kendi kıyaslama testleri, 397B modelinin enclave modunda verim kaybının %8'in altında olduğunu gösteriyor. Bu gelişmelerle birlikte, gizlilik çıkarımının kendi performans kaybı artık belirleyici bir kısıtlama değil.

Aslında enclave, işletmecilere neredeyse hiç ek işletme maliyeti getirmez. 2023'ten sonraki her H100, yerleşik enclave moduyla gelir; ek maliyet, şifrelemeden kaynaklanan verim kaybıdır, ek bir çip değil. Şu anda Azure'da gizli H100 SKU kiralama fiyatı saat başına 8,90 dolar iken, enclave olmayan sürüm 6,98 dolardır; bu, geleneksel bulut altyapısına %27'lik bir prim eklenmesi anlamına gelir. Öte yandan, Phala gibi enclave konusunda uzmanlaşmış bir operatörde, gizli mod H100 saat başına 3,80 dolardan kiralanmaya başlanmıştır; bu, Lambda'nın normal SXM kartları için 3,99 ila 4,29 dolar aralığının altındadır. Yönetilen API çözümlerinde, NEAR AI, attestasyonlu uç noktalarıyla gpt-oss-120b'yi milyon token başına 0,15 dolar girdi ve 0,55 dolar çıktı fiyatıyla sunar; bu, düz metin yolundaki Amazon Bedrock, Together ve Groq ile aynı seviyededir. Çoklu çip paralelleştirmesi gerektiren modellerde bile, NEAR AI, GLM 5.2'de Fireworks ile birebir aynı fiyatı sunar ve daha büyük Kimi K2.6'da girdide %15, çıktıda %4 daha ucuzdur.

Bu yeni gizlilik odaklı çıkarım hizmet sağlayıcıları, kâr marjlarını yakarak pazar payı kapmaya çalışıyor olabilir (bu, pazarda büyümek isteyen her şirket için geçerlidir), ancak yapısal eğilim, gizliliğin maliyetinin hem tüketiciler hem de operatörler için düşüyor olmasıdır.

Açık Kaynak Modeller Nasıl Kazanır?

Performans maliyetleri düşse de, öncü modeller ile SOTA açık kaynak modeller arasında hâlâ gözle görülür bir fark var. Verimliliği en üst düzeye çıkarmak isteyen bir aktör, en önde kalmak için hâlâ öncü laboratuvarların kendi fikri mülkiyetini çalmayacağına güvenmek zorunda.

Fark hâlâ mevcut, ancak Bridgewater bünyesindeki AIA Labs ve Thinking Machines, 30 Haziran'da bir örnek sundu: Uzman etiketlemeyle ince ayar yapılmış açık bir model, hem doğruluk hem de maliyet açısından öncü modelleri geride bıraktı.

Araştırmada ekip, Tinker (Thinking Machines'in barındırılan ince ayar API hizmeti) üzerinde Qwen3-235B'yi ince ayarladı. Önce tedarikçilerden etiketleme satın alındı, bu verilerle ilk tur eğitim yapıldı, ardından anlaşmazlık örnekleri şirketin yatırım personeline yeniden etiketlenmek üzere iletildi. Eğitim, takviyeli öğrenme (GRPO) kullanılarak, üç değişiklikle gerçekleştirildi: round-robin batching (her görevden sırayla bir parti), CISPO loss (tek bir yanıtın modeli ne kadar uzağa çekebileceğini sınırlayan üst sınır) ve on-policy distillation (mevcut en iyi checkpoint'e bağlanarak modelin daha zayıf bir kopyadan öğrenmesini engelleme).

Görevlerin tamamı yatırım personelinin günlük iş akışından alındı: Bir haberin C-suite seviyesindeki yatırım profesyonelleri için önemli olup olmadığı, bir merkez bankası belgesinin gelecekteki faiz oranı değişikliklerinin yönünü ima edip etmediği, bir belge veya e-postadaki şablon ifadelerin nereden başladığı. Puanlama bağımsız test setlerinden yapıldı; öncü modeller basit prompt ile ortalama %50 puan alırken, uzman prompt ile %78,2'ye çıktı, ancak bu yatırım personelinin belirlediği %80 eşiğinin altında kaldı. İnce ayarlı Qwen ise %84,7 puan aldı; orijinal metne göre bu, öncü en iyi modele kıyasla %29,8 daha az hata yapmak ve 13,8 kat daha düşük çıkarım maliyeti anlamına geliyor.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Bu vaka, açık kaynak modellerin doğruluk ve maliyet açısından kazanabileceğini kanıtlıyor, ancak eğitim süreci hala özel değil. Süreçte kullanılan uzman etiketlemesi, Bridgewater'ın özel verileridir ve Tinker'ın üçüncü taraf hizmeti üzerinden geçerek ZDR protokolü ile aynı güven katmanında yer alır. Fon ayrıca bilgi işlem gücü kiraladı ve tüm eğitim, hiçbir zaman kontrolü altında olmayan makinelerde gerçekleşti. Bu tarifi almak isteyip güven varsayımlarını kabul etmeyen alıcılar için bugün seçenekler sınırlı. Çıplak GPU kümeleri kiralamak, eğitim sürecini bulut operatörü için okunabilir kılar. Küme satın almak veri barındırma sorununu çözer, ancak maliyetler fırlar.

Attestasyon içeren yol henüz yeni başlıyor. Mart ayında, Workshop Labs ve Tinfoil, Silo'yu yayınladı: Tinfoil enclave'inde çalışan, tek bir 8 GPU düğümü üzerinde bir post-training yığını; anahtarlar yalnızca müşteri tarafından kontrol ediliyor. Makalede verilen enclave maliyeti, iki saatlik eğitim için fazladan 11 dakika ve bu yığın, temel ağırlıkları dondurup yalnızca üzerinde küçük adapter'lar eğiterek bir trilyon parametreli modeli (Kimi K2 Thinking) barındırabiliyor. Zorluk, pekiştirmeli öğrenmenin bileşenler arasında veri taşımasını gerektirmesi ve veri taşımanın tam da enclave maliyetinin olduğu nokta olması.

Silo'nun yayınlanmasından bir aydan kısa bir süre sonra, Workshop Labs, Thinking Machines tarafından satın alındı. Bir Bridgewater tarzı RL döngüsünü enclave içinde çalıştırmak için gereken bileşenler artık aynı şirket altında toplandı.

Harness Katmanının Gizliliği

Tüm özel çıkarım mekanizmalarının ötesinde bir sorun daha var. Bu mekanizmaların her biri, prompt'tan modele giden yolu yönetirken, ajan tarafından başlatılan her harici araç çağrısı, çıkarım katmanının asla erişemeyeceği bir yol açar. Son zamanlardaki harness mühendisliği akımı sorunu katlayarak büyüttü; modelin etrafına bağlanan her araç, bellek deposu ve veri kaynağı, kendi iş akışı dilimini düz metin olarak okuyan başka bir hedef haline gelir. Takvim sunucusu programı okur, veritabanı sunucusu sorguyu okur. Tamamen yerel bir ajan, eğitim setinin dışında herhangi bir şeye ihtiyaç duyduğunda, arama terimlerini arama motoruna düz metin olarak iletmek zorundadır; sunucu düz metni okuyamazsa soruyu yanıtlayamaz.

Ana akım çözüm hala varsayılan olarak protokol katmanında yer alıyor. Runlayer ve MintMCP gibi şirketler, tüm araç trafiğini merkezi bir ağ geçidi ile yönetiyor ve istekler dışarı çıkmadan önce kişisel olarak tanımlanabilir bilgileri (PII) maskeliyor. Ağ geçidi ayrıca hangi sunucuların trafik alabileceğine karar veriyor, denetlenmeyenleri dışarıda bırakıyor ve adli inceleme için her çağrının hedefini ve içeriğini kaydediyor. Bu kontroller bağımsız denetimlerle (SOC 2) desteklense bile, araç sunucuları yanıt verebilmek için sorguyu düz metin olarak okumak zorundadır; bir kopya bırakıp bırakmamak kendi saklama politikalarına bağlıdır ve bu, harness içindeki her araç için geçerlidir. Ayrıca, ağ geçidinin kendisi de yolda güvenilmesi gereken ek bir okuyucu haline gelir, bir doğrulayıcı değil.

Yapısal düzeydeki çözümler, aradaki katmana ulaştı. Örneğin Phala, MCP sunucusunu doğrudan TEE'ye yerleştiriyor; kapsamı cüzdanlar, kod yürütme ve veri kaynaklarını içeriyor. Kullanıcılar, operatöre güvenmek yerine tek bir attestation ile gizlilik beyanını doğrulayabiliyor. Ancak TEE tarafından barındırılan araçlar, sorguları sonuçta hizmet sağlayıcıya düz metin olarak iletmek zorunda; enclave yalnızca haberciyi kapatıyor, varış noktasını değil.

Sadece birkaç varış noktası, okumadan yanıt vermeyi öğrendi, ancak bu yalnızca yapılandırılmış sorgularla sınırlı. Apple, iPhone için özel bilgi erişimi sunarak arama numaralarının spam veritabanıyla karşılaştırılması sırasında numarayı ifşa etmemeyi sağlıyor. Microsoft, Edge tarayıcısında şifreler için aynı yöntemi kullanıyor. MongoDB'nin Queryable Encryption'ı, istemcinin alanları göndermeden önce şifrelemesine olanak tanıyor; sunucu yalnızca şifreli metinle eşitlik ve aralık eşleştirmeleri yapabiliyor.

Ancak açık uçlu aramalar için bugünün en iyi yanıtı güvene dayanıyor; doğrulanabilir şifreli arama henüz laboratuvardan çıkmadı. Brave, kendi 40 milyar sayfalık indeksinde (Google'ınki değil) sıfır veri saklama vaat ediyor, ancak bu hâlâ protokol katmanında kalıyor. Exa, kullanıcının anahtar kelimelerini anlamsal vektörlere dönüştüren bir sinirsel indeks kurdu ve sonuçları anlamsal eşleşmeye göre sıralıyor, ancak bu dönüştürme adımı hâlâ Exa'nın sunucusunda düz metin olarak hesaplanıyor. MIT'nin 2023 tarihli Tiptoe makalesi, 360 milyon web sayfasında sorguyu ifşa etmeden sıralama yapmayı başardı, ancak her arama büyük miktarda sunucu işlem gücü tüketiyor ve sıralama kalitesi şifrelenmemiş aramalara kıyasla düşük kalıyor. Apple'ın 2024 tarihli Wally makalesi, gerçek sorguyu bir dizi yem sorgu içinde gizleyerek iletişim maliyetini en fazla 31 kat azaltmayı başardı, ancak bu matematiksel yöntem ancak milyonlarca eşzamanlı sorguda uygun maliyetli hale geliyor ve bu ölçeğe bugün hiçbir özel arama sistemi sahip değil.

Şifreli arama mümkün, ancak performans ve maliyet henüz ticari olarak uygulanabilir seviyede değil.

Gelecek Görünümü

Özel AI'ya olan talep artıyor. Venice AI, kısa süre önce 3,5 milyon kayıtlı kullanıcıya ve aylık 1,3 trilyon token işlem hacmine ulaştı, ardından 1 milyar dolar değerleme ile yeni bir Seri A hisse senedi finansman turunu tamamladı. Proton, doğrudan rakibi olarak sohbet ürünü Lumo'nun bir yıl içinde 10 milyon kullanıcıya ulaştığını bildirdi. Altyapı tarafında, Phala şu anda OpenRouter'da günlük 2 ila 3 milyar token işliyor. Duck.ai, gpt-oss-120b ve Gemma modellerini Tinfoil'in enclave'ine yönlendirerek kullanıcıya proxy dışında doğrulanabilir gizlilik sunuyor. Buna, özel AI'nın en büyük kanalı olabilecek kendi kendine barındırma (self-hosting) dahil değil; çünkü modeller kendi donanımında çalışıyor ve hiçbir kullanım izi bırakmıyor.

Ancak ana akım yapay zeka dalgası içinde gizlilik odaklı yapay zeka yalnızca küçük bir kısmı oluşturuyor ve bu fark, ancak öncü laboratuvarlar bu talebi karşılamaya istekli olduğunda kapanacak. Mayıs ayında Google, tüm ürün hatlarında 3200 trilyon token işledi; bu hesapla, Venice'in bir aylık işlem hacmi yaklaşık olarak Google'ın 18 dakikasına denk geliyor. Geçen Kasım ayında Google, Private AI Compute (PAC) hizmetini başlatarak Gemini destekli bazı özellikleri, şirketin kendisinden izole edilmiş mühürlü TPU enclave'lerinde çalıştırdı ve bu tasarımı NCC Group'a bağımsız denetletti. Ancak sorun şu ki, PAC yalnızca kişiselleştirilmiş öneriler ve ses kaydı özetleri gibi birkaç Pixel özelliğini kapsıyor, milyarlarca kişinin kullandığı Gemini uygulamasını kapsamıyor. Google'ın tasarımı denetçilere açmasının nedeni, bu özelliklerin cihazlar ve reklamlar yoluyla para kazanması, token satışına dayanmaması.

Mevcut barındırma çözümleri de mükemmel değil. E2EE ile en yüksek gizliliği elde etmek isteyen kullanıcılar, yeni özelliklerin hizmet sağlayıcının erişemeyeceği bir yerde yeniden oluşturulmasını beklemek zorunda. Özel harness'ler hâlâ hizmet katmanında protokollere bağımlı. Uygun fiyatlı sonradan eğitim (post-training) için en iyi ince ayar sonuçlarını almak, yine de üçüncü taraf sağlayıcılara güvenmeyi gerektiriyor. Kendi kendine barındırma (self-hosting), tüm hizmet sağlayıcıları bir anda devre dışı bırakıyor, ancak en güçlü açık kaynak modelleri yerel olarak çalıştırmak, onu barındıran evden daha pahalıya mal olabilir.

Eksikliklerine rağmen, özel yapay zeka artık gerçek ve uygun fiyatlı bir seçenek haline geldi ve kalan boşluklar da daralıyor. Sıradan tüketiciler için, Lumo ve Venice'de, günlük tutmayan açık model gizli sohbetler ücretsiz; Venice veya Tinfoil'in 18 ila 20 dolarlık aboneliği ise aynı sohbeti bir enclave içine kapatıyor ve bir ChatGPT aboneliğinden daha pahalı değil. İş akışları için, attestasyonlu uç noktalar artık şifresiz rotalardan bile daha ucuz. NEAR'ın E2EE API'si gibi uç noktalar, şifrelenmiş bağlamı enclave'e taşıyabiliyor; hafıza, dosya yükleme ve özel talimatlar bugün E2EE üzerinde çalışabiliyor. Attestasyonlu sonradan eğitime gelince, NVIDIA'nın yakında çıkacak Vera Rubin NVL72'si, gizli hesaplamayı Blackwell'in 8 GPU düğümünden 72 GPU rafına genişleterek, öncü RL döngülerinin IP'yi ifşa etmeden daha uygulanabilir hale gelmesini sağlayacak.

Ancak asıl değer yakalama, bu fiyat sıkıştırmasının ötesindeki katmanlarda yatıyor. Gizlilik, zaten var olduğu yerlerde neredeyse ücretsiz, ancak henüz ana akım aracı (agentic) iş akışlarını kapsamıyor. Enclave kiralama ve satışına odaklanan operatörler, standart bir çip üzerindeki bir anahtarı tutuyor; bu bir hendek (moat) değil, protokol katmanındaki ağ geçitleri ise geleneksel ara katman yazılımlarıyla aynı rekabet alanında. Savunulabilir bir konum, bu raporda henüz çözülmemiş olan yarısıdır: enclave içinde kilitli eğitim döngüleri, uçtan uca kapatılmış araç çağrıları, kelimeleri görmeyen arama indeksleri. Bunlardan birini ilk yapan, herhangi bir fiyat savaşının metalaştıramayacağı bir şey satar. Gizlilik yapay zekasını kovalayan sermaye, anahtarı değil, boşluğu satın almalı.

Peki, güven mi yoksa doğrulama mı? Ağır işlem ve ağır ajan gerektiren görevler için güveni seçin, çünkü her araç çağrısı zaten düz metni enclave'in kapatamayacağı bir hedefe iletir ve öncü modeller bu tür döngülerde fiyatını hak eder. Bir şirketi rakiplerinden ayıran üst düzey düşünceler için ise doğrulamayı seçin. Strateji, planlama ve yılların uzmanlık deneyiminden süzülen yargılar, tam da tartışmadaki o alfayı oluşturur. İleriye giden yol, bir şirketin kendi kontrol sınırları içinde, bu özel içgörülerle açık kaynak modelleri ince ayar yapmaktır. Bir şirketin alfa olduğu alanlarda, uzmanlar tarafından ayarlanmış açık modeller, doğruluk ve maliyet açısından öncü modelleri çoktan geride bırakmıştır ve bunu gizlilik ortamında inşa etmek için gereken altyapı, düğüm düğüm gelmektedir.