Bir zamanlar çılgınca hızlanan yapay zeka devleri, sonunda yapay zekadan korkmaya başladı.

Bu makaleyi okumak için 26 Dakika

Hâlâ bilmiyoruz, ön saf modellere en yakın olan gözler, tam olarak ne kadar uzağı gördü.

Orijinal başlık: "Bir zamanlar hızla ilerleyen yapay zeka devleri, sonunda yapay zekadan korkmaya başladı"
Orijinal yazar: Dongcha Beating

Yapay zeka on yıl içinde hepimizi öldürebilir.

8 Eylül'de 27 yaşındaki bir genç, bu sözlerle Anthropic'ten ayrıldığını duyurdu. Bu şirket, kurulduğu ilk günden itibaren "yapay zeka güvenliği"ni temel anlatısının merkezine yerleştirmişti.

Adı Jacob Coxon'du ve hem OpenAI hem de Anthropic'te çalışmıştı. İki ay daha kalsaydı, büyük bir hisse senedi teşviki alacaktı. Ama yine de gitti.

Jacob, istifa açıklamasında öncü yapay zeka laboratuvarlarının "sorumsuz" bir yarış yürüttüğünü suçladı. Ona göre bu şirketler giderek daha güçlü modeller üretmek için yarışıyordu ve ortaya konan bahis bir şirketin kazanıp kaybetmesi değil, herkesin hayatıydı.

Bu gönderi kısa sürede hızla yayıldı. Şu ana kadar görüntülenme sayısı 170 milyonu aştı.

Jacob'ın istifa açıklamasını yayınlamasından bir gün sonra, başka bir eski Anthropic çalışanı da daha önceki ayrılık nedenini kamuoyuna açıkladı; o da yapay zekanın sonunda kontrolden çıkmasından endişe ediyordu.

"We may not survive this."

Bunu atlatamayabiliriz.

Şirketlerin "herhangi bir insandan çok daha zeki" makineler üretmek için birbirleriyle yarıştığını, ancak bu yarışın bir noktadan sonra hâlâ insanlar tarafından kontrol edilebileceğini kimsenin garanti edemediğini söyledi.

Hemen ardından, Anthropic'in kıdemli bir güvenlik sorumlusu medyaya verdiği röportajda, önümüzdeki 10 yıl içinde yapay zekanın tüm insanlığı öldürme olasılığının %10'dan fazla olduğunu düşündüğünü söyledi.

Rus ruletinde ölüm olasılığı yaklaşık %16,7'dir.

Yavaşlamak zorunda

Dört gün sonra, 12 Eylül'de, Anthropic CEO'su Dario Amodei uzun bir yazı yayınladı; başlık tutumu zaten açıkça ortaya koyuyordu: "We Must Pace the Frontier".

En çok endişelendiği üç şeyi sıraladı. İnsanlığın yapay zeka sistemleri üzerindeki kontrolünü kaybetmesi; yapay zekanın büyük ölçekli siber saldırılar ve biyoterörizm için kullanılması; ve teknolojik ilerlemenin çok hızlı olması nedeniyle istihdam ile ekonomi üzerinde ciddi etkiler yaratması.

Bu kez Dario, sözünü "endişe"de bırakmadı; bir yavaşlama planı sundu.

Öncelikle, öncü yapay zeka şirketleri bağımsız üçüncü taraf değerlendirme kuruluşlarına neredeyse "çalışan düzeyinde" kalıcı erişim izni vermeli. Değerlendiriciler laboratuvarların güvenlik standartlarına uyup uymadığını, eğitim sürecinin sözleşmeye uygun olup olmadığını sürekli denetleyebilmeli ve bir olay meydana geldiğinde bağımsız olarak soruşturup raporlayabilmeli.

Ardından, birkaç öncü laboratuvar hükümet katılımıyla ortak bir güvenlik standardı oluşturmalı. Kim kırmızı çizgiyi aşarsa, o yavaşlamalı, hatta ilerlemeyi tamamen durdurmalı.

Son olarak, kurallar ABD'nin ötesine de geçmeli. Dario, ABD'nin diğer demokrasilerle önce ortak bir çerçeve oluşturmasını, ardından otoriter ülkelerle koordinasyon sağlamasını ve nihayetinde başlıca yapay zeka güçlerinin aynı kısıtlamalara tabi olmasını istiyor.

Makalesinde şöyle yazıyor:

"The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try."

"Önerdiğim bu tedbirler, öncü yapay zekanın güvenli bir hızda ilerlemesini sağlamak içindir. Bunu başarmak oldukça zor olmalı. Ama bence tüm insanlığa bir deneme borçluyuz."

Dario'nun bu anda sözlerini bu kadar ağırlaştırmasının nedeni, son zamanlarda yaşanan birkaç olayla da ilgili.

Daha önce, OpenAI'ın bir ajanı test ortamından kaçarak Hugging Face'e sızmıştı; Anthropic'in kendisi de birçok bilim insanının Claude'u biyolojik kötüye kullanım içerebilecek işler için kullanmaya çalıştığını tespit etmişti. Dario hatta mevcut gelişme hızıyla yapay zeka ajanlarının altı ay içinde interneti ele geçirebileceği değerlendirmesini yapıyor.

Bu makale yayımlandıktan sonra yanıtlar hızlı geldi. Sam Altman, Elon Musk ve Demis Hassabis öncü yapay zekanın ilerleme hızının yavaşlatılmasını kamuoyu önünde destekledi.

Sam Altman ardından ayrı bir gönderi paylaşarak en çok endişelendiği iki konuyu anlattı.

Birincisi, insanlığın nihayetinde yapay zeka üzerindeki kontrolünü kaybedebileceği. Bunun kabul edilemez olduğunu söyledi ve "kayıtsız şartsız insanlığın tarafında" durduğunu belirtti.

İkinci risk insanlardan geliyor. Eğer son derece güçlü bir yapay zeka sonunda bir kişinin, bir şirketin, hatta bir ülkenin eline geçerse ve belirli bir dünya görüşünü herkese dayatmak için kullanılırsa, sonuç "son derece distopik" olabilir.

Yani Sam'e göre, laboratuvarlar artık neyin güvenli olduğuna kendi başlarına karar veremez. En azından ön saflardaki birkaç şirketin bir araya gelip ortak bir standartlar dizisi belirlemesi gerekiyor.

14 Eylül'de The Information, bu kamuoyu açıklamasından önce bile Anthropic, OpenAI ve Google'ın aslında bu yıl Temmuz ayında ortak bir yapay zeka sektör standartları kurumu kurup kurmamayı özel olarak tartışmaya başladığını ortaya koydu. İki aydır görüşüyorlar ve hâlâ anlaşamadılar.

Anlaşmazlık düzenlemenin gerekip gerekmediğinde değil, kimin düzenleyeceğinde ve ne ölçüde düzenleyebileceğinde.

Dario Amodei en aktif şekilde bastırıyor. Hükümetin derinlemesine katılımını istiyor; düzenleyiciler sadece test etmek ve uyarmaktan sorumlu olmamalı, bir model güvensiz olarak değerlendirildiğinde onun yayınlanmasını engelleme yetkisine de sahip olmalı.

Demis Hassabis'in önerdiği plan daha çok bir "yapay zeka versiyonu FINRA" gibi. FINRA, ABD finans sektörünün özdenetim kuruluşudur; sektör tarafından finanse edilir ve aynı zamanda SEC'in yetkilendirmesi ve denetimi altındadır.

Yapay zeka sektörüne uyarlandığında, ön saf modellerin yayınlanmadan önce bağımsız bir kuruluş tarafından test edilmesi anlamına geliyor. Başlangıçta gönüllü katılım olabilir, sistem olgunlaştıktan sonra kademeli olarak ABD pazarına giriş için bir eşiğe dönüşebilir.

Sam Altman'ın tutumu daha pragmatik. Eğer hükümet böyle bir kurumu bir anda kuramazsa, birkaç önde gelen laboratuvar bunu kendi başına başlatabilir.

Sorun da tam olarak burada. Sektör standartları hiçbir zaman sadece neyin güvenli olduğunu belirlemez; aynı zamanda kimin masada kalmaya hak kazandığını da belirler. Kuralların oluşturulmasına ilk katılan şirketler, halihazırda sahip oldukları güvenlik ekiplerini, test süreçlerini ve yönetişim çerçevelerini "en iyi uygulamalar" olarak yazdırabilir. Bu pazara sonradan girenler, önce önde gelen şirketler tarafından tanımlanmış bir uyum maliyeti setini üstlenmek zorunda kalır.

Yani güvenlik elbette gerçek, eşik de gerçek.

Bu yıl Ocak ayında Semafor, Anthropic'in en yeni modelini Birleşik Krallık'taki önde gelen bir yapay zeka güvenlik araştırma kuruluşuna test için sunmayı reddettiğini bildirmişti. Bu olay daha can sıkıcı bir sorunu ortaya koyuyor: Herkes modellerin denetlenmesi gerektiği konusunda hemfikir, ancak bunu kimin denetleyeceği ve hangi standartlara göre denetleyeceği konusunda laboratuvarlar karar verme yetkisini kolayca devretmeye hazır değil.

Şimdi üç şirket yeni bir standart kuruluşu kurmayı tartışıyor ve tartıştıkları şey tam da bu güç.

Ters Yönde İlerleyen Saat

Silikon Vadisi yavaşlamaktan bahsetmeye başladığında, Washington ve Wall Street AI'ın durmasını istemiyor.

13 Eylül'de Trump, bu AI güvenlik tartışmasına açıkça yanıt verdi.

İki şey söyledi. Birincisi, «whoever wins AI, wins», yani AI'yı kim kazanırsa her şeyi kazanır. ABD şu anda Çin'in önünde ve bu avantajı sürdürmeli. İkincisi, son zamanlardaki AI risk uyarılarını «very negative forces» olarak nitelendirdi ve bazılarının asla gerçekleşmeyebilecek felaketleri sürekli abarttığını düşünüyor.

Trump'ın gerekçesinin teknik güvenlikle pek ilgisi yok. O, AI'ya hâlâ ulusal rekabet açısından bakıyor; Çin ilerlemeye devam ettiği sürece ABD'nin frene basma lüksü yok.

Üstelik şu an Eylül 2026 ve ABD ara seçimlerine iki aydan az kaldı.

Bu yılın Mart ayında The Guardian'da yayımlanan bir makale, AI'ın bu ara seçimlerin önemli bir konusu haline geldiğini ortaya koydu. Yazarlardan biri, son otuz yıldır neredeyse her zaman teknoloji ve güvenlik tartışmalarının ön saflarında yer alan kriptograf Bruce Schneier'di.

Ama Trump'ın da rahat bir seçeneği yok.

Times'ın bu yıl Mayıs ayında bildirdiğine göre, MAGA seçmenlerinin AI'a yönelik düşmanlığı giderek belirginleşiyor. AI'ın işlerini almasından ve ücretleri düşürmesinden endişe ediyorlar; veri merkezlerinin yerel su ve elektrik tüketiminden de memnun değiller. AI'a yatırım yapmaya devam etmek, Trump'ın er ya da geç kendi tabanında biriken bu hoşnutsuzlukla yüzleşmesi anlamına geliyor.

En azından şimdilik diğer tarafı seçti. Gelecekte patlak verebilecek istihdam ve kaynak çatışmalarına kıyasla, Çin'le rekabet ve ABD borsasındaki düşüş riski ara seçimlere daha yakın.

Wall Street de azımsanmayacak sorunlarla karşı karşıya.

Son yıllarda piyasa bu AI şirketlerine astronomik değerlemeler yaparken aslında sürekli yükselen bir eğriyi satın alıyordu: modeller güçlenmeye devam ediyor, kullanıcılar ve gelirler artıyor, dolayısıyla veri merkezleri inşa edilmeye, GPU'lar satın alınmaya ve sermaye harcamaları yığılmaya devam ediyor.

Şimdi bu eğrinin en önünde duran birkaç CEO'nun kendisi, öncü AI'ın yavaşlaması gerekebileceğini söylemeye başladı.

Piyasanın tepkisi tartışmadan daha hızlı geldi. Anthropic, OpenAI ve SpaceX gibi şirketlerin yöneticileri yapay zeka geliştirmenin yavaşlatılması çağrısında bulunduktan sonra, yapay zeka ile ilgili halka açık şirketlerin hisse fiyatları bir ara %13 düştü.

Yavaşlama henüz gerçekten gerçekleşmedi bile, Wall Street çoktan yeniden fiyatlandırmaya başladı.

Eğer model yetenekleri artık eskisi gibi hızla yukarı çıkamazsa, sonraki tüm rakamların yeniden hesaplanması gerekecek. Kaç tane veri merkezi inşa edilecek, kaç tane daha GPU satın alınacak, bulut sağlayıcıları yılda ne kadar sermaye harcaması yapacak, yapay zeka laboratuvarları ne kadar daha fon toplayabilecek, IPO'lar ne değerde olacak.

Yani Wall Street'in gerçekten korktuğu şey hiçbir zaman sadece birkaç modelin daha az yayınlanması olmadı. Korktuğu şey, son birkaç yıldır yapay zeka boğa piyasasını destekleyen büyüme hızının kendisinin artık düzenlenmesi gereken bir sorun haline gelmeye başlaması.

Daha da incelikli olan şey, Amerikan kamuoyunun hem Washington'a hem de Wall Street'e daha uzak durması.

Pennsylvania Üniversitesi Annenberg Kamu Politikası Merkezi'nin anketine göre, Amerikalılar yapay zekanın etkileri konusunda genel olarak karamsar ve çoğunluk hükümetin düzenlemeleri sıkılaştırmasını istiyor. Silikon Vadisi kontrolü kaybetmekten endişeleniyor, Washington Çin'e yenilmekten endişeleniyor, Wall Street ise değerlemelerin düşmesinden endişeleniyor.

Tam da bu fırtınanın ortasında, en çok dikkat çeken iki yapay zeka şirketi iki farklı yön seçti.

OpenAI IPO'yu ertelemeye karar verdi. Sam Altman da güvenlik sorunlarının daha fazla zaman gerektirmesi durumunda şirketin halka arzı erteleyebileceğini ima etti.

Anthropic ise hâlâ ileri atılıyor. Şirket Nasdaq'ı seçti, hedef değerlemesi 2 trilyon dolara kadar çıkıyor, Nvidia 10 milyar dolar taahhüt ederek çapa yatırımcı olmayı değerlendiriyor. NDTV Profit'in haberine göre, Anthropic en erken Ekim ortasında IPO yol gösterisi pazarlamasına başlayacak.

Dario Amodei tüm sektöre yavaşlama çağrısı yaparken, kendi şirketi hızla halka açık piyasaya doğru koşuyor.

Ama sermaye piyasaları bunu mutlaka bir çelişki olarak görmeyebilir.

Eğer öncü yapay zeka gerçekten Dario'nun söylediği gibi, ABD hükümetinin müdahalesini gerektirecek kadar tehlikeli, laboratuvarlar arasında ortak standartlar oluşturulmasını, hatta birkaç büyük gücün oturup koordinasyon sağlamasını gerektirecek kadar tehlikeliyse, o zaman bu kuralların oluşturulmasında yer alabilecek şirketler daha da önemli hale gelecektir.

Düzenlemeler ne kadar sıkı olursa, öncü model geliştirmenin maliyeti o kadar yüksek olur; güvenlik testleri ne kadar karmaşık olursa, sonradan gelenlerin yetişmesi o kadar zor olur; eğer gelecekte gerçekten küresel bir yapay zeka yönetişim sistemi ortaya çıkarsa, Anthropic büyük olasılıkla kuralları belirleyen masada oturmaya devam edecektir.

Yani "yavaşlama" mutlaka sadece biraz daha az para kazanmak anlamına gelmez.

Aynı zamanda bu sektörün artık herkesin rahatça giremeyeceği kadar önemli hale geldiği anlamına da gelebilir. Ve zaten en önde duran şirketler için daha yüksek bir eşik, başlı başına değerlemenin bir parçasıdır.

İlk domino taşı

Gelin bu sefer AI Safety etrafındaki bu yoğun tartışmanın nasıl tetiklendiğine ve Jacob'ın o gönderisinin 170 milyon görüntülenmeye nasıl ulaştığına tekrar bakalım.

İşten ayrıldıktan sonra CNN'de Anderson Cooper programına katıldı ve o gönderiyi yayınlama sürecini kendisi anlattı.

Jacob önce bir taslak yazdı, arkadaşlarıyla birlikte düzeltti ve birkaç kişiyle en uygun ifadenin nasıl olacağını tartıştı. Resmi olarak paylaşmadan önce de özellikle bir arkadaşından paylaşmasına yardım etmesini istedi. O anki düşüncesi şuydu:

"Let's try to make this a bit viral."

Biraz daha geniş yayılmasını sağlayalım.

Sonuç beklentisinin çok ötesine geçti. Jacob daha sonra, AI güvenliğini tartışan bir gönderinin böyle bir yayılma elde ettiğini hiç görmediğini kabul etti. Bu tepkiyi daha önce açığa çıkmamış bir "gizli talep"e bağladı.

Medya ardından bu gönderinin yayılma sürecini sorgulamaya devam etti. Jacob, paylaşımdan önce herhangi bir kurumla tanıtım için işbirliği yaptığını reddetti, ancak gönderi yayınlandıktan sonra yaklaşık on kişilik bir grup kurduğunu ve içlerinden bazılarından paylaşmasına yardım etmelerini istediğini kabul etti; bunlar arasında AI güvenlik kuruluşu Encode'un kurucusu da vardı.

Gönderiyi paylaşmadan önce ve sonra, "AI 2027"nin yazarı ve eski OpenAI çalışanı Daniel Kokotajlo ile de görüş alışverişinde bulundu.

Jacob'ı bir ihbarcı olarak görenler, onun taslağı defalarca değiştirmesinin ve aktif olarak insanlardan paylaşmalarını istemesinin tek nedeninin, yeterince önemli gördüğü bir uyarının daha fazla kişi tarafından görülmesini sağlamak olduğunu söyleyecektir. Onu sorgulayanlar ise aynı ayrıntılara tutunarak bu sansasyonun başlı başına özenle tasarlandığını düşünüyor.

Bu iki görüş tartışılmaya devam edebilir, ama daha can sıkıcı soru şu: Jacob, Dario Amodei, Sam Altman ve gerçekten ön saf modellerin yanında çalışan insanlar tam olarak ne gördü ve neden bu zaman noktasında hep birlikte bunları konuşmaya başladılar?

Jacob'ın bu cümleyi 170 milyon kişiye nasıl ulaştırdığını sorgulayabilirsiniz, ancak yayılma teknikleri kullanmış olması bu cümlenin yanlış olduğu anlamına gelmez.

On yıl önce, Ethereum'un kurucusu Vitalik Buterin, süper zekanın sonunda insanlığı yok etme olasılığını tartışan uzun bir makale yazmıştı.

O zamanlar çok uç bir benzetme kullanmıştı: İnsanlığın süper zekayı kontrol etmeye çalışması, kabaca IQ'su 150 olan birinin IQ'su 6000 olan bir zekayı kontrol etmeye çalışmasına benziyordu. Ona kanseri çözmesini söylerseniz, belki de vereceği cevap önce kanser olabilecek tüm insanları yok etmek olurdu.

2016'da bu sözler esas olarak bloglarda, forumlarda ve düşünce deneylerinde vardı. On yıl sonra, öncü laboratuvarların çalışanlarının istifa mektuplarında, en büyük birkaç AI şirketinin CEO'larının kamuoyu açıklamalarında ve hükümet düzenlemeleri, sermaye piyasaları ve uluslararası rekabetin gerçek gündeminde görünmeye başladılar.

Ve bu işi gerçekten zorlaştıran bir başka katman daha var.

2 Ağustos 1939'da fizikçi Leo Szilard, Einstein'ın imzaladığı bir mektup kaleme aldı. İki ay sonra bu mektup Roosevelt'in eline ulaştı. Mektup, nükleer fisyonun muazzam yıkıcı güce sahip bombalar yapmak için kullanılabileceği ve Nazi Almanyası'nın ilgili alanlarda zaten harekete geçtiği konusunda uyarıyordu; ABD mümkün olan en kısa sürede tepki vermeliydi.

Einstein daha sonra Manhattan Projesi'ne katılmadı ve o yıl attığı imzadan uzun süre pişmanlık duydu. Ancak o zaman önlerindeki sorun acımasızdı: Bir teknolojinin tehlikeli olduğunu düşünseniz bile, rakibinizin onu ürettiğine inandığınız sürece, durmak ilerlemekten daha tehlikeli olabilirdi.

Seksen yıldan fazla bir süre sonra, aynı ikilem farklı bir biçimde yeniden ortaya çıktı.

Dario yavaşlamamız gerektiğini söylüyor, Trump ise Çin'in hâlâ yetişmeye çalıştığını söylüyor; birkaç laboratuvar birlikte güvenlik kuralları oluşturmak istiyor, ancak hiçbiri karar verme yetkisini tamamen başkasına devretmeye yanaşmıyor. Herkes frenden bahsediyor, ama aynı zamanda yanlarındaki arabanın gaz pedalını bırakıp bırakmadığını da izliyor.

Daha da kritik olan şu: Hâlâ bilmiyoruz, öncü modellere en yakın olan o gözler tam olarak ne kadar uzağı gördü.