Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

SBF, Anthropic'in satılmasından duyduğu pişmanlığı ilk kez dile getirdi: Yapay zekanın insanlığı yok etme olasılığı %25, gençler yapay zekayı iyice öğrenmeli

Bu makaleyi okumak için 42 Dakika
SBF hapishanede röportaj verdi, Anthropic'in bugünkü trilyon dolarlık değerlemesini kaçırdığı için pişman. Ona göre önümüzdeki 5-10 yılda yapay zeka çoğu önemli görevde insanı geçecek ve etki sektör sektör yayılacak. Yapay zeka hendek mi yoksa marka mı, FTX'in bu yolu pek değmezdi
Editörün notu: Anthropic halka arz oldu, değerlemesi 1,5 trilyon ve bir ara 2 trilyona yakın piyasa değerine ulaştı. Herkes SBF'in yıllar önce çok küçük bir piyasa değeriyle Anthropic'e yatırım yaptığını hatırlıyor; bugüne kadar tutsaydı yaklaşık 40 milyar dolar değerinde olacaktı, ne yazık ki çoktan satıldı.


14 yaşındaki Eli Goldfine, SBF'in annesiyle iletişime geçti ve hapishanedeki SBF ile bir telefon görüşmesi yaptı. Bu, FTX'in çöküşü ve SBF'in hapse girmesinden sonra gördüğüm en iyi röportaj; sadece SBF'in Anthropic yatırımına dair değerlendirmesini ve AI hakkındaki görüşlerini değil, aynı zamanda FTX'in 2020'de yaptığı ama şimdi herkesin hype'a dönüştürdüğü birçok sektörü ve onun bu popüler sektörler hakkındaki mevcut görüşlerini de kapsıyor.


TL;DR

· AI'nın insanlığın yok olmasına veya medeniyetin çöküşüne yol açma olasılığını %25 olarak veriyor: başta " %50'nin altında, %10'un üzerinde" demişti, sonunda %25 civarında karar kıldı; "zihin yüklemesi felaket sayılır mı" gibi bir ölçütle ayrılırsa aralık %20–%60'a genişliyor.


· Önümüzdeki 5–10 yılda AI, önemli görevlerin büyük çoğunluğunda insan seviyesine ulaşacak veya geçecek; "AI'nın dünyanın büyük kısmını işletmesi"ne sadece küçük bir adım kalıyor, ama süreç daha çok bulanık ve kademeli olacak, "pat" diye geçilecek bir yıl olmayacak.


· Etki sektörlere yansıyor, bir sektör ardından bir diğeri çizgiyi aşıyor: yazılım geliştirme ve matematikte bu zaten yaşanıyor, sonra daha fazla alana yayılacak; dünya bir bütün olarak alt üst olmuyor ama yerel olarak büyük değişimler olacak.


· Asıl soru "yavaşlamalı mıyız" değil, "herkesi birlikte yavaşlatabilir miyiz": güvenliği hiç umursamayan tek bir oyuncu olduğu sürece, tek taraflı yavaşlama yarışı sadece dibe doğru bir yarışa çevirir.


· Hizalama için tek bir üst düzey cevap yok, şeytan ayrıntıda: çok sayıda test, çok sayıda hata ayıklama, çok sayıda dikkat ve modelin sonunda agent olarak kullanılacağını varsaymak gerekiyor.


· Anthropic trilyon dolar seviyesinde, ilk iki AI şirketinden biri: önümüzdeki on yılda AI çekirdek sektör olacak, kümülatif piyasa değeri onlarca trilyon, hatta yüz trilyon dolara ulaşabilir; bu büyüklüğü taşıyabilecek şirketler bir elin parmaklarıyla sayılır.


· O zaman sadece 500 milyon dolar yatırım yapmasının nedeni, şirketin sadece bu kadar paraya ihtiyaç duymasıydı: bu, şirketin daha fazla hisse satmak istememesi ve ihtiyaç kadar finansman sağlamasının sonucuydu, onun yanlış değerlendirmesi değil.


· Günümüzde alpha "kimin AI hikayesi var"da değil, kimin gerçek AI şirketi olduğunu ayırt etmekte; ayrıca marka, teknolojiden daha iyi bir hendek koruyabiliyor (Coinbase ve Robinhood yüz milyarlar değerinde, bunu isimlerine borçlular).


· O «%51 ikiye katlama, %49 yıkım» yazı-tura kumarında, soyut düzeyde bahse girerdi, ama gerçek dünyada kesinlikle girmezdi: çünkü yıkım kalıcıdır, büyümeyi ise başkaları er ya da geç başarabilir.


· «Future Fund'da yaptığı iyi işler hatırına, FTX'in yükselişinden çöküşüne kadar tüm bu süreç buna değdi mi?» sorusuna cevabı hayır oldu: değdiğine inanmayı çok isterdi, ama dürüstçe değdiğini söyleyemezdi; eğer sonunda batırmasaydı, değerdi — insanların ders aldığını da düşünmüyor, çünkü kriz anlarında insanlar gerçekten önemli olan şeylere dair yargılarını kolayca kaybederler.


Tahmin ederim sen de duymuşsundur, Anthropic bu hafta halka arz oluyor, değerlemesi bir trilyon doları aşacak. Şu anki değerlemesi hakkında ne düşünüyorsun?


Bence çok büyük bir para ediyorlar.


En büyük sektörlere bak, ekonomimizin bazı kısımlarını gerçekten yönlendiren sektörlere, piyasa değerleri birkaç trilyondan onlarca trilyon dolara kadar uzanıyor. Önümüzdeki on yılda AI'ın bu temel sektörlerden biri, hatta en başta geleni olmayacağını düşünmek için hiçbir neden yok.


Yani AI şirketlerinin toplam piyasa değerinin sonunda onlarca trilyon, hatta yüz trilyon dolara ulaşacağını öngörüyorsan, bu para nasıl paylaşılacak? Belki üçte ikisini henüz var olmayan şirketlere ayırırsın. Böyle hesaplasan bile, mevcut şirketler için en az yüz trilyon dolar kalır. Bu hacmi taşıyabilecek şirket sayısı hiç de fazla değil. OpenAI var, Anthropic var, Google ve bünyesindeki birkaç laboratuvar var, muhtemelen DeepMind, xAI var. Gerçekten çekirdek oyuncu sayılan şirketler bir elin parmaklarını geçmez. Bu da temelde, en öndeki iki üç şirketin her birinin en az birkaç trilyon dolar değerinde olduğu anlamına gelir.


Ve bence Anthropic birinci olmasa bile açıkça birinci ligde.


Neden onu en üst düzey AI şirketi olarak görüyorsun?


Birincisi, mevcut modellerin yeteneklerine, mevcut ürünlerin ne kadar kullanışlı olduğuna bakmak gerekir, ve onlar bu konuda OpenAI ile açıkça sürekli karşılıklı atak yapıyorlar. Anthropic'in kitlelere yönelik tüketici ürünü çok olumlu geri bildirim aldı, ve bu muhtemelen onların en özgün ürünü bile olmayabilir. Onların AI yazılım geliştirme araçları dünyanın en iyisi, ki o da başka bir devasa alan. Yani en azından bugün itibarıyla, onu ilk ikiye koyman gerekir.


Eğer gerçekten süper zekaya doğru topyekûn bir yarışa girilirse, ki şu an olasılık az değil, sence önümüzdeki on yıl kabaca nasıl gelişir? Dünya nasıl bir yer olur?


İyi soru. Önce önümüzdeki birkaç yıldan bahsedelim, her an absürt şeyler ortaya çıkabilir. Bu sadece medyan bir senaryo çıkarımı, her an sapabilir.


Ancak şu ana kadar gördüğümüz şu: Yapay zeka uzun bir süre dünya üzerinde neredeyse hiçbir etki yaratmadı, yetenekleri her seferinde ikiye katlansa bile, çünkü hâlâ "insandan daha az" olduğu aşamadaydı ve bu o kadar böyleydi ki, bir işi insanla yapmak hâlâ yapay zekayla yapmaktan daha kârlıydı. Sonra son yıllarda, giderek daha fazla yerde o çizgiyi aşmaya ve dünya üzerinde etki yaratmaya başladı.


Dünyayı henüz tamamen dönüştürmedi. Ancak kilit sektörler o kritik eşiğin altına düştükçe, yapay zeka bir alanda aniden insandan çok daha verimli hale geldikçe, o alanlarda oldukça hızlı patlamalar göreceksiniz. Yani önümüzdeki bir iki yıl içinde, birkaç alanın, belki de oldukça önemli alanların, matematik ve yazılım geliştirmenin yolunu izleyeceğini düşünüyorum: en öncü işlerin büyük kısmı fiilen yapay zeka modelleri tarafından yapılacak. Tüm dünya altüst olmayacak, ama bazı yerlerde belirgin değişiklikler görmeye başlayacaksınız.


Pek çok sorun var. Geriye çekilip söyleyeyim. Birincisi: Kaosa veya felaket niteliğinde yanlışlara yol açacak bir şey olabilir mi? En belirgin örnek, kontrolden çıkan yapay zekanın silah benzeri şeylere erişmesi, örneğin bir nükleer güce yönelik tehdidi tespit etmek için kullanılan bir yapay zeka sisteminin kontrolden çıkıp bir anda binlerce balistik füze fırlatması. Bu bir senaryo, önümüzdeki on yılda gerçekleşme olasılığını düşük görüyorum, ama sıfır değil, olabilir.


Kıyamet senaryolarını bir kenara bırakırsak, önümüzdeki on yılda şöyle bir dünyada olabileceğimizi düşünüyorum: bir anda çoğu meslekte insana gerek kalmamış. Dünya kısa vadede çok fazla değişmese bile, bu toplumun kültürünü kökten çarpıtacaktır. Etkisi muazzam olur, eğer artık kendimizi işle tanımlamıyorsak. Ayrıca, bazı sektörlerin çıktıları insanlar tarafından giderek daha zor anlaşılmaya başladığında ne olacak? Bu, yapay zekanın sessizce devraldığı anlamına mı gelir? O yapay zekalar insanları nasıl görür?


Bu soruların önümüzdeki on yıl içinde yanıtlanıp yanıtlanmayacağını bilmiyorum. Ama büyük olasılıkla hepsinin bir anda ortaya çıkacağını, ya da en azından art arda çıkacağını ve birçok açıdan insanlığın kendi geleceğinin merkezi belirleyicisi olma konumunun o zamana kadar duvara yazılmış olacağını düşünüyorum.


Bu fikirler sizde ana akımdan çok önce vardı. 2021'de ChatGPT henüz ana akım bir ürün değilken, yapay zeka eğrisinin nasıl ilerleyeceğini nasıl görüyordunuz?


Bunun çoğunda pay bana ait değil. Önemli sözlerin çoğunu başkaları yazdı, ben büyük ölçüde sadece onların söylediklerini vurguluyordum ya da tekrarlıyordum.


Ama birkaç fikir var. Birincisi: Yapay zekanın 2020 civarında ne başardığına bakın. Cevap, çoğu alanda hiçbir şey. Çoğu alanda yapay zekayı deneyebilirsiniz, biraz aptal olacaktır, on yıl öncesine göre gerçekten etkileyici derecede daha iyi, ama yine de tamamen işe yaramaz. Ancak birkaç şeyde, özellikle eğitildiği şeylerde, insanı geçmiştir, örneğin çoğu satranç oyunu, satranç veya go; video oyunları gibi daha karmaşık alanlar da ortaya çıkmaya başladı.


Eğer yapay zeka sadece satrançta iyi olmakla kalsaydı, çok para kazanamazdın, toplumsal düzeni de alt üst edemezdin, geleceği de pek değiştiremezdin. Ama satrancın yapay zekanın yapabileceği her şey olduğunu düşünmek için hiçbir neden yok. Küçücük bir başlangıç noktasından itibaren üstel olarak büyümeye devam etti; kaç kez daha ikiye katlanması gerekir ki toplumun kritik alanlarında insanları geçmeye başlasın.


O zaman benim sorum şu: Madem üstel büyüme eğrisi olduğuna inanıyordun, neden o zaman Anthropic'e sadece beş yüz milyon dolar yatırım yaptın?


İyi soru. Cevap temelde şu: Bir şirket kurup finansman ararken genellikle sonsuz miktarda para toplamak istemezsin. Finansal tahminlerin vardır, işi büyütmek için ne kadar paraya ihtiyacın olduğunu kabaca bilirsin ve şirketin bu orandan fazlasını satmak istemezsin.


Anthropic o dönem tam da bu noktadaydı. Hesaplarına göre modeli geliştirmek için yaklaşık beş yüz milyon dolarlık hesaplama harcaması gerekiyordu, dolayısıyla topladıkları para buydu. Biz de temelde o turda toplamak istedikleri paranın tamamını yatırdık.


Ama veri merkezi kapasitesi parayı harcayarak hemen inşa edilebilecek bir şey değil mi? Daha fazla para toplasalar neden daha fazla GPU alıp daha fazla veri merkezi kurup modeli o dönemdeki diğer öncü laboratuvarların çok ötesine taşıyamadılar?


Belki de bunu yapmalıydılar. Sanırım bunun bir kısmı gerekenden fazla hisse satmak istememeleriydi. Ama diğer bir kısmı da şu: Pek çok şirket aslında kendi başarısı, kendi nakit akışı ve elindeki nakit tarafından batırılıyor. Tarihte bir sürü şirket büyük bir para topladı ve sonra hepsini reklama harcadı çünkü o parayla bir şey yapması gerektiğini düşündü, sonunda hiçbir şey elde edemedi, sadece yerinde saydı.


Yani sanırım o zaman onlar da şunu düşünüyordu: Önümüzdeki birkaç yılda gerçekten ne kadar harcamaları gerekecek, işi tersine çevirmemeye çalışıyorlardı.


FTX'in risk sermayesi bölümünün o dönemde nasıl çalıştığını anlatabilir misin? Kim yönetiyordu? Yatırım mantığın neydi?


Katılanlar gruplar halinde dönüşümlüydü, sonra doğrudan profesyonelleşmek için insan almaya başladık. Başlangıçta sadece ben ya da şirketten başkaları fırsat buldukça tek tek yatırım yapıyordu, açıkçası Anthropic de bu kategoriye giriyordu.


Ama sonra çok başarılı olmaya başladık; başlangıçta çoğu kripto varlık yatırımıydı ve açıkçası neredeyse her yıl ikiye katlanıyordu, tüm kripto piyasası bağlamında bile böyleydi, biz de ölçeği büyütmeye karar verdik. Ramnik'i, Amy'yi ve başkalarını işe alıp bu alandan özellikle sorumlu hale getirdik.


Genel olarak ben tüm portföye oldukça üst düzeyde katılıyordum. Bazı spesifik durumlarda ise, Anthropic açıkça bunlardan biriydi, Solana bir diğeriydi, daha derinlemesine dahil oluyordum, en azından haftalık olarak takip ediyordum, özellikle bu yatırımlar ile Alameda, FTX arasında etkileşim olduğunda ya da onlara yardımcı olabileceğim bir şey olduğunda.


Hapishanede elde edebileceğin bilgilerle, şu anda piyasadaki alpha nerede? Şu anki yatırım kararın ne?


Daha iyi bir cevap olmasını isterdim. Dört yıl önce neye yatırım yapılması gerektiği konusunda gerçekten iyi fikirlerim vardı. Ama bugün neye yatırım yapılması gerektiğinin gerçek cevabı şu: kendi tavsiyemi dinlememeliyim. Düzgün bir cevap verebilmek için dışarıda bizzat durum tespiti yapmam gerekiyor.


Genel anlamda, AI üzerine kurulu çok sayıda şirketin ortaya çıkacağını tahmin ediyorum; iki kişilik küçük ekiplerin birkaç yıl içinde yüz milyonlarca, hatta milyarlarca dolarlık şirketler haline geldiği ve çok daha düşük değerlemelerle yatırım yapılabildiği şirketler. Ama sorun şu ki, aynı zamanda bir sürü çöp de ortaya çıkacak. Artık her şirket iş planına bir AI cümlesi sıkıştırıyor, mantıklı olmasa bile; mesela bir tişört şirketi bile "tişörtleri AI ile tasarlayacağız" diyor. Tamam, belki biraz işe yarar, ama kendilerini özünde bir AI şirketi olarak yeniden paketliyorlar, oysa özünde değiller.


Yani şu anda alpha'nın büyük bir kısmı bu ikisini ayırt etmekte: hangi şirketler gerçekten AI şirketi, hangileri gerçekten AI sayesinde patlama büyümesi yakalayabilir, hangileri yakalayamaz, en azından şu an yakalayamaz. Büyük piyasa değerine sahip hisselere bakınca da bunu görebilirsiniz. Erken dönemdeki birçok piyasa katılımcısı aslında Amazon, Google, Apple ve Netflix arasındaki farkı ayırt edemiyordu; hepsi teknoloji şirketi, o zaman AI onları aynı şekilde mi etkileyecek? Cevap elbette hayır. Bunlardan birkaçı gerçekten AI büyümesine derinden bağlı, en belirgin örnek Nvidia; diğerleri ise, mesela Apple, gerçekten bir teknoloji şirketi ama Apple'ın son otuz yıldaki başarısını tanımlayan şey özünde mükemmel tüketici ürünü tasarımı: güzel donanım, kullanışlı yazılım ve güçlü bir marka. En azından teknoloji şirketleri açısından bu, AI merkezli sayılmaz.


Peki gerçek AI şirketi olmayan işletmeler, mesela geleneksel yazılım şirketleri, bitti mi? Yoksa sadece AI kullanan şirketler mi hayatta kalabilir?


Sadece AI şirketlerinin başarılı olabileceğine inanmıyorum. Öncelikle, bazı sektörlerde AI'nın büyük etkisi çok daha sonra ortaya çıkacak. Mesela çelik madenciliği; dünya hâlâ çeliğe ihtiyaç duyuyor ve şu anda AI fiziksel madenciliğe girmeye başladı, yani bir gecede alakalı hale geldi.


Ama bence çok kritik olan bir diğer nokta da marka. Bir yazılım şirketiniz olabilir, bir ürününüz olabilir, piyasa değeriniz büyük olabilir ve sonra bir rakip çıkıp şöyle diyebilir: neredeyse aynı şeyi çok ucuza yapabiliriz. Doğru, ama bu başkalarının satın alabileceği anlamına gelmez. Orada duran bir markanın değeri son derece, son derece büyüktür.


Coinbase veya Robinhood gibi şirketlere bakın. Gerçek farklılaşmaları ne? Neden her biri yüz milyarlarca dolar değerinde? Teknoloji yüzünden değil, bu alanda benzersiz bir şeylere sahip oldukları için de değil. Belki düzenleme, ama onlar söz konusu olduğunda aslında bu da tam olarak değil. Marka; bir Amerikan perakende yatırımcısının tanıdığı ve kullandığı bir isim. Bu büyük bir para değeri taşıyabilir ve birçok şirket için, temel ürün son derece kolay kopyalanabilir hale gelse bile, bu tür bir şey hep var olacaktır.


Büyük finansal kararları genellikle yatırımın büyüklüğüne kıyasla çok az zaman harcayarak aldığınızı söylemiştiniz. Bu, risk sermayesinde nasıl tezahür ediyor, örneğin ekip bir proje sunduğunda, onaylayıp onaylamayacağınıza nasıl karar veriyorsunuz?


Büyük ölçüde şuna dayanıyor: Birini bir işi yapması için işe alacaksanız, ön koşul o işi iyi yapacağına güvenmenizdir. Ekipte biri araştırma ve durum tespiti için zaten 15 saat harcadıysa, sorun yok, bir kez bakarım, ekleyebileceğim ne varsa eklerim, elimde olup onlarda olmayan kaynakları onlara veririm.


Ama bunun dışında, doğru yargıya vardığına ve doğru gördüğüne güvenmeyeceksem, o zaman o 15 saati kendim yeniden durum tespiti yaparak harcamam gerekir. O noktada, başlangıçta onu işe almamın bir anlamı kalmaz.


Hapishanede en zor şeyin etkili fedakarlık hareketini destekleyememek, "kazanıp bağışlamak" yapamamak olduğunu söylemiştiniz. Çıktıktan sonra ne yapmayı planlıyorsunuz? Özellikle şu anda hareketteki birçok kişi FTX'ten ayrıştı.


Cevabın bir kısmını o gün gelene kadar veremeyeceğim, çünkü şu anda sahip olmadığım çok fazla bilgi var. Dünya değişiyor ve bazı bilgilere dışarıda ulaşmak içeridekinden çok daha kolay.


Ama "kazanıp bağışlamak"a geri dönmeyi, bu hareketi desteklemeyi, iyilik yaptığını düşündüğüm projeleri desteklemeyi çok ciddi şekilde değerlendireceğim. Bu muhtemelen varsayılan bir yol olacak.


Bunun dışında, diğer yollar toplumda hâlâ hangi rolü oynayabileceğime bağlı olacak. Eskiden birçok alanda etki yaratma imkânına sahiptim, ama bunlar artık çok daha zor olacak çünkü itibarım son derece olumsuz. Yani kamusal tartışma, siyaset, medya gibi alanlarda gelecekte hangi rolü oynayabileceğimden emin değilim, hatta belki hiçbir rol oynayamayabilirim. Ama "kazanıp bağışlamak" varsayılan bir yol.


Peki somut olarak nasıl kazanacaksınız? Kripto sektörüne mi döneceksiniz?


Çok ciddi şekilde değerlendireceğim. Ne zaman ve nasıl çıkacağıma bağlı. Ama kriptoyu kesinlikle değerlendireceğim, AI'yı da değerlendireceğim, ayrıca daha geniş anlamda finansı da.


FTX Future Fund'a çok para verdiniz ve bunu basitçe olgun EA hayır kurumlarına bağışlamak yerine, son derece dalgalı ve bir kez başarılı olduğunda yukarı yönlü potansiyeli çok yüksek projeler arıyordunuz. Future Fund'daki en iyi projelerin neler olduğunu gözden geçirebilir misiniz? Genel olarak, parayı GiveWell'in önde gelen hayır fonlarına yatırmaktan daha etkili miydi?


Gerçekten daha etkili olduğunu düşünüyorum.


Yaptığımız şeylerin çoğu "yeniden hibeyleme" (regranting) idi: bir miktar parayı bir grup insana verip hangi küçük projelere yatırım yapacaklarına kendilerinin karar vermesini sağlamak, bu yöntemle normalde radarımızın dışında kalan fırsatları kitlelere bulduruyorduk. AI güvenliği, biyogüvenlik, siyaset gibi alanlarda potansiyeli çok büyük ama paraya ihtiyacı olan birçok insan var, belki de çok değil, belki sadece üniversiteyi bitirmelerine ya da bir şirket kurmalarına yetecek kadar. Bu tür parayı sağlamaktan memnuniyet duyarız.


Bunların çoğu tek başına bakıldığında küçük görünüyor, ama kaldıraç etkisi çok yüksek; bir arada bakıldığında etkisi kayda değer. Ayrıca yeni başlayanlara para vermekten memnuniyet duyuyoruz: bir hayırseverlik fikirleri var ya da dünyaya faydalı başka bir araç, tutabilir de tutmayabilir de, denemek için bir paraya ihtiyaçları var. Bizim durumumuzda, bazıları sonunda sonuçsuz kalsa bile umurumuzda değil, tatmin duygusu ya da iyi bir şey yaptığımızı kanıtlamak için tek bir projeye bağımlı değiliz.


Sonuçta bunun oldukça etkili bir yol olduğunu düşünüyorum, kısmen o dönemde on milyonlardan yüz milyonlarca dolara kadar alabilecek ve bunu verimli şekilde harcayabilecek olgun projeler bulmanın çok zor olması nedeniyle. Bir kuruluşun yıllık bütçesi 8 milyon dolar, ona aniden 30 milyon daha verirseniz, bu parayla ne yapacağını hiç bilemeyebilir.


Özellikle öne çıkan örnekler var mı?


Anthropic'e yatırım yapmak kesin olarak fonun kurulmasından önceydi ve bir kısmı da AI güvenliği kaygısıyla yapıldı. Bunu bir kenara bırakalım, biyogüvenlik alanında bir dizi projeyi finanse ettik, bunlardan bazıları sonradan bulaşıcı hastalıklara yönelik yeni tedaviler geliştirdi, dünya genelinde çok sayıda insanı öldüren türden hastalıklar, bazı kuruluşlar da bu tür tedavilerin daha hızlı piyasaya çıkmasının yolunu açıyor.


Bence pek çok şeyin başlangıçta muazzam potansiyel etkisi vardı, ama kriz geldiğinde yarıda kesildi, bunların içine birçok siyasi projeyi de sayarım.


Anthropic'e yatırımın sadece yüksek getiri için değil, aynı zamanda AI güvenliği niteliğinde kamusal fayda taşıdığını söylemiştiniz. Gerçekten Anthropic önde olursa AGI ya da süper zekaya giden yarışın çok daha güvenli olacağını düşünüyor musunuz? Neden?


Elbette kimse kesin olamaz. Ama benim tahminim şu: güvenliğe özellikle önem veren bir şirket olduğu sürece, getirdiği geliştirme yaklaşımı o olmadığı duruma göre daha temkinli olacaktır. Bekleyebileceğiniz her şey bu değil, çünkü dünya güvenliğini hiç umursamayan bir katılımcı olduğu sürece bir yarış ortaya çıkar ve bu dibe doğru bir yarış olabilir, bu çok kötü olur.


Ama güvenlik bilinci olan bir katılımcının daha fazla olması yardımcı olur.


Bu pratikte nasıl ortaya çıkıyor? p(doom) (bu terim AI'nın insanlığın yok olmasına ya da medeniyetin çökmesine yol açma olasılığı anlamına gelir) değerini düşürmek için somut olarak ne yapıyorlar?


Bu soruyu kendileri benim cevaplamamdan daha iyi cevaplar. Ama genel hatlarıyla, bir kısmı modellerin kontrolden çıkma olasılığı başladığında en ön saf geliştirmeyi ve yayınlamayı yavaşlatmak.


Hugging Face'in hacklenmesi olayına bakabilirsiniz, nihai zararı büyük değildi, ama başka bir hedefle çok yıkıcı olabilirdi ve küresel bir felakete uzak değildi, "bir AI agent'ın gerçekte ne yapması gerektiği" açısından bakıldığında böyle. Yani modellerin böyle kontrolden çıkmasına izin verilmemesi gerektiği çok açık olmalı, mümkün olduğunca çok kontrol noktası koymak, modellerin nihai hedefini, yol gösterici ilkelerini ve hizalamasını mümkün olduğunca ciddiye almak, aynı zamanda gerçek zamanlı yanıt kapasitesini korumak. Bunların hiçbiri mükemmel değil, ama yardımcı oluyor.


Bir görüş var: Anthropic en güvenli yolun yavaşlamak olduğunu düşünse bile yavaşlayamaz, çünkü Çin ya da güvenliğe daha az önem veren başka şirketler öne geçer, yani bu pratikte uygulanamaz. Siz ne düşünüyorsunuz?


Bu gerçek bir soru. Belki dünya için en iyi sonuç herkesin yavaşlaması olurdu, ama başkaları yavaşlamıyorsa bu, kendi başına yavaşlamanın doğru olduğu ve dibe doğru yarışa dalmak anlamına geldiği anlamına gelmez. Belki bu yarışta güvenlik bilincine sahip bir yarışmacının daha olması daha iyidir, ama bu açıkça ideal durum değil; sadece belki tam da bu durumda yaşıyoruz.


Gerçekten en iyi yaklaşım, diğer katılımcıları etkilemek ve mümkün olduğunca tüm ana oyuncuların güvenliğe daha fazla önem veren kampüsler arası bir konsensüse varmasını sağlamaktır.


İkinci Trump hükümetini genel olarak destekliyorsunuz. Peki Trump hükümetindeki birçok kişi, Trump'ın kendisi dahil, etkili fedakarlığa (effective altruism) çok karşı; bu konuda ne düşünüyorsunuz?


Bence belirli bir olaya tepki veriyorlar, ayrıntıları tam bilmiyorum, bu yüzden istediğim kadar isabetli konuşamam. Bunun dışında, bence Biden hükümeti o dönemde çok...


Ama hükümet insanları etkili hayırsever bağışlardan caydırıyorsa, net etkisi açısından bu çok büyük bir olumsuzluk değil mi? Bazı insanlar bu kamuoyu nedeniyle etkili fedakar olmaktan vazgeçebilir.


Bu olumsuz olurdu.


Hesaplama gücü hâlâ genişliyor ve Anthropic'in bu IPO turu yine çok para toplayabilir. Peki ASI ne zaman gelecek? Zaman çizelgeniz nedir?


Bunun siyah-beyaz, ayrık bir olay olacağından emin değilim. Öyle olabilir, ama aynı zamanda önümüzdeki beş yıl içinde toplumun bir bölümünün parça parça AI tarafından yutulduğunu da görebiliriz. Yazılım geliştirme zaten oluyor, matematik araştırmaları da öyle; satranç ve go daha erken oldu. Bu eğilim, toplumun giderek daha fazla bölümü AI tarafından yönetilene ve insan denetimi zamanla azalana kadar devam edecek.


Çoğu insan mevcut AI'nın zaten "süper insan ve genel anlamda insanı her yönden aşan", yani her görevde insandan daha güçlü olduğunu düşünmez. Bu tanıma göre ASI'ye yakın mıyız? Gerçekleşecek mi?


Bence zaten oldukça genel. En üst düzey modellere neredeyse her soruyu sorabilirsiniz ve en az zeki bir insana denk bir yanıt alırsınız. Daha az gördüğümüz şey, AI'nın insanın temelde aşamadığı bir düzeyi aşması.


Anladığım kadarıyla mevcut en ileri düzey, kabaca çok zeki ve çok rasyonel bir insanın bolca zamanı olduğunda nihayetinde ulaşabileceği düzeye denk, sadece anında, parmaklarınızın ucunda. Bunun süper insan sayılıp sayılmayacağını bilmiyorum. Bence insandan biraz daha güçlü, ama çok daha güçlü değil; aynı anda birçok örnek çalıştırabilmesi ve insandan çok daha hızlı düşünebilmesi dışında.


Yani bu mutlaka insandan süper insana giden net bir çizgi olmayabilir. En azından şu ana kadar gördüğümüz bulanık bir çizgi: "insandan aşağı"dan yavaşça, yavaşça derken aslında sadece birkaç ay, birkaç yıl içinde 100 IQ'ya ulaşıyor. Bu eğilim devam ederse, belirgin bir şekilde "pat" diye geçilecek bir an olmayabilir. Ama gerçekten bir yıl da olabilir, insan seviyesinden açıkça insanın üstüne sıçradığı.


p(doom) için hiçbir zaman bir sayı vermediniz, yani AI'nın insanlığın büyük kısmının yok olmasına yol açacağı felaket niteliğindeki bir olayın olasılığı. Bir sayı verebilir misiniz?


%50'nin altında, %10'un üstünde derim, yaklaşık %25 civarı.


Açıklamalıyım, kafamdaki bu modelin en iyi model olduğunu söylemeye cesaret edemem, bu olasılığın büyük bir kısmı insanların büyük ölçüde ayrışacağı karmaşık bir durumdan geliyor: diyelim ki gelecekte insanlar beyinlerini yüklemeye başladı, yüklemeyenler geride kaldı, bu felaket niteliğinde bir olay sayılır mı? Farklı insanlar farklı cevaplar verir. Farklı cevaplara göre %20 ile %60 arasında herhangi bir sayı verebilirim.


%20 ile %60 aralığındaki akıl yürütmeniz nedir?


Başlangıç noktasından başlayalım: önümüzdeki 5-10 yıl içinde, hatta daha kısa sürede, AI büyük ihtimalle çoğu görevde insan kadar iyi, hatta daha iyi olacak, şu anda bile birçok alanda böyle. Sonra daha da iyi olacak, belki çok daha iyi, belki sadece biraz daha iyi, hepsinde değil ama dünya için önemli olan görevlerin büyük çoğunluğunda.


O noktaya gelindiğinde, AI'nın dünyanın büyük kısmını işletmesine, gücün büyük kısmını ele geçirmesine sadece küçük bir adım kalır. Daha güçlü bir türün yüz yıl boyunca bu gücü hiç kullanmaması bana oldukça düşük bir olasılık gibi geliyor. Bu yüzden önümüzdeki on yıl içinde AI'nın en azından dünyanın işleyişinin ve altyapısının büyük bir kısmını "yumuşak devralma" ile ele geçirdiğini göreceğimizi düşünmeye meyilliyim.


O zamana kadar, bir olasılık barışçıl bir arada yaşama, insanlıkta büyük bir değişim olmadan, ama bu en olası tahmin gibi görünmüyor. Bence insanlığın AI'nın yardımıyla şu ankinin ötesinde bir şeye dönüşmesi mümkün. AI'nın sadece insanlardan sıkılıp bizi ortadan kaldırması da mümkün. Bir de AI'nın öncülüğünde ama insan hedeflerine yönelik işbirliğiyle büyük bir teknolojik genişleme olasılığı var. Benim o %20 ile %60'ım, bu durumlardan hangilerini "kıyamet" kategorisine saydığınıza bağlı.


Eğer her kararınızın beklenen faydasını maksimize edebilen süper zeki bir AI olsaydı, karar verme yetkisini ona devreder miydiniz?


Eğer %100 emin olsaydım bunu yaptığından, sadece bunun onun hedefi olduğundan emin olmakla kalmayıp, aynı zamanda yıkıcı bir arıza moduna düşmediğinden, bir sürü karmaşık bulanık yaklaşıklık olmadığından emin olsaydım, o zaman, tüm bu varsayımlar geçerliyken, cevap evet olurdu.


Bir kıyamet senaryosundan bahsetmiştin, "zihin yükleme" ile ilgiliydi. Kendin yüklemek ister miydin?


Muhtemelen. Yine de detaylara bağlı, ama buna karşı bir itirazım yok.


Yükledikten sonra kendini hâlâ aynı kişi olarak görür müsün? Bu dünya görüşünü nasıl değiştirir?


İyi soru. Bence "kişilik" kavramının genişletilmesi gerekiyor. Zaten bir gerçek var: kimse dünkü kendisiyle tamamen aynı kişi değil. Bazı parçalarımız ölüyor, bazıları büyüyor; anılar değişiyor, kimyasal reaksiyonlar değişiyor, beden değişiyor, nörokimya değişiyor. Ama genellikle günler arasındaki fark yeterince küçük, bu yüzden "aynı kişi" iyi bir yaklaşımdır.


Mevcut AI'lar için durum açıkça böyle değil. Bence referans alınması gereken model bu: bir Claude Sonnet ile bir Claude Opus aynı kişi mi? "Evet" de "hayır" da iyi cevap değil. Bence "yüklenmiş bir kişi" olsaydı durum da aynı olurdu.


En son ne zaman bir LLM deneyebildin? İzlenimin neydi?


Burada insanların model çıktısını kopyalayıp yapıştırmasına izin verebiliyorum. İzlenimim şu: bunlar temelde titiz ve özenli bir araştırma asistanı, sadece istediğin kadar hızlı düşünebiliyorsun, bir günlük iş bir dakikada bitebiliyor, bu çok olağanüstü ve çok değerli.


Ama şu anki izlenimim, yaptıkları çoğu şeyi insanların da yapabildiği, sadece insanların zaman alması. Ayrıca onları yönlendiren güvenilir insanlara, bilgiye erişime ve mevcut modellerin önceden bağlanmış olduğu tüm o altyapıya ihtiyacın var.


FTX'teyken bazı ilginç ve yenilikçi finansal ürünler sundun. Brett Harrison, FTX için ilk vizyonlarından birinin siyasi tahmin piyasaları olduğunu söyledi. Anlatır mısın?


FTX başlangıçta bir kripto borsasıydı; Bitcoin, Ethereum ve vadeli işlemlerini yapıyordu. Ama temelde tahmin piyasaları vadeli işlem sözleşmeleridir. Finansal açıdan ikisi de sadece bir değere uzlaşan piyasalardır.


Yani en başından tahmin piyasalarını sunmak istiyorduk, FTX uluslararası platformda da denedik. 2020 başkanlık seçimlerinde oldukça aktif bir piyasamız vardı, hatırlıyorum Trump-Biden piyasasının hacmi yüz milyonlarca dolardı. Bu uzun vadede büyütmek istediğimiz bir şeydi, ama CFTC'den düzenleyici netlik almadan büyüyemiyordum.


Bilmiyorum biliyor musun, tahmin piyasaları son zamanlarda ne kadar popüler, Kalshi şu anda 65 milyar dolar değerleme üzerinden fon topluyor. FTX o zaman neden tahmin piyasalarını bu ölçeğe taşıyamadı? Çok mu erkendi, henüz ana akıma ulaşmamış mıydı?


Bence büyük bir kısmı düzenleme sorunu. Biz yaparken, ABD'de piyasaya sürmek için gereken CFTC lisansını alamamıştık. Bu yüzden piyasamız yalnızca uluslararası siteye açıktı, Amerikalıların katılmasına izin verilmiyordu. Sonradan Kalshi, Polymarket gibi platformlar ABD'de daha resmi bir düzenleyici zemine kavuştu, ki bu tam da onların havalanmaya başladığı dönemdi.


Polymarket offshore bir borsa statüsünde de büyüdü, özellikle 2024 seçimlerinde birçok Amerikalı kullanıcı VPN ile giriyordu.


O zamanlar Polymarket KYC yapmıyordu, değil mi? Bence yapmıyordu. Yani muhtemelen dediğin gibi çok sayıda Amerikalı VPN ile giriyordu. Biz ise merkezi bir borsa olarak tüm kullanıcılar için KYC yapmak zorundaydık; IP kontrolünün yanı sıra ABD dışındaki bölgelerden kimlik, pasaport ve adres kanıtı da istiyorduk.


Öngörü piyasalarının yanı sıra, o dönemde nadir görülen bazı türev ürünleri de listelemiştin, örneğin tokenize hisse senetleri. Bu piyasalar bugün çok daha büyük ama FTX'te hacimleri küçüktü. Sence bugün hangi ürünler devasa bir pazar haline gelebilir ama henüz ana akıma girmemiş?


Tokenize hisse senetlerinde bence hâlâ büyük bir alan var. 2021, 2022'den bu yana gerçekten büyüdüler ama temelde altyapıları gerçek hisse senedi piyasasından çok daha kullanışlı, dolayısıyla menkul kıymet ticaretinin ana mecrası haline gelmemeleri için hiçbir neden yok.


Bunun dışında, öngörü piyasalarının kapsayabileceği alan çok geniş. Bence siyasi öngörü piyasaları henüz beklediğim seviyeye ulaşmadı; bunun bir kısmı hâlâ düzenleme sorunu. Daha geriye çekilip bakınca, ABD'li müşterilere yönelik marjlı işlemler, vadeli işlemler, türevler; bu da neredeyse hiç var olmayan başka bir şey ve uluslararası hacmin büyük kısmı tam da bu biçimde. Bu da düzenleme engeli.


Yani bence orada hâlâ potansiyel var. Elbette, öngörmediğim ve çoğu insanı şaşırtacak pek çok şey de ortaya çıkacaktır.


FTX'te ayrıca pre-IPO vadeli işlemleri vardı; farklı vadelerde sözleşmelerle farklı zaman noktalarındaki değerlemelere bahis oynanabiliyordu. Bugün birçok kripto borsası bu değerlemeler üzerine sürekli vadeli işlemler yapıyor. Neden? Benim kişisel görüşüm, vadesi olan vadeli işlem yapısının aslında daha iyi olduğu.


Şey, müşteriler sürekli vadeli işlemleri seviyor. Şu çok açık: Altta yatan finansal ürün olarak mantıklı olsun ya da olmasın, "vadeyle uğraşmamak" başlı başına bir kolaylık. Gerçek mekanizma fonlama oranı açısından oldukça karmaşık ama bence sebep temelde bu; insanlar vadeyle uğraşmayı sevmiyor.


Peki fonlama oranı ödemekten nefret etmiyorlar mı?


Aslında o kadar da önemsemiyorum. Birçok kişi bunu tamamen görmezden geliyor. Bazıları ise özellikle avantajlı tarafta durup fonlama oranlarını topluyor. Başlangıçta bunun insanlar için büyük bir finansal caydırıcı olacağını düşünmüştüm, ama öyle olmadı.


Sence neden?


Yine aynı şey, kolaylık çok büyük bir faktör. Ve bence birçok kişi açıkçası bunu hiç düşünmüyor, ne kadar faiz ödediğine pek dikkat etmiyor.


Daha sonrası ise likiditenin likiditeyi çekmesi. O piyasalar ortak kanı haline geldiğinde, müşteriler orada, piyasa yapıcılar orada, likidite orada, büyük müşteriler de oraya gider. İyi bir döngü, bir geri bildirim döngüsü elde edersiniz, herkes ivmeyi ilk yakalayan piyasada toplanır.


Oldukça ünlü bir sözünüz var: «Kitaplardan çok şüpheliyim... Okumaya değer bir kitap olduğunu düşünmüyorum, ama gerçekten inanıyorum ki neredeyse öyle. Bence bir kitap yazdıysanız, işi batırmışsınızdır, o zaten altı paragraflık bir blog yazısı olmalıydı.» Şimdi hapistesiniz ve kitap okumak yapabileceğiniz az sayıdaki şeyden biri. Şimdi kitap okumaya nasıl bakıyorsunuz?


Görüşüm pek değişmedi. Birçok roman okuyorum, birçok bilim kurgu, fena değil, ama açıkçası Netflix izlemeyi tercih ederim.


Çıktıktan sonra da zaman ayırmaya değer bulduğunuz bir kitap var mı?


Açıkçası hayır. Bazı şeyleri sevdim, ama okuduğum bilim kurgunun en iyilerini belki vasat bir Netflix dizisiyle değiştirirdim, ama o da belki, ancak zar zor. Belki sonunda beklediğimden biraz daha fazla bilim kurgu okumayı sevdim, ama çok da değil.


Netflix tam olarak kitaptan nerede daha iyi? Dizi izlemek de çok zaman alıyor.


Zaman alıyor. Ama bir kısmı bilgi aktarım hızı meselesi. Kitapta sadece görsel var, o da sadece metnin görseli; dizide ses var, görsel de var, görselde sadece metin değil, herhangi bir piksel gösterebilirsiniz. Yani bilgi teorisi açısından yapılabilecek çok daha fazla şey var, bunun çok yardımcı olduğunu düşünüyorum.


Diğer kısmı ise, kitapta genellikle dizide olmayan bir şey var: karakterlerin düşüncelerinin anlatımı. Bence bu şey gereksiz olabilir, çoğu zaman gereksizdir, yazarın bakış açısının kendini beğenmişliğidir. Ve şimdi para ve yetenek dizilere akıyor, bu yüzden doğal olarak en fazla gelişme orada olacak.


Bir bahis varsayalım: %51 olasılıkla Dünya'nın faydasını başka bir yere ikiye katlamak, %49 olasılıkla her şeyin sıfırlanması. Oynar mıydınız? Kazanırsanız bir tur daha, ikiye katlama veya sıfırlanma, sonsuza kadar oynamaya devam eder miydiniz? Tyler Cowen'a, evrenlerin birbirinden bağımsız olması koşuluyla «%49 olasılıkla dünyayı yok etme, %51 olasılıkla faydayı ikiye katlama» bahsini kabul edeceğinizi söylemiştiniz. Mantığınızı açıklayabilir misiniz? FTX'in çöküşünden sonra bu görüş değişti mi?


O senaryonun gerçekleşmesi için birçok ön koşul gerekiyor. Evrenin birbirinden bağımsız olduğunu varsayman gerekiyor, dediğin gibi; bunun yalnızca bir kez ortaya çıkan bir fırsat olduğunu, gelecekte daha düşük bir maliyetle kopyalanamayacağını varsayman gerekiyor; ve daha söylenmemiş birçok varsayım var.


Ama bir basitleştirme yöntemi şöyle olabilir: iki dünya, nüfusları kabaca eşit, geleceğe dair beklentileri eşit ve tamamen birbirinden bağımsız, asla etkileşime girmeyecekler, birbirlerinin ışık konisinin dışında, nasıl ifade edersen et. Sonra bir şekilde, tuhaf bir yabancı tanrı ortaya çıkıp diyor ki: bu iki dünyanın her birinin yok olma olasılığı %50; ve sen herhangi bir nedenle bu yabancı tanrının doğru söylediğine inanıyorsun. Diyor ki, onları ilişkili ya da ters ilişkili yapmayı seçebilirsin. Birinci seçenek: ya ikisi de yaşar ya ikisi de yok olur, her biri %50. İkinci seçenek: biri yaşar biri yok olur, rastgele, hangisinin hangisi olduğunu bilmiyorsun.


O senaryoda, bence bu iki seçeneğin eşdeğer olduğu açık. Ve eğer bir taraf sana 51'e 49 oran veriyorsa, "birlikte yaşam ya da birlikte ölüm" yerine onu seçmelisin, çünkü her dünya diğerinin nasıl olduğunu umursamıyor, zaten asla etkileşime girmeyecekler. Ve bu neredeyse en baştaki soruyla aynı: "tam olarak bir dünyanın hayatta kalması" ile "%50 olasılıkla ikisinin de hayatta kalması" arasında bir seçim yapman gerekiyor.


Beklenen değeri pozitif, ama büyüklüğü fazla değil. Ama eğer sürekli çevirmeye devam edersen, on kez çevirmek bin kattan fazla eder. Başarı sayısı arttıkça, marjinal fayda azalır mı, öyle ki beklenen değer neredeyse başa baş gelir ve bu oyunu oynamak istemezsin?


Bu ilginç bir soru, bu "ikiye katlamaların" tam olarak neyi katladığına bağlı. Marjinal faydanın arttığından, marjinal değerin azaldığından bahsediyorsun, bu "neyin" faydası?


Eğer bu, tüm evrenin uzun vadede birikmiş faydasını kastediyorsa, o zaman hayır, fayda kendisine göre doğrusaldır. Ama eğer bu aslında bir tür yaklaşık göstergeyse, örneğin GSYİH'ye bakıyorsan, "GSYİH ikiye katlanabilir mi" diyorsan, o zaman çok derin bir marjinal getiri azalması olması çok muhtemeldir.


Öncelikle, GSYİH'nin ikiye katlanması herkesin mutluluğunun ikiye katlandığı anlamına gelmez, hele dünyanın uzun vadeli beklenen değerinin ikiye katlandığı anlamına hiç gelmez. O GSYİH ikiye katlanması zaten otuz yıl sonra da gerçekleşebilirdi; ya da ciddi çevresel tahribata yol açtığı için sonunda tekrar çökebilirdi. Yani gerçek dünyada, ölçmek için kullandığın göstergeler, gerçekte önemsediğin şeyler olmayabilir.


Marjinal azalma olmadan on kat, yüz kat artabilecek bir gösterge var mı? O neye benzerdi?


Bir tane var, ama bir ön koşul eklemem gerekiyor: yakın vadede hangisinin gerçekten başarabileceğinden emin değilim, bunların hepsi teknolojik ilerleme gerektiriyor. Diğer gezegenleri kolonileştirmek, güneş sistemini, Samanyolu'nu kolonileştirmek, sonunda gerçekten birbirinden bağımsız dünyalara sahip olursun, sadece daha fazla insanın refaha ermesini sağlıyorsun. Bu bir örnek.


Farklı bir açıdan düşünürsek: Nüfus sabit kalsa, sonsuza kadar bir milyar insan olarak kalsa, onların mutluluğunu sürekli ikiye katlayabilir miyiz? Bence cevap, gerçekten bilmiyoruz. Bu neredeyse bir biyoloji sorunu, başka bir şey değil. İnsanları tatmin etmek, ölçülü bir şekilde mutlu etmek bir şeydir; insanları coşkuya boğmak zordur ve insanları iki kat, on kat coşkuya boğmanın ne olabileceğini hayal etmek daha da zordur, bu insanların normalde deneyimleyebileceği duygu aralığında değildir. Teorik olarak belki mümkündür, ama iyi bir şablonumuz yok, bunu gerçekleştirecek teknolojiye veya biyolojiye de sahip değiliz.


Sence mevcut AI gelişimi o yazı tura atmanın gerçek versiyonu mu? Eğer ikisi arasında seçim yapman gerekseydi: A, AI gelişimini yavaşlat, p(doom)'u %10'dan %2'ye düşür; B, hızla devam et, daha yüksek p(doom)'u kabul et karşılığında daha yüksek yukarı yönlü alan elde et. Hangisini seçerdin?


Bence daha net bir benzetme, "hızla devam etmek" ile "tüm AI veya AI benzeri gelişimi kalıcı olarak kesmek" arasında seçim yapmaktır. Çünkü o zaman temelde "dünya ciddi bir riskle karşı karşıya" ile "dünyanın refah kapasitesini sınırlamak" arasında bir seçim yapıyorsun ve ikincisi muhtemelen sonunda bir tür otomasyon veya dijital zekaya ihtiyaç duyacaktır. Yani o durumda, bu yolu kalıcı olarak kapatmak, gelecek için çok büyük bir maliyet olur.


Ama eğer sadece "biraz daha hızlı mı yoksa biraz daha yavaş mı" ise, o kadar net değil, çünkü kullanılabilecek iki model var. Biri "sonsuz üstel büyüme" modeli: bir kez hızlanmaya başladığında, fayda her yıl ikiye katlanır, sonsuza kadar. Bu modele göre, bir yıl erken başlamak, evreni kalıcı olarak ikiye katlamak demektir, ama bu biraz hayalidir, sonsuza kadar devam edemez.


Diğeri ise bunu tekillik benzeri bir olay olarak görmek, ardından yeni bir platoya ulaşmak, son derece belirsiz. Olay gerçekleştikten sonra, evrenin belki de milyarlarca yılı kalır, o zaman bu olayı bir yıl, on yıl, hatta yüz yıl ertelemek, bu modelde gelecekteki faydanın %1'ini bile fazla azaltmaz. Bu modele göre, p(doom)'u %1 düşürmek için gelişimi yüz yıl ertelemeye tamamen razı olursun.


Elbette, gerçek cevap muhtemelen ikisinin arasında bir yerde. Ve bence "AI patlama senaryosunda faydanın zaman içindeki eğrisinin nasıl göründüğü" çok ilginç bir soru.


Birçok kişi bu soruya verdiğin cevaba dayanarak dünya görüşünü özetlemeye çalışıyor, "her zaman beklenen değeri en yüksek olan bahsi seç". Bu makul bir özet mi?


Bu bunun bir parçası. Ama cevabımın ilk kısmı şu: birçok önkoşul var. O cevaba ulaşmak için durumla ilgili birçok şeyi varsayman gerekiyor ve bu varsayımlar gerçek hayatta çoğu zaman geçerli değil. Gerçekte, tüm seçenekler sunulduğundan çok daha karmaşıktır. Ve gerçek dünyada, bir şeyi kazara mahvetmek, bir şeyi inşa etmekten çok daha kolaydır.


O zaman bir örnek kullanalım: Diyelim ki bir madeni para var, %51 olasılıkla yarın hapisten çıkıyorsun, %49 olasılıkla kalan cezan iki katına çıkıyor. Bu bahse girer misin?


Elbette.


Çünkü benim cezam müebbet. Gerçekçi olarak, hedefim 60 yaşında dışarı çıkmayı garanti edip sonra birkaç yıl ahşap bir kulübede yaşamak değil, bu benim hayattan beklentim değil. Dünya üzerinde olumlu bir etki yaratmak istiyorum ve bunun için dışarıda olmam gerekiyor. Bunun için yüksek bir prim var. Eğer bedeli hayatımın artık üretken olmayan son yıllarını kaybetmekse, bu bedeli tamamen ödemeye razıyım.


Bu öncüller yüzünden tam tersine bahse girmeyeceğin bir örnek verebilir misin?


Evet. Gerçekte yazı tura gibi görünen bir durum var: yazı, modelin dünyanın büyümesini iki katına çıkarabileceğini gösteriyor; tura, dünyayı yok edebilir. Böyle bir parayla asla bahse girmemelisin.


Çünkü gerçek dünyada, öncelikle, o %50 içindeki "dünyanın büyümesini iki katına çıkarma" kısmında, büyük ihtimalle başkalarının da er ya da geç yapacağı bir şeyi yapmış olursun, bu muhtemelen gerçek, kalıcı bir dünya değeri iki katına çıkarma değildir. Ve eğer dünya yok edilirse, bu kalıcıdır, sonsuza dek yok olur.


Bu yüzden, gerçek senaryolarda belirsizlik ve gürültü her aşamaya eklendiğinde, felaket niteliğindeki yıkımın ağırlığının çok daha ağır basacağını, ılımlı büyümenin hâlâ iyi olduğunu ama bunun çok altında kaldığını düşünüyorum.


Bir yazı tura örneğine daha bakalım. Tamamen dindar olmadığını söylemiştin. Ama Pascal'ın bahsi her zaman orada: Tanrı'ya inanmak pozitif beklenen değer mi? Eğer gerçekten bir öbür dünya varsa, inanmamak cehenneme gitmek demek, ve bugün inanmanın maliyeti sınırlı, bu başka bir örnek sayılır mı?


Aynı mantık, eğer bu mantığın incelediğin dinin somut içeriğiyle hiçbir ilgisi yoksa, o zaman aynı şekilde "elektrik direği dini" için de geçerlidir: eğer hayatını elektrik direğine tapmaya adarsan cennete gidersin; aksi halde cehenneme gidersin. Bu, hayatını elektrik direğine tapmaya adaman gerektiği anlamına mı gelir?


Aynı mantıkla, bu aynı şekilde "anti-elektrik direği dini" için de geçerlidir: elektrik direğine tapmak cehenneme, elektrik direğine küfretmek cennete götürür. Bu, hayatını elektrik direğine karşı çıkmaya adaman gerektiği anlamına mı gelir? Aynı mantık sana tamamen zıt iki cevap veriyor.


Cevap şu: Bu dünya için sonsuz sayıda tuhaf varsayım ve olasılık hayal edebilirsin, ancak sonsuz sayıda mantıksız olasılığa belirgin pozitif olasılıklar atayamazsın.


Etkili fedakârlıkla ilgili bir başka beklenen değer sorunu: Birçok EA, AI güvenliğini en yüksek önceliğe koyuyor, çünkü bu pozitif beklenen değer, para harcıyoruz, belki de insanlığın yok oluşunu önleyebiliriz, çünkü AI'yı hizalayabiliriz. Bu akıl yürütme geçerli mi?


Kısmen doğru. Bu akıl yürütmenin kendisi kesinlikle doğru: Bu büyük ihtimalle yapay zekanın belirleyici on yılı, potansiyel etkisi dünyayı değiştirecek nitelikte, hem son derece olumlu hem de felaket boyutunda olabilir ve bu, dünyayı asla değiştirmeyecek ya da şu anda yaptıklarınızla değiştiremeyeceğiniz her şeyi gölgede bırakacaktır. Yani bu çok ikna edici bir argüman.


Ama cevaplamadığı şu: Gerçekte ne yapabilirsiniz. Bence birçok insan sonunda aynı yerde dönüp duruyor: Yapay zeka güvenliğini kendini adaması gereken bir dava olarak görüyor ama pratikte yapay zekayı gerçekten daha güvenli kılacak hiçbir şey bulamıyor. Bu da "neyin gerçekten önemli olduğu, neyin gerçekten işe yaradığı" konusunda içgörü ortaya koymanın çok değerli ve çok önemli olduğu anlamına geliyor.


Hugging Face'in hacklenmesiyle ilgili son raporlara bakabilirsiniz, kim bilir, ama görünüşe göre o raporlar beklenen değer açısından dünya için oldukça faydalı, bu çok güzel bir şey. Sadece o net olumlu büyük faydayı bulmak kolay değil ve şu anda büyük bir tartışma var: EA'nın çeşitli eylemleri yapay zeka güvenliği için olumlu mu yoksa olumsuz mu.


AGI'yi hizalamak için ne yapacağınızı biliyor musunuz? Bir medeniyet olarak şu anda en iyi bahsimiz sizce nedir?


Dürüst tahminim şu: Şeytan ayrıntıda gizli. Herhangi bir şirketin takip ederek neredeyse güvenli ilerlemesini garanti edecek tek, net, üst düzey bir cevap olabilir mi? Bence bu, hepsi aynı zihniyetten kaynaklanan bir dizi kararın birleşimi olurdu: Yarattığınız modellerin hizalanmasına, hedeflerine ve motivasyonlarına son derece önem vermek ve tasarım amacı bu olmasa bile ajan olarak kullanılacaklarını varsaymak; aynı zamanda çok sayıda test, çok sayıda hata ayıklama ve çok fazla dikkat gerekiyor.


Hepimiz FTX Future Fund aracılığıyla çok sayıda iyi iş yaptığınızı söylediğinizi biliyoruz. Sizce FTX'in yükselişinden çöküşüne kadar tüm bu süreç, sonu böyle olsa bile, Future Fund'ın yaptığı iyi işler sayesinde buna değdi mi?


Hayır. Değdiğine inanmayı çok isterdim ama dürüstçe değdiğini söyleyemem. Değmeliydi. Sonunda işleri batırmasaydım, değeceğini düşünüyorum. İnsanlar bundan doğru dersleri çıkarsaydı belki değerdi, ama bence çıkarmadılar.


Peki insanların çıkarması gereken ders ne?


Birbirine dolanmış birkaç ders var. Çoğu, kriz modundayken "işler patladığında ne olacağı" ile ilgili. O zamanlarda kötü tavsiyeler almanız çok kolay. Birçok insan gerçekten önemli olan şeylere dair yargısını hızla kaybeder. Ve işler hızla "kim kazanan" merceğinden çarpıtılır. Geriye çekilip gerçekte ne olduğunu net görmek gerçekten çok zor.


Eğer tekillik gerçekten yaklaşıyorsa ve biz süper insan AI eşiğindeysem, eğer sen benim yerimde olsaydın, bugün 14 yaşında olsaydın, en büyük olumlu etkiyi yaratmak için nasıl bir yol izlerdin?


Bence ilk yapılması gereken şey AI'yı olabildiğince derinlemesine öğrenmek, ne kadar derin anlarsan o kadar iyi, böylece bu diyaloğa katılabilirsin, ister araç yaparak ister doğrudan AI güvenliği açısından. Bence şu anda en önemli şey bu.


AI'dan önce muhtemelen "para kazan ve bağışla" derdin, ticareti iyi öğren, çok para kazan ve bağışla. Şimdi değişti mi?


Çünkü şu andan AI'nın yükselişine kadar olan süre sıkışıyor. Önce başka bir şey yapmak için zamanın kısalıyor; aynı zamanda AI'nın kendisini anlamanın faydası çok büyük hale geldi. Yani amacın şirket kurup ondan para kazanıp bağışlamak olsa bile, şimdi çoğu insan için ben şunu söylerdim: AI'nın otomatikleştirebileceği, gerçekten faydalı ve gerçekten önemli bir alan bul, altyapımızın bir alanı, benim bakacağım yön bu olurdu.


BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia

举报 Düzeltme/Rapor
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Düzeltme/Rapor
Gönder