Editörün notu: Anthropic halka arz oldu, değerlemesi 1,5 trilyon ve bir ara 2 trilyona yakın piyasa değerine ulaştı. Herkes SBF'in yıllar önce çok küçük bir piyasa değeriyle Anthropic'e yatırım yaptığını hatırlıyor; bugüne kadar tutsaydı yaklaşık 40 milyar dolar değerinde olacaktı, ne yazık ki çoktan satıldı.
14 yaşındaki Eli Goldfine, SBF'in annesiyle iletişime geçti ve hapishanedeki SBF ile bir telefon görüşmesi yaptı. Bu, FTX'in çöküşü ve SBF'in hapse girmesinden sonra gördüğüm en iyi röportaj; sadece SBF'in Anthropic yatırımına dair değerlendirmesini ve AI hakkındaki görüşlerini değil, aynı zamanda FTX'in 2020'de yaptığı ama şimdi herkesin hype'a dönüştürdüğü birçok sektörü ve onun bu popüler sektörler hakkındaki mevcut görüşlerini de kapsıyor.
· AI'nın insanlığın yok olmasına veya medeniyetin çöküşüne yol açma olasılığını %25 olarak veriyor: başta " %50'nin altında, %10'un üzerinde" demişti, sonunda %25 civarında karar kıldı; "zihin yüklemesi felaket sayılır mı" gibi bir ölçütle ayrılırsa aralık %20–%60'a genişliyor.
· Önümüzdeki 5–10 yılda AI, önemli görevlerin büyük çoğunluğunda insan seviyesine ulaşacak veya geçecek; "AI'nın dünyanın büyük kısmını işletmesi"ne sadece küçük bir adım kalıyor, ama süreç daha çok bulanık ve kademeli olacak, "pat" diye geçilecek bir yıl olmayacak.
· Etki sektörlere yansıyor, bir sektör ardından bir diğeri çizgiyi aşıyor: yazılım geliştirme ve matematikte bu zaten yaşanıyor, sonra daha fazla alana yayılacak; dünya bir bütün olarak alt üst olmuyor ama yerel olarak büyük değişimler olacak.
· Asıl soru "yavaşlamalı mıyız" değil, "herkesi birlikte yavaşlatabilir miyiz": güvenliği hiç umursamayan tek bir oyuncu olduğu sürece, tek taraflı yavaşlama yarışı sadece dibe doğru bir yarışa çevirir.
· Hizalama için tek bir üst düzey cevap yok, şeytan ayrıntıda: çok sayıda test, çok sayıda hata ayıklama, çok sayıda dikkat ve modelin sonunda agent olarak kullanılacağını varsaymak gerekiyor.
· Anthropic trilyon dolar seviyesinde, ilk iki AI şirketinden biri: önümüzdeki on yılda AI çekirdek sektör olacak, kümülatif piyasa değeri onlarca trilyon, hatta yüz trilyon dolara ulaşabilir; bu büyüklüğü taşıyabilecek şirketler bir elin parmaklarıyla sayılır.
· O zaman sadece 500 milyon dolar yatırım yapmasının nedeni, şirketin sadece bu kadar paraya ihtiyaç duymasıydı: bu, şirketin daha fazla hisse satmak istememesi ve ihtiyaç kadar finansman sağlamasının sonucuydu, onun yanlış değerlendirmesi değil.
· Günümüzde alpha "kimin AI hikayesi var"da değil, kimin gerçek AI şirketi olduğunu ayırt etmekte; ayrıca marka, teknolojiden daha iyi bir hendek koruyabiliyor (Coinbase ve Robinhood yüz milyarlar değerinde, bunu isimlerine borçlular).
· O «%51 ikiye katlama, %49 yıkım» yazı-tura kumarında, soyut düzeyde bahse girerdi, ama gerçek dünyada kesinlikle girmezdi: çünkü yıkım kalıcıdır, büyümeyi ise başkaları er ya da geç başarabilir.
· «Future Fund'da yaptığı iyi işler hatırına, FTX'in yükselişinden çöküşüne kadar tüm bu süreç buna değdi mi?» sorusuna cevabı hayır oldu: değdiğine inanmayı çok isterdi, ama dürüstçe değdiğini söyleyemezdi; eğer sonunda batırmasaydı, değerdi — insanların ders aldığını da düşünmüyor, çünkü kriz anlarında insanlar gerçekten önemli olan şeylere dair yargılarını kolayca kaybederler.
Bence çok büyük bir para ediyorlar.
En büyük sektörlere bak, ekonomimizin bazı kısımlarını gerçekten yönlendiren sektörlere, piyasa değerleri birkaç trilyondan onlarca trilyon dolara kadar uzanıyor. Önümüzdeki on yılda AI'ın bu temel sektörlerden biri, hatta en başta geleni olmayacağını düşünmek için hiçbir neden yok.
Yani AI şirketlerinin toplam piyasa değerinin sonunda onlarca trilyon, hatta yüz trilyon dolara ulaşacağını öngörüyorsan, bu para nasıl paylaşılacak? Belki üçte ikisini henüz var olmayan şirketlere ayırırsın. Böyle hesaplasan bile, mevcut şirketler için en az yüz trilyon dolar kalır. Bu hacmi taşıyabilecek şirket sayısı hiç de fazla değil. OpenAI var, Anthropic var, Google ve bünyesindeki birkaç laboratuvar var, muhtemelen DeepMind, xAI var. Gerçekten çekirdek oyuncu sayılan şirketler bir elin parmaklarını geçmez. Bu da temelde, en öndeki iki üç şirketin her birinin en az birkaç trilyon dolar değerinde olduğu anlamına gelir.
Ve bence Anthropic birinci olmasa bile açıkça birinci ligde.
Birincisi, mevcut modellerin yeteneklerine, mevcut ürünlerin ne kadar kullanışlı olduğuna bakmak gerekir, ve onlar bu konuda OpenAI ile açıkça sürekli karşılıklı atak yapıyorlar. Anthropic'in kitlelere yönelik tüketici ürünü çok olumlu geri bildirim aldı, ve bu muhtemelen onların en özgün ürünü bile olmayabilir. Onların AI yazılım geliştirme araçları dünyanın en iyisi, ki o da başka bir devasa alan. Yani en azından bugün itibarıyla, onu ilk ikiye koyman gerekir.
İyi soru. Önce önümüzdeki birkaç yıldan bahsedelim, her an absürt şeyler ortaya çıkabilir. Bu sadece medyan bir senaryo çıkarımı, her an sapabilir.
Ancak şu ana kadar gördüğümüz şu: Yapay zeka uzun bir süre dünya üzerinde neredeyse hiçbir etki yaratmadı, yetenekleri her seferinde ikiye katlansa bile, çünkü hâlâ "insandan daha az" olduğu aşamadaydı ve bu o kadar böyleydi ki, bir işi insanla yapmak hâlâ yapay zekayla yapmaktan daha kârlıydı. Sonra son yıllarda, giderek daha fazla yerde o çizgiyi aşmaya ve dünya üzerinde etki yaratmaya başladı.
Dünyayı henüz tamamen dönüştürmedi. Ancak kilit sektörler o kritik eşiğin altına düştükçe, yapay zeka bir alanda aniden insandan çok daha verimli hale geldikçe, o alanlarda oldukça hızlı patlamalar göreceksiniz. Yani önümüzdeki bir iki yıl içinde, birkaç alanın, belki de oldukça önemli alanların, matematik ve yazılım geliştirmenin yolunu izleyeceğini düşünüyorum: en öncü işlerin büyük kısmı fiilen yapay zeka modelleri tarafından yapılacak. Tüm dünya altüst olmayacak, ama bazı yerlerde belirgin değişiklikler görmeye başlayacaksınız.
Pek çok sorun var. Geriye çekilip söyleyeyim. Birincisi: Kaosa veya felaket niteliğinde yanlışlara yol açacak bir şey olabilir mi? En belirgin örnek, kontrolden çıkan yapay zekanın silah benzeri şeylere erişmesi, örneğin bir nükleer güce yönelik tehdidi tespit etmek için kullanılan bir yapay zeka sisteminin kontrolden çıkıp bir anda binlerce balistik füze fırlatması. Bu bir senaryo, önümüzdeki on yılda gerçekleşme olasılığını düşük görüyorum, ama sıfır değil, olabilir.
Kıyamet senaryolarını bir kenara bırakırsak, önümüzdeki on yılda şöyle bir dünyada olabileceğimizi düşünüyorum: bir anda çoğu meslekte insana gerek kalmamış. Dünya kısa vadede çok fazla değişmese bile, bu toplumun kültürünü kökten çarpıtacaktır. Etkisi muazzam olur, eğer artık kendimizi işle tanımlamıyorsak. Ayrıca, bazı sektörlerin çıktıları insanlar tarafından giderek daha zor anlaşılmaya başladığında ne olacak? Bu, yapay zekanın sessizce devraldığı anlamına mı gelir? O yapay zekalar insanları nasıl görür?
Bu soruların önümüzdeki on yıl içinde yanıtlanıp yanıtlanmayacağını bilmiyorum. Ama büyük olasılıkla hepsinin bir anda ortaya çıkacağını, ya da en azından art arda çıkacağını ve birçok açıdan insanlığın kendi geleceğinin merkezi belirleyicisi olma konumunun o zamana kadar duvara yazılmış olacağını düşünüyorum.
Bunun çoğunda pay bana ait değil. Önemli sözlerin çoğunu başkaları yazdı, ben büyük ölçüde sadece onların söylediklerini vurguluyordum ya da tekrarlıyordum.
Ama birkaç fikir var. Birincisi: Yapay zekanın 2020 civarında ne başardığına bakın. Cevap, çoğu alanda hiçbir şey. Çoğu alanda yapay zekayı deneyebilirsiniz, biraz aptal olacaktır, on yıl öncesine göre gerçekten etkileyici derecede daha iyi, ama yine de tamamen işe yaramaz. Ancak birkaç şeyde, özellikle eğitildiği şeylerde, insanı geçmiştir, örneğin çoğu satranç oyunu, satranç veya go; video oyunları gibi daha karmaşık alanlar da ortaya çıkmaya başladı.
Eğer yapay zeka sadece satrançta iyi olmakla kalsaydı, çok para kazanamazdın, toplumsal düzeni de alt üst edemezdin, geleceği de pek değiştiremezdin. Ama satrancın yapay zekanın yapabileceği her şey olduğunu düşünmek için hiçbir neden yok. Küçücük bir başlangıç noktasından itibaren üstel olarak büyümeye devam etti; kaç kez daha ikiye katlanması gerekir ki toplumun kritik alanlarında insanları geçmeye başlasın.
İyi soru. Cevap temelde şu: Bir şirket kurup finansman ararken genellikle sonsuz miktarda para toplamak istemezsin. Finansal tahminlerin vardır, işi büyütmek için ne kadar paraya ihtiyacın olduğunu kabaca bilirsin ve şirketin bu orandan fazlasını satmak istemezsin.
Anthropic o dönem tam da bu noktadaydı. Hesaplarına göre modeli geliştirmek için yaklaşık beş yüz milyon dolarlık hesaplama harcaması gerekiyordu, dolayısıyla topladıkları para buydu. Biz de temelde o turda toplamak istedikleri paranın tamamını yatırdık.
Belki de bunu yapmalıydılar. Sanırım bunun bir kısmı gerekenden fazla hisse satmak istememeleriydi. Ama diğer bir kısmı da şu: Pek çok şirket aslında kendi başarısı, kendi nakit akışı ve elindeki nakit tarafından batırılıyor. Tarihte bir sürü şirket büyük bir para topladı ve sonra hepsini reklama harcadı çünkü o parayla bir şey yapması gerektiğini düşündü, sonunda hiçbir şey elde edemedi, sadece yerinde saydı.
Yani sanırım o zaman onlar da şunu düşünüyordu: Önümüzdeki birkaç yılda gerçekten ne kadar harcamaları gerekecek, işi tersine çevirmemeye çalışıyorlardı.
Katılanlar gruplar halinde dönüşümlüydü, sonra doğrudan profesyonelleşmek için insan almaya başladık. Başlangıçta sadece ben ya da şirketten başkaları fırsat buldukça tek tek yatırım yapıyordu, açıkçası Anthropic de bu kategoriye giriyordu.
Ama sonra çok başarılı olmaya başladık; başlangıçta çoğu kripto varlık yatırımıydı ve açıkçası neredeyse her yıl ikiye katlanıyordu, tüm kripto piyasası bağlamında bile böyleydi, biz de ölçeği büyütmeye karar verdik. Ramnik'i, Amy'yi ve başkalarını işe alıp bu alandan özellikle sorumlu hale getirdik.
Genel olarak ben tüm portföye oldukça üst düzeyde katılıyordum. Bazı spesifik durumlarda ise, Anthropic açıkça bunlardan biriydi, Solana bir diğeriydi, daha derinlemesine dahil oluyordum, en azından haftalık olarak takip ediyordum, özellikle bu yatırımlar ile Alameda, FTX arasında etkileşim olduğunda ya da onlara yardımcı olabileceğim bir şey olduğunda.
Daha iyi bir cevap olmasını isterdim. Dört yıl önce neye yatırım yapılması gerektiği konusunda gerçekten iyi fikirlerim vardı. Ama bugün neye yatırım yapılması gerektiğinin gerçek cevabı şu: kendi tavsiyemi dinlememeliyim. Düzgün bir cevap verebilmek için dışarıda bizzat durum tespiti yapmam gerekiyor.
Genel anlamda, AI üzerine kurulu çok sayıda şirketin ortaya çıkacağını tahmin ediyorum; iki kişilik küçük ekiplerin birkaç yıl içinde yüz milyonlarca, hatta milyarlarca dolarlık şirketler haline geldiği ve çok daha düşük değerlemelerle yatırım yapılabildiği şirketler. Ama sorun şu ki, aynı zamanda bir sürü çöp de ortaya çıkacak. Artık her şirket iş planına bir AI cümlesi sıkıştırıyor, mantıklı olmasa bile; mesela bir tişört şirketi bile "tişörtleri AI ile tasarlayacağız" diyor. Tamam, belki biraz işe yarar, ama kendilerini özünde bir AI şirketi olarak yeniden paketliyorlar, oysa özünde değiller.
Yani şu anda alpha'nın büyük bir kısmı bu ikisini ayırt etmekte: hangi şirketler gerçekten AI şirketi, hangileri gerçekten AI sayesinde patlama büyümesi yakalayabilir, hangileri yakalayamaz, en azından şu an yakalayamaz. Büyük piyasa değerine sahip hisselere bakınca da bunu görebilirsiniz. Erken dönemdeki birçok piyasa katılımcısı aslında Amazon, Google, Apple ve Netflix arasındaki farkı ayırt edemiyordu; hepsi teknoloji şirketi, o zaman AI onları aynı şekilde mi etkileyecek? Cevap elbette hayır. Bunlardan birkaçı gerçekten AI büyümesine derinden bağlı, en belirgin örnek Nvidia; diğerleri ise, mesela Apple, gerçekten bir teknoloji şirketi ama Apple'ın son otuz yıldaki başarısını tanımlayan şey özünde mükemmel tüketici ürünü tasarımı: güzel donanım, kullanışlı yazılım ve güçlü bir marka. En azından teknoloji şirketleri açısından bu, AI merkezli sayılmaz.
Sadece AI şirketlerinin başarılı olabileceğine inanmıyorum. Öncelikle, bazı sektörlerde AI'nın büyük etkisi çok daha sonra ortaya çıkacak. Mesela çelik madenciliği; dünya hâlâ çeliğe ihtiyaç duyuyor ve şu anda AI fiziksel madenciliğe girmeye başladı, yani bir gecede alakalı hale geldi.
Ama bence çok kritik olan bir diğer nokta da marka. Bir yazılım şirketiniz olabilir, bir ürününüz olabilir, piyasa değeriniz büyük olabilir ve sonra bir rakip çıkıp şöyle diyebilir: neredeyse aynı şeyi çok ucuza yapabiliriz. Doğru, ama bu başkalarının satın alabileceği anlamına gelmez. Orada duran bir markanın değeri son derece, son derece büyüktür.
Coinbase veya Robinhood gibi şirketlere bakın. Gerçek farklılaşmaları ne? Neden her biri yüz milyarlarca dolar değerinde? Teknoloji yüzünden değil, bu alanda benzersiz bir şeylere sahip oldukları için de değil. Belki düzenleme, ama onlar söz konusu olduğunda aslında bu da tam olarak değil. Marka; bir Amerikan perakende yatırımcısının tanıdığı ve kullandığı bir isim. Bu büyük bir para değeri taşıyabilir ve birçok şirket için, temel ürün son derece kolay kopyalanabilir hale gelse bile, bu tür bir şey hep var olacaktır.
Büyük ölçüde şuna dayanıyor: Birini bir işi yapması için işe alacaksanız, ön koşul o işi iyi yapacağına güvenmenizdir. Ekipte biri araştırma ve durum tespiti için zaten 15 saat harcadıysa, sorun yok, bir kez bakarım, ekleyebileceğim ne varsa eklerim, elimde olup onlarda olmayan kaynakları onlara veririm.
Ama bunun dışında, doğru yargıya vardığına ve doğru gördüğüne güvenmeyeceksem, o zaman o 15 saati kendim yeniden durum tespiti yaparak harcamam gerekir. O noktada, başlangıçta onu işe almamın bir anlamı kalmaz.
Cevabın bir kısmını o gün gelene kadar veremeyeceğim, çünkü şu anda sahip olmadığım çok fazla bilgi var. Dünya değişiyor ve bazı bilgilere dışarıda ulaşmak içeridekinden çok daha kolay.
Ama "kazanıp bağışlamak"a geri dönmeyi, bu hareketi desteklemeyi, iyilik yaptığını düşündüğüm projeleri desteklemeyi çok ciddi şekilde değerlendireceğim. Bu muhtemelen varsayılan bir yol olacak.
Bunun dışında, diğer yollar toplumda hâlâ hangi rolü oynayabileceğime bağlı olacak. Eskiden birçok alanda etki yaratma imkânına sahiptim, ama bunlar artık çok daha zor olacak çünkü itibarım son derece olumsuz. Yani kamusal tartışma, siyaset, medya gibi alanlarda gelecekte hangi rolü oynayabileceğimden emin değilim, hatta belki hiçbir rol oynayamayabilirim. Ama "kazanıp bağışlamak" varsayılan bir yol.
Çok ciddi şekilde değerlendireceğim. Ne zaman ve nasıl çıkacağıma bağlı. Ama kriptoyu kesinlikle değerlendireceğim, AI'yı da değerlendireceğim, ayrıca daha geniş anlamda finansı da.
Gerçekten daha etkili olduğunu düşünüyorum.
Yaptığımız şeylerin çoğu "yeniden hibeyleme" (regranting) idi: bir miktar parayı bir grup insana verip hangi küçük projelere yatırım yapacaklarına kendilerinin karar vermesini sağlamak, bu yöntemle normalde radarımızın dışında kalan fırsatları kitlelere bulduruyorduk. AI güvenliği, biyogüvenlik, siyaset gibi alanlarda potansiyeli çok büyük ama paraya ihtiyacı olan birçok insan var, belki de çok değil, belki sadece üniversiteyi bitirmelerine ya da bir şirket kurmalarına yetecek kadar. Bu tür parayı sağlamaktan memnuniyet duyarız.
Bunların çoğu tek başına bakıldığında küçük görünüyor, ama kaldıraç etkisi çok yüksek; bir arada bakıldığında etkisi kayda değer. Ayrıca yeni başlayanlara para vermekten memnuniyet duyuyoruz: bir hayırseverlik fikirleri var ya da dünyaya faydalı başka bir araç, tutabilir de tutmayabilir de, denemek için bir paraya ihtiyaçları var. Bizim durumumuzda, bazıları sonunda sonuçsuz kalsa bile umurumuzda değil, tatmin duygusu ya da iyi bir şey yaptığımızı kanıtlamak için tek bir projeye bağımlı değiliz.
Sonuçta bunun oldukça etkili bir yol olduğunu düşünüyorum, kısmen o dönemde on milyonlardan yüz milyonlarca dolara kadar alabilecek ve bunu verimli şekilde harcayabilecek olgun projeler bulmanın çok zor olması nedeniyle. Bir kuruluşun yıllık bütçesi 8 milyon dolar, ona aniden 30 milyon daha verirseniz, bu parayla ne yapacağını hiç bilemeyebilir.
Anthropic'e yatırım yapmak kesin olarak fonun kurulmasından önceydi ve bir kısmı da AI güvenliği kaygısıyla yapıldı. Bunu bir kenara bırakalım, biyogüvenlik alanında bir dizi projeyi finanse ettik, bunlardan bazıları sonradan bulaşıcı hastalıklara yönelik yeni tedaviler geliştirdi, dünya genelinde çok sayıda insanı öldüren türden hastalıklar, bazı kuruluşlar da bu tür tedavilerin daha hızlı piyasaya çıkmasının yolunu açıyor.
Bence pek çok şeyin başlangıçta muazzam potansiyel etkisi vardı, ama kriz geldiğinde yarıda kesildi, bunların içine birçok siyasi projeyi de sayarım.
Elbette kimse kesin olamaz. Ama benim tahminim şu: güvenliğe özellikle önem veren bir şirket olduğu sürece, getirdiği geliştirme yaklaşımı o olmadığı duruma göre daha temkinli olacaktır. Bekleyebileceğiniz her şey bu değil, çünkü dünya güvenliğini hiç umursamayan bir katılımcı olduğu sürece bir yarış ortaya çıkar ve bu dibe doğru bir yarış olabilir, bu çok kötü olur.
Ama güvenlik bilinci olan bir katılımcının daha fazla olması yardımcı olur.
Bu soruyu kendileri benim cevaplamamdan daha iyi cevaplar. Ama genel hatlarıyla, bir kısmı modellerin kontrolden çıkma olasılığı başladığında en ön saf geliştirmeyi ve yayınlamayı yavaşlatmak.
Hugging Face'in hacklenmesi olayına bakabilirsiniz, nihai zararı büyük değildi, ama başka bir hedefle çok yıkıcı olabilirdi ve küresel bir felakete uzak değildi, "bir AI agent'ın gerçekte ne yapması gerektiği" açısından bakıldığında böyle. Yani modellerin böyle kontrolden çıkmasına izin verilmemesi gerektiği çok açık olmalı, mümkün olduğunca çok kontrol noktası koymak, modellerin nihai hedefini, yol gösterici ilkelerini ve hizalamasını mümkün olduğunca ciddiye almak, aynı zamanda gerçek zamanlı yanıt kapasitesini korumak. Bunların hiçbiri mükemmel değil, ama yardımcı oluyor.
Bu gerçek bir soru. Belki dünya için en iyi sonuç herkesin yavaşlaması olurdu, ama başkaları yavaşlamıyorsa bu, kendi başına yavaşlamanın doğru olduğu ve dibe doğru yarışa dalmak anlamına geldiği anlamına gelmez. Belki bu yarışta güvenlik bilincine sahip bir yarışmacının daha olması daha iyidir, ama bu açıkça ideal durum değil; sadece belki tam da bu durumda yaşıyoruz.
Gerçekten en iyi yaklaşım, diğer katılımcıları etkilemek ve mümkün olduğunca tüm ana oyuncuların güvenliğe daha fazla önem veren kampüsler arası bir konsensüse varmasını sağlamaktır.
Bence belirli bir olaya tepki veriyorlar, ayrıntıları tam bilmiyorum, bu yüzden istediğim kadar isabetli konuşamam. Bunun dışında, bence Biden hükümeti o dönemde çok...
Bu olumsuz olurdu.
Bunun siyah-beyaz, ayrık bir olay olacağından emin değilim. Öyle olabilir, ama aynı zamanda önümüzdeki beş yıl içinde toplumun bir bölümünün parça parça AI tarafından yutulduğunu da görebiliriz. Yazılım geliştirme zaten oluyor, matematik araştırmaları da öyle; satranç ve go daha erken oldu. Bu eğilim, toplumun giderek daha fazla bölümü AI tarafından yönetilene ve insan denetimi zamanla azalana kadar devam edecek.
Bence zaten oldukça genel. En üst düzey modellere neredeyse her soruyu sorabilirsiniz ve en az zeki bir insana denk bir yanıt alırsınız. Daha az gördüğümüz şey, AI'nın insanın temelde aşamadığı bir düzeyi aşması.
Anladığım kadarıyla mevcut en ileri düzey, kabaca çok zeki ve çok rasyonel bir insanın bolca zamanı olduğunda nihayetinde ulaşabileceği düzeye denk, sadece anında, parmaklarınızın ucunda. Bunun süper insan sayılıp sayılmayacağını bilmiyorum. Bence insandan biraz daha güçlü, ama çok daha güçlü değil; aynı anda birçok örnek çalıştırabilmesi ve insandan çok daha hızlı düşünebilmesi dışında.
Yani bu mutlaka insandan süper insana giden net bir çizgi olmayabilir. En azından şu ana kadar gördüğümüz bulanık bir çizgi: "insandan aşağı"dan yavaşça, yavaşça derken aslında sadece birkaç ay, birkaç yıl içinde 100 IQ'ya ulaşıyor. Bu eğilim devam ederse, belirgin bir şekilde "pat" diye geçilecek bir an olmayabilir. Ama gerçekten bir yıl da olabilir, insan seviyesinden açıkça insanın üstüne sıçradığı.
%50'nin altında, %10'un üstünde derim, yaklaşık %25 civarı.
Açıklamalıyım, kafamdaki bu modelin en iyi model olduğunu söylemeye cesaret edemem, bu olasılığın büyük bir kısmı insanların büyük ölçüde ayrışacağı karmaşık bir durumdan geliyor: diyelim ki gelecekte insanlar beyinlerini yüklemeye başladı, yüklemeyenler geride kaldı, bu felaket niteliğinde bir olay sayılır mı? Farklı insanlar farklı cevaplar verir. Farklı cevaplara göre %20 ile %60 arasında herhangi bir sayı verebilirim.
Başlangıç noktasından başlayalım: önümüzdeki 5-10 yıl içinde, hatta daha kısa sürede, AI büyük ihtimalle çoğu görevde insan kadar iyi, hatta daha iyi olacak, şu anda bile birçok alanda böyle. Sonra daha da iyi olacak, belki çok daha iyi, belki sadece biraz daha iyi, hepsinde değil ama dünya için önemli olan görevlerin büyük çoğunluğunda.
O noktaya gelindiğinde, AI'nın dünyanın büyük kısmını işletmesine, gücün büyük kısmını ele geçirmesine sadece küçük bir adım kalır. Daha güçlü bir türün yüz yıl boyunca bu gücü hiç kullanmaması bana oldukça düşük bir olasılık gibi geliyor. Bu yüzden önümüzdeki on yıl içinde AI'nın en azından dünyanın işleyişinin ve altyapısının büyük bir kısmını "yumuşak devralma" ile ele geçirdiğini göreceğimizi düşünmeye meyilliyim.
O zamana kadar, bir olasılık barışçıl bir arada yaşama, insanlıkta büyük bir değişim olmadan, ama bu en olası tahmin gibi görünmüyor. Bence insanlığın AI'nın yardımıyla şu ankinin ötesinde bir şeye dönüşmesi mümkün. AI'nın sadece insanlardan sıkılıp bizi ortadan kaldırması da mümkün. Bir de AI'nın öncülüğünde ama insan hedeflerine yönelik işbirliğiyle büyük bir teknolojik genişleme olasılığı var. Benim o %20 ile %60'ım, bu durumlardan hangilerini "kıyamet" kategorisine saydığınıza bağlı.
Eğer %100 emin olsaydım bunu yaptığından, sadece bunun onun hedefi olduğundan emin olmakla kalmayıp, aynı zamanda yıkıcı bir arıza moduna düşmediğinden, bir sürü karmaşık bulanık yaklaşıklık olmadığından emin olsaydım, o zaman, tüm bu varsayımlar geçerliyken, cevap evet olurdu.
Muhtemelen. Yine de detaylara bağlı, ama buna karşı bir itirazım yok.
İyi soru. Bence "kişilik" kavramının genişletilmesi gerekiyor. Zaten bir gerçek var: kimse dünkü kendisiyle tamamen aynı kişi değil. Bazı parçalarımız ölüyor, bazıları büyüyor; anılar değişiyor, kimyasal reaksiyonlar değişiyor, beden değişiyor, nörokimya değişiyor. Ama genellikle günler arasındaki fark yeterince küçük, bu yüzden "aynı kişi" iyi bir yaklaşımdır.
Mevcut AI'lar için durum açıkça böyle değil. Bence referans alınması gereken model bu: bir Claude Sonnet ile bir Claude Opus aynı kişi mi? "Evet" de "hayır" da iyi cevap değil. Bence "yüklenmiş bir kişi" olsaydı durum da aynı olurdu.
Burada insanların model çıktısını kopyalayıp yapıştırmasına izin verebiliyorum. İzlenimim şu: bunlar temelde titiz ve özenli bir araştırma asistanı, sadece istediğin kadar hızlı düşünebiliyorsun, bir günlük iş bir dakikada bitebiliyor, bu çok olağanüstü ve çok değerli.
Ama şu anki izlenimim, yaptıkları çoğu şeyi insanların da yapabildiği, sadece insanların zaman alması. Ayrıca onları yönlendiren güvenilir insanlara, bilgiye erişime ve mevcut modellerin önceden bağlanmış olduğu tüm o altyapıya ihtiyacın var.
FTX başlangıçta bir kripto borsasıydı; Bitcoin, Ethereum ve vadeli işlemlerini yapıyordu. Ama temelde tahmin piyasaları vadeli işlem sözleşmeleridir. Finansal açıdan ikisi de sadece bir değere uzlaşan piyasalardır.
Yani en başından tahmin piyasalarını sunmak istiyorduk, FTX uluslararası platformda da denedik. 2020 başkanlık seçimlerinde oldukça aktif bir piyasamız vardı, hatırlıyorum Trump-Biden piyasasının hacmi yüz milyonlarca dolardı. Bu uzun vadede büyütmek istediğimiz bir şeydi, ama CFTC'den düzenleyici netlik almadan büyüyemiyordum.
Bence büyük bir kısmı düzenleme sorunu. Biz yaparken, ABD'de piyasaya sürmek için gereken CFTC lisansını alamamıştık. Bu yüzden piyasamız yalnızca uluslararası siteye açıktı, Amerikalıların katılmasına izin verilmiyordu. Sonradan Kalshi, Polymarket gibi platformlar ABD'de daha resmi bir düzenleyici zemine kavuştu, ki bu tam da onların havalanmaya başladığı dönemdi.
O zamanlar Polymarket KYC yapmıyordu, değil mi? Bence yapmıyordu. Yani muhtemelen dediğin gibi çok sayıda Amerikalı VPN ile giriyordu. Biz ise merkezi bir borsa olarak tüm kullanıcılar için KYC yapmak zorundaydık; IP kontrolünün yanı sıra ABD dışındaki bölgelerden kimlik, pasaport ve adres kanıtı da istiyorduk.
Tokenize hisse senetlerinde bence hâlâ büyük bir alan var. 2021, 2022'den bu yana gerçekten büyüdüler ama temelde altyapıları gerçek hisse senedi piyasasından çok daha kullanışlı, dolayısıyla menkul kıymet ticaretinin ana mecrası haline gelmemeleri için hiçbir neden yok.
Bunun dışında, öngörü piyasalarının kapsayabileceği alan çok geniş. Bence siyasi öngörü piyasaları henüz beklediğim seviyeye ulaşmadı; bunun bir kısmı hâlâ düzenleme sorunu. Daha geriye çekilip bakınca, ABD'li müşterilere yönelik marjlı işlemler, vadeli işlemler, türevler; bu da neredeyse hiç var olmayan başka bir şey ve uluslararası hacmin büyük kısmı tam da bu biçimde. Bu da düzenleme engeli.
Yani bence orada hâlâ potansiyel var. Elbette, öngörmediğim ve çoğu insanı şaşırtacak pek çok şey de ortaya çıkacaktır.
Şey, müşteriler sürekli vadeli işlemleri seviyor. Şu çok açık: Altta yatan finansal ürün olarak mantıklı olsun ya da olmasın, "vadeyle uğraşmamak" başlı başına bir kolaylık. Gerçek mekanizma fonlama oranı açısından oldukça karmaşık ama bence sebep temelde bu; insanlar vadeyle uğraşmayı sevmiyor.
Aslında o kadar da önemsemiyorum. Birçok kişi bunu tamamen görmezden geliyor. Bazıları ise özellikle avantajlı tarafta durup fonlama oranlarını topluyor. Başlangıçta bunun insanlar için büyük bir finansal caydırıcı olacağını düşünmüştüm, ama öyle olmadı.
Yine aynı şey, kolaylık çok büyük bir faktör. Ve bence birçok kişi açıkçası bunu hiç düşünmüyor, ne kadar faiz ödediğine pek dikkat etmiyor.
Daha sonrası ise likiditenin likiditeyi çekmesi. O piyasalar ortak kanı haline geldiğinde, müşteriler orada, piyasa yapıcılar orada, likidite orada, büyük müşteriler de oraya gider. İyi bir döngü, bir geri bildirim döngüsü elde edersiniz, herkes ivmeyi ilk yakalayan piyasada toplanır.
Görüşüm pek değişmedi. Birçok roman okuyorum, birçok bilim kurgu, fena değil, ama açıkçası Netflix izlemeyi tercih ederim.
Açıkçası hayır. Bazı şeyleri sevdim, ama okuduğum bilim kurgunun en iyilerini belki vasat bir Netflix dizisiyle değiştirirdim, ama o da belki, ancak zar zor. Belki sonunda beklediğimden biraz daha fazla bilim kurgu okumayı sevdim, ama çok da değil.
Zaman alıyor. Ama bir kısmı bilgi aktarım hızı meselesi. Kitapta sadece görsel var, o da sadece metnin görseli; dizide ses var, görsel de var, görselde sadece metin değil, herhangi bir piksel gösterebilirsiniz. Yani bilgi teorisi açısından yapılabilecek çok daha fazla şey var, bunun çok yardımcı olduğunu düşünüyorum.
Diğer kısmı ise, kitapta genellikle dizide olmayan bir şey var: karakterlerin düşüncelerinin anlatımı. Bence bu şey gereksiz olabilir, çoğu zaman gereksizdir, yazarın bakış açısının kendini beğenmişliğidir. Ve şimdi para ve yetenek dizilere akıyor, bu yüzden doğal olarak en fazla gelişme orada olacak.
O senaryonun gerçekleşmesi için birçok ön koşul gerekiyor. Evrenin birbirinden bağımsız olduğunu varsayman gerekiyor, dediğin gibi; bunun yalnızca bir kez ortaya çıkan bir fırsat olduğunu, gelecekte daha düşük bir maliyetle kopyalanamayacağını varsayman gerekiyor; ve daha söylenmemiş birçok varsayım var.
Ama bir basitleştirme yöntemi şöyle olabilir: iki dünya, nüfusları kabaca eşit, geleceğe dair beklentileri eşit ve tamamen birbirinden bağımsız, asla etkileşime girmeyecekler, birbirlerinin ışık konisinin dışında, nasıl ifade edersen et. Sonra bir şekilde, tuhaf bir yabancı tanrı ortaya çıkıp diyor ki: bu iki dünyanın her birinin yok olma olasılığı %50; ve sen herhangi bir nedenle bu yabancı tanrının doğru söylediğine inanıyorsun. Diyor ki, onları ilişkili ya da ters ilişkili yapmayı seçebilirsin. Birinci seçenek: ya ikisi de yaşar ya ikisi de yok olur, her biri %50. İkinci seçenek: biri yaşar biri yok olur, rastgele, hangisinin hangisi olduğunu bilmiyorsun.
O senaryoda, bence bu iki seçeneğin eşdeğer olduğu açık. Ve eğer bir taraf sana 51'e 49 oran veriyorsa, "birlikte yaşam ya da birlikte ölüm" yerine onu seçmelisin, çünkü her dünya diğerinin nasıl olduğunu umursamıyor, zaten asla etkileşime girmeyecekler. Ve bu neredeyse en baştaki soruyla aynı: "tam olarak bir dünyanın hayatta kalması" ile "%50 olasılıkla ikisinin de hayatta kalması" arasında bir seçim yapman gerekiyor.
Bu ilginç bir soru, bu "ikiye katlamaların" tam olarak neyi katladığına bağlı. Marjinal faydanın arttığından, marjinal değerin azaldığından bahsediyorsun, bu "neyin" faydası?
Eğer bu, tüm evrenin uzun vadede birikmiş faydasını kastediyorsa, o zaman hayır, fayda kendisine göre doğrusaldır. Ama eğer bu aslında bir tür yaklaşık göstergeyse, örneğin GSYİH'ye bakıyorsan, "GSYİH ikiye katlanabilir mi" diyorsan, o zaman çok derin bir marjinal getiri azalması olması çok muhtemeldir.
Öncelikle, GSYİH'nin ikiye katlanması herkesin mutluluğunun ikiye katlandığı anlamına gelmez, hele dünyanın uzun vadeli beklenen değerinin ikiye katlandığı anlamına hiç gelmez. O GSYİH ikiye katlanması zaten otuz yıl sonra da gerçekleşebilirdi; ya da ciddi çevresel tahribata yol açtığı için sonunda tekrar çökebilirdi. Yani gerçek dünyada, ölçmek için kullandığın göstergeler, gerçekte önemsediğin şeyler olmayabilir.
Bir tane var, ama bir ön koşul eklemem gerekiyor: yakın vadede hangisinin gerçekten başarabileceğinden emin değilim, bunların hepsi teknolojik ilerleme gerektiriyor. Diğer gezegenleri kolonileştirmek, güneş sistemini, Samanyolu'nu kolonileştirmek, sonunda gerçekten birbirinden bağımsız dünyalara sahip olursun, sadece daha fazla insanın refaha ermesini sağlıyorsun. Bu bir örnek.
Farklı bir açıdan düşünürsek: Nüfus sabit kalsa, sonsuza kadar bir milyar insan olarak kalsa, onların mutluluğunu sürekli ikiye katlayabilir miyiz? Bence cevap, gerçekten bilmiyoruz. Bu neredeyse bir biyoloji sorunu, başka bir şey değil. İnsanları tatmin etmek, ölçülü bir şekilde mutlu etmek bir şeydir; insanları coşkuya boğmak zordur ve insanları iki kat, on kat coşkuya boğmanın ne olabileceğini hayal etmek daha da zordur, bu insanların normalde deneyimleyebileceği duygu aralığında değildir. Teorik olarak belki mümkündür, ama iyi bir şablonumuz yok, bunu gerçekleştirecek teknolojiye veya biyolojiye de sahip değiliz.
Bence daha net bir benzetme, "hızla devam etmek" ile "tüm AI veya AI benzeri gelişimi kalıcı olarak kesmek" arasında seçim yapmaktır. Çünkü o zaman temelde "dünya ciddi bir riskle karşı karşıya" ile "dünyanın refah kapasitesini sınırlamak" arasında bir seçim yapıyorsun ve ikincisi muhtemelen sonunda bir tür otomasyon veya dijital zekaya ihtiyaç duyacaktır. Yani o durumda, bu yolu kalıcı olarak kapatmak, gelecek için çok büyük bir maliyet olur.
Ama eğer sadece "biraz daha hızlı mı yoksa biraz daha yavaş mı" ise, o kadar net değil, çünkü kullanılabilecek iki model var. Biri "sonsuz üstel büyüme" modeli: bir kez hızlanmaya başladığında, fayda her yıl ikiye katlanır, sonsuza kadar. Bu modele göre, bir yıl erken başlamak, evreni kalıcı olarak ikiye katlamak demektir, ama bu biraz hayalidir, sonsuza kadar devam edemez.
Diğeri ise bunu tekillik benzeri bir olay olarak görmek, ardından yeni bir platoya ulaşmak, son derece belirsiz. Olay gerçekleştikten sonra, evrenin belki de milyarlarca yılı kalır, o zaman bu olayı bir yıl, on yıl, hatta yüz yıl ertelemek, bu modelde gelecekteki faydanın %1'ini bile fazla azaltmaz. Bu modele göre, p(doom)'u %1 düşürmek için gelişimi yüz yıl ertelemeye tamamen razı olursun.
Elbette, gerçek cevap muhtemelen ikisinin arasında bir yerde. Ve bence "AI patlama senaryosunda faydanın zaman içindeki eğrisinin nasıl göründüğü" çok ilginç bir soru.
Bu bunun bir parçası. Ama cevabımın ilk kısmı şu: birçok önkoşul var. O cevaba ulaşmak için durumla ilgili birçok şeyi varsayman gerekiyor ve bu varsayımlar gerçek hayatta çoğu zaman geçerli değil. Gerçekte, tüm seçenekler sunulduğundan çok daha karmaşıktır. Ve gerçek dünyada, bir şeyi kazara mahvetmek, bir şeyi inşa etmekten çok daha kolaydır.
Elbette.
Çünkü benim cezam müebbet. Gerçekçi olarak, hedefim 60 yaşında dışarı çıkmayı garanti edip sonra birkaç yıl ahşap bir kulübede yaşamak değil, bu benim hayattan beklentim değil. Dünya üzerinde olumlu bir etki yaratmak istiyorum ve bunun için dışarıda olmam gerekiyor. Bunun için yüksek bir prim var. Eğer bedeli hayatımın artık üretken olmayan son yıllarını kaybetmekse, bu bedeli tamamen ödemeye razıyım.
Evet. Gerçekte yazı tura gibi görünen bir durum var: yazı, modelin dünyanın büyümesini iki katına çıkarabileceğini gösteriyor; tura, dünyayı yok edebilir. Böyle bir parayla asla bahse girmemelisin.
Çünkü gerçek dünyada, öncelikle, o %50 içindeki "dünyanın büyümesini iki katına çıkarma" kısmında, büyük ihtimalle başkalarının da er ya da geç yapacağı bir şeyi yapmış olursun, bu muhtemelen gerçek, kalıcı bir dünya değeri iki katına çıkarma değildir. Ve eğer dünya yok edilirse, bu kalıcıdır, sonsuza dek yok olur.
Bu yüzden, gerçek senaryolarda belirsizlik ve gürültü her aşamaya eklendiğinde, felaket niteliğindeki yıkımın ağırlığının çok daha ağır basacağını, ılımlı büyümenin hâlâ iyi olduğunu ama bunun çok altında kaldığını düşünüyorum.
Aynı mantık, eğer bu mantığın incelediğin dinin somut içeriğiyle hiçbir ilgisi yoksa, o zaman aynı şekilde "elektrik direği dini" için de geçerlidir: eğer hayatını elektrik direğine tapmaya adarsan cennete gidersin; aksi halde cehenneme gidersin. Bu, hayatını elektrik direğine tapmaya adaman gerektiği anlamına mı gelir?
Aynı mantıkla, bu aynı şekilde "anti-elektrik direği dini" için de geçerlidir: elektrik direğine tapmak cehenneme, elektrik direğine küfretmek cennete götürür. Bu, hayatını elektrik direğine karşı çıkmaya adaman gerektiği anlamına mı gelir? Aynı mantık sana tamamen zıt iki cevap veriyor.
Cevap şu: Bu dünya için sonsuz sayıda tuhaf varsayım ve olasılık hayal edebilirsin, ancak sonsuz sayıda mantıksız olasılığa belirgin pozitif olasılıklar atayamazsın.
Kısmen doğru. Bu akıl yürütmenin kendisi kesinlikle doğru: Bu büyük ihtimalle yapay zekanın belirleyici on yılı, potansiyel etkisi dünyayı değiştirecek nitelikte, hem son derece olumlu hem de felaket boyutunda olabilir ve bu, dünyayı asla değiştirmeyecek ya da şu anda yaptıklarınızla değiştiremeyeceğiniz her şeyi gölgede bırakacaktır. Yani bu çok ikna edici bir argüman.
Ama cevaplamadığı şu: Gerçekte ne yapabilirsiniz. Bence birçok insan sonunda aynı yerde dönüp duruyor: Yapay zeka güvenliğini kendini adaması gereken bir dava olarak görüyor ama pratikte yapay zekayı gerçekten daha güvenli kılacak hiçbir şey bulamıyor. Bu da "neyin gerçekten önemli olduğu, neyin gerçekten işe yaradığı" konusunda içgörü ortaya koymanın çok değerli ve çok önemli olduğu anlamına geliyor.
Hugging Face'in hacklenmesiyle ilgili son raporlara bakabilirsiniz, kim bilir, ama görünüşe göre o raporlar beklenen değer açısından dünya için oldukça faydalı, bu çok güzel bir şey. Sadece o net olumlu büyük faydayı bulmak kolay değil ve şu anda büyük bir tartışma var: EA'nın çeşitli eylemleri yapay zeka güvenliği için olumlu mu yoksa olumsuz mu.
Dürüst tahminim şu: Şeytan ayrıntıda gizli. Herhangi bir şirketin takip ederek neredeyse güvenli ilerlemesini garanti edecek tek, net, üst düzey bir cevap olabilir mi? Bence bu, hepsi aynı zihniyetten kaynaklanan bir dizi kararın birleşimi olurdu: Yarattığınız modellerin hizalanmasına, hedeflerine ve motivasyonlarına son derece önem vermek ve tasarım amacı bu olmasa bile ajan olarak kullanılacaklarını varsaymak; aynı zamanda çok sayıda test, çok sayıda hata ayıklama ve çok fazla dikkat gerekiyor.
Hayır. Değdiğine inanmayı çok isterdim ama dürüstçe değdiğini söyleyemem. Değmeliydi. Sonunda işleri batırmasaydım, değeceğini düşünüyorum. İnsanlar bundan doğru dersleri çıkarsaydı belki değerdi, ama bence çıkarmadılar.
Birbirine dolanmış birkaç ders var. Çoğu, kriz modundayken "işler patladığında ne olacağı" ile ilgili. O zamanlarda kötü tavsiyeler almanız çok kolay. Birçok insan gerçekten önemli olan şeylere dair yargısını hızla kaybeder. Ve işler hızla "kim kazanan" merceğinden çarpıtılır. Geriye çekilip gerçekte ne olduğunu net görmek gerçekten çok zor.
Bence ilk yapılması gereken şey AI'yı olabildiğince derinlemesine öğrenmek, ne kadar derin anlarsan o kadar iyi, böylece bu diyaloğa katılabilirsin, ister araç yaparak ister doğrudan AI güvenliği açısından. Bence şu anda en önemli şey bu.
Çünkü şu andan AI'nın yükselişine kadar olan süre sıkışıyor. Önce başka bir şey yapmak için zamanın kısalıyor; aynı zamanda AI'nın kendisini anlamanın faydası çok büyük hale geldi. Yani amacın şirket kurup ondan para kazanıp bağışlamak olsa bile, şimdi çoğu insan için ben şunu söylerdim: AI'nın otomatikleştirebileceği, gerçekten faydalı ve gerçekten önemli bir alan bul, altyapımızın bir alanı, benim bakacağım yön bu olurdu.
BlockBeats Resmi Topluluğuna Katılın:
Telegram Abonelik Grubu: https://t.me/theblockbeats
Telegram Sohbet Grubu: https://t.me/BlockBeats_App
Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia