Orijinal Video Başlığı: Anthropic'yi İnşa Etmek | Kurucularımızla Bir Sohbet
Orijinal Video Kaynağı: Anthropic
Orijinal Metin Çevirisi: Derin Akıntı TechFlow

Özet

Geçen hafta Anthropic, ardışık olarak iki aksiyon yaşadı:

İlk olarak, içeriden yaklaşık 3000 belge CMS yapılandırma hatası nedeniyle genel erişime açıldı, ardından Claude Code v2.1.88 npm üzerinde yayınlandığında 59.8MB'lik bir kaynak haritası ile 51.000 satır açık kaynak koduyla çıplak koştu.

Kendi işletmesine "güvenlik" kelimesini yazan bir şirket, kendi operasyonlarında ardışık olarak başarısız oldu, ironi dolu bir his.

Alay etmek için acele etmeden önce, Anthropic'in yedi kurucusunun bir yıl önceki iç görüşmelerinden bir dinleyin. Bu podcast kaydı 2024 Aralık ayında yapıldı ve yedi kişi şirketin nasıl kurulduğunu, RSP'nin nasıl oluşturulduğunu (Responsible Scaling Politikası), neden "güvenlik" kelimesinin hafife alınamayacağını ve CEO Dario'nun tekrar tekrar alıntılanan sözlerini konuştular:

"Eğer bir bina her hafta yangın alarmı çalıyorsa, aslında çok güvensiz bir binadır."

Şimdi bu cümleyi tekrar duymak gerçekten farklı bir tat.

Yedi Kurucu, Hızlı Tanışma

Dario Amodei｜CEO, önceki OpenAI Araştırma Başkan Yardımcısı, nörobilim geçmişi, Anthropic'in stratejik ve güvenlik rotasının nihai karar vericisi. Bu konuşmada en çok konuşan oldu.

Daniela Amodei｜Başkan, Dario'nun kız kardeşi. Daha önce beş buçuk yıl Stripe'da çalıştı, güven ve güvenlik ekibini yönetti, daha önce kâr amacı gütmeyen ve uluslararası kalkınma alanında çalıştı. Anthropic'in organizasyon yapısını ve dış iletişimi genellikle yönetti.

Jared Kaplan｜Fizik profesörü dönüş AI araştırmacısı, ölçek yasalarının temel yazarlarından biri. Genellikle dışarıdan bir bakış açısı sunarak yargılar sağlar, AI'ya başladığını çünkü "fiziği yapmaktan sıkıldığını" iddia eder.

Chris Olah｜Yorumlanabilirlik araştırmasının öncü ismi, 19 yaşında Körfez Bölgesi AI çevresine girdi, ardından Google Brain ve OpenAI'da çalıştı. Anthropic'te teknik bir idealistin en belirgin temsilcisi.

Tom Brown｜GPT-3 makalesinin bir yazarı, şu anda Anthropic'in hesaplama gücünden sorumlu. Bakış açısı daha çok mühendislik ve altyapıya yatkın, podcast'inde "AI'nın bu kadar hızlı olacağına inanmama"dan fikir değiştirmesine kadar birçok konuyu ele aldı.

Jack Clark｜Eski Bloomberg teknoloji muhabiri, Anthropic'in politika ve kamu işlerinden sorumlu kişisi. Bu konuşmada sunucu olarak görev aldı ve aracılık yaparak ve ek sorular yönlendirerek rol üstlendi.

Sam McCandlish｜Araştırma ortağı, genelde en az konuşan ancak sıklıkla konuştuğunda konuya direk temas eden ve "keskin" olan kişi.

Öne Çıkan Görüşler Özeti

Neden AI Yapıyoruz: Fizikte Sıkıldık ve "Görmek İnanmaktır" Duvarı

Jared Kaplan: "Daha önce uzun süre fizikle uğraştım, biraz sıkıldım, ayrıca daha fazla insanla çalışmak istedim, bu yüzden AI'ya geçtim."

Dario Amodei: "Seni doğrudan etkilemeye çalışmadım, sadece sana sürekli AI model sonuçlarını gösterdim. Bir noktada, sana yeterince fazla gösterdim ve sen de 'Evet, bu doğru gibi görünüyor' dedin."

Ters Konsensüs Bahsi: Çoğu zaman konsensüs sürü psikolojisi gibi görünmesine rağmen olgunluk sergiler

Jared Kaplan: "Birçok AI araştırmacısı, AI kışından psikolojik olarak ağır yara aldı, sanki bir hırs sahibi olmak hoş karşılanmıyormuş gibi hissettiler."

Dario Amodei: "Son on yılda en derin öğrendiğim şey şu oldu: Birçok şeyin 'herkesin bildiği' konsensüslerinin aslında sürü psikolojisi uygulayarak olgunlaşmış olduğudur. Birkaç kez konsensüsün bir gecede tersine dönmesini gördüğünde, 'Hayır, biz bunun üzerine gideriz.' dersin. Doğru olmasa bile, diğer insanların katkıda bulunmadığı birçok şeyi katkıda bulunursun."

Güvenlik ve Ölçeklenebilirlik Birbirine Dolanmıştır

Dario Amodei: "Modeli genişletme kararındaki motivasyonlardan biri, modelin yeterince akıllı olması gerektiği ve RLHF'nin bu şekilde çalışabileceğiydi. Bu hala inandığımız bir şey: Güvenlik ve ölçeklenebilirlik birbirine dolanmıştır."

RSP, Sorumlu Genişletme Politikası Anthropic'in 'Anayasasıdır'

Tom Brown: "Anthropic için RSP, adeta bizim anayasamız gibidir. Yönlendirici nitelikte bir temel belgedir, bu nedenle sürekli olarak üzerinde çalışmaya istekliyiz."

Dario Amodei: "RSP, güvenlik standartlarına uymayan planların ilerlemesini engelleyecektir. Biz slogan atmıyoruz, güvenliği her aşamaya gerçekten entegre ediyoruz."

Yangın alarmı çok sık çalarsa, gerçek yangında kimse kalmaz

Daniela Amodei: "İş ilerlemesini 'güvenlik' kelimesiyle hafife almamalıyız. Gerçek hedefimiz, herkesin ne anlama geldiğimizi net bir şekilde anlamasını sağlamaktır."

Dario Amodei: "Gerçekten güvenliği zedeleyen şey genellikle sık sık yapılan 'güvenlik tatbikatları'dır. Eğer bir binada her hafta yangın alarmı çalıyorsa, o binanın aslında çok güvensiz olduğunu söyleyebiliriz."

'Noble Failure' Yani 'Asil Başarısızlık' Bir Tuzaktır

Chris Olah: "En ahlaki davranışın, diğer hedefleri feda ederek güvenliği sağlamak olduğu ve bu şekilde kendini işe adadığını göstermek olduğuna dair bir düşünce vardır. Ancak bu yaklaşım aslında kendi kendini sabote etmektir. Çünkü bu, karar alma yetkisinin güvenliği önemsemeyen kişilere geçmesine neden olur."

Kurucular Geliri'nin %80'ini Bağışlama Sözü Verdi

Tom Brown: "Topluca, gelirin %80'ini toplumsal gelişimi ilerletmeye yardımcı olan kuruluşlara bağışlama sözü verdik ve bu desteği herkesin çekinmeden verdiği bir konudur."

Kimse Girişim Kurmak İstemiyor, Ama Bunu Yapmak Zorunda Olduğunu Düşünüyor

Sam McCandlish:「Aslında, aramızda, bir şirket kurma isteğiyle başlayan kimse yoktu. Sadece bu, yapmamız gereken şey olarak hissettik, çünkü bu, yapay zekanın doğru yönde ilerlemesini sağlamanın tek yolu olarak görünüyordu.」

Daniela Amodei:「Misyonumuz hem açık hem de saf, teknoloji endüstrisinde bu tür durumlar sık rastlanan şeyler değil.」

Anlaşılabilirlik: Sinir Ağlarında Tüm Bir 'Yapay Biyoloji' Seti Saklı

Chris Olah:「Sinir ağları çok harika, içinde henüz görmediğimiz birçok güzellik var. Bazen hayal ederim, on yıl sonra bir kitapçıya girip sinir ağı biyolojisi hakkında bir ders kitabı satın alacağımı ve kitapta hayret verici içeriklerin olacağını düşünürüm.」

AI'nin Demokrasiyi Güçlendirmek İçin Kullanılması, Bir Diktatörlük Aracı Olmaktan Kaçınması Gerektiği

Dario Amodei:「AI yanlış bir şekilde geliştirilirse, diktatörlüğün bir aracı haline gelebileceğinden endişeliyiz. AI'yı özgürlüğü ve özerkliği teşvik eden bir araç haline nasıl getiririz? Bu alanın önemi biyoloji ve anlaşılabilirlik kadar az değil.」

Beyaz Saray'dan Nobel Ödülü'ne: AI'nin Etkisi Teknoloji Çevresinin Çok Ötesine Geçti

Jared Kaplan:「2018'de, bir devlet başkanının dil modeline odaklandığını ve sizi Beyaz Saray'a davet ettiğini düşünemezdiniz.」

Dario Amodei:「AlfaFold'a Kimya alanında Nobel Ödülü verildiğini gördük, bu yüzden bize yüzlerce AlfaFold yaratmamıza yardımcı olabilecek araçlar geliştirmek için çaba harcamalıyız.」

Neden AI Araştırması Yapmalıyız?

Jack Clark: Başlangıçta Neden AI Araştırması Yapmalıyız? Jared, Neden AI Yapıyorsun?

Jared Kaplan:「Daha önce çok uzun zamandır fizikle uğraşıyordum, biraz sıkılmıştım ve daha fazla arkadaşla çalışmayı da istiyordum, bu yüzden AI yapmaya karar verdim.」

Tom Brown: "Sanırım Dario'nun seni ikna ettiğini düşünüyordum."

Dario Amodei: "Seni açıkça ikna ettiğimi düşünmüyorum, sadece sürekli sana yapay zeka modeli sonuçlarını gösteriyor ve bunların genel amaçlı olduğunu, tek bir soruna uygulanabileceğini düşünmediğimi söylüyordum. Bir noktada, sana yeteri kadar gösterdikten sonra, 'Evet, bu mantıklı görünüyor' dedin."

Jack Clark: Chris, açıklanabilirlik araştırması yaptığında, herkesi Google'da mı tanıdın?

Chris Olah: "Hayır. Aslında, 19 yaşındayken ilk kez Bay Area'ya geldiğimde, birçok insanı tanıdım. O zamanlar Dario ve Jared'ı tanıdım, onlar o sırada doktora sonrası araştırmacıydı ve ben o zamanlar onları çok cool bulmuştum. Sonra Google Brain'de çalıştım, Dario katıldığında bir süre yan yana oturduk, Tom ile de birlikte çalıştım, daha sonra OpenAI'a geçtim ve hepinizle birlikte çalışmaya başladım."

Jack Clark: "Hatırlıyorum, 2015 yılında bir konferansta Dario'yu gördüm ve seni röportaj yapmak istedim, Google PR bana senin makalelerini okumam gerektiğini söyledi."

Dario Amodei: "O zaman Google'da 'AI Güvenliğinde Somut Problemler' başlıklı makalemi yazıyordum."

Sam McCandlish: "Seninle çalışmaya başlamadan önce, beni ofisine davet ettin ve sanki tüm yapay zekayı anlattın. Sohbetimizi hatırlıyorum, bitince 'Aslında, farkındalığımdan çok daha ciddi bir konu olduğunu fark ettim.' dedim. O zaman 'büyük hesaplama blokları', parametre sayısı, insan beyni nöron sayısı gibi konuları konuşmuştun."

Devrim Niteliğinde Ölçeklendirme

Jack Clark: "OpenAI'da ölçek yasaları üzerinde çalışırken, modeli büyütmek gerçekten etkili olmaya başladı ve birçok projede sürekli, tuhaf bir şekilde etkili oldu, GPT-2'den ölçek yasalarına ve GPT-3'e kadar, bu şekilde adım adım ilerledik."

Dario Amodei: "Biz 'işleri halleden ekip'iz."

Jared Kaplan:「Biz güvenlik konusunda da çok heyecanlıyız, o sırada bir fikrimiz vardı: Yapay Zeka çok güçlü olacak, ancak insanlık değerini anlayamayabilir hatta bizimle iletişim kuramayabilir. Dil modeli, onun birçok örtük bilgiyi anlamasını belirli bir dereceye kadar sağlayabilir.」

Dario Amodei:「RLHF üzerine dil modeli de vardı, modeli genişletme motivasyonumuzdan biri, modelin yeterince akıllı olması gerektiğiydi ki RLHF işler hale gelebilsin. Hala inandığımız şey bu: Güvenlik ve ölçeklenebilirlik birbirine dolanan kavramlardır.」

Chris Olah:「Evet, o zamanlar ölçeklendirme çalışması aslında güvenlik ekibinin bir parçasıydı. Çünkü, güvenliği ciddiye almak istiyorsanız öncelikle AI eğilimlerini tahmin edebilmelisiniz.」

Jack Clark:「Hatırlıyorum, bir İngiltere havaalanında GPT-2'den haber uydurarak örnekler alıp Slack'te Dario'ya gönderdiğimi ve 'Bu gerçekten işe yarayabilir, muazzam bir politika etkisi olabilir' dediğimi hatırlıyorum, Dario'nun 'Evet' dediğini hatırlıyorum.」

Sonra çok sayıda yayınla ilgili çalışmalar da yaptık, o süreç çok çılgındı.

Daniela Amodei:「O zamanı yayınlamayı hatırlıyorum, bu, gerçek anlamda işbirliğine başladığımız ilk andı, o sırada GPT-2 yayınlandı.」

Jack Clark:「Bence o bize çok yardımcı oldu, önce birlikte 'Biraz tuhaf ama güvenlik odaklı' bir şey yaptık, sonra birlikte daha büyük çaplı, yine biraz tuhaf ama güvenlik odaklı olan Anthropic'i yaptık.」

AI'nın Başlangıç ​​Dönemi

Tom Brown:「'Concrete Problems' makalesine geri dönelim. Ben 2016'da OpenAI'e katıldım, o zaman sen ve ben ilk elemanlardık, o zamanlar o makaleyi ilk ana akım AI güvenlik makalesi gibi hissetmiştim. Nasıl ortaya çıktı?」

Dario Amodei:「Chris biliyor, o da dahil oldu. O zamanlar Google'da, ben o zamanki ana projemi bile unuttum, bu makalenin nasıl ortaya çıktığını hatırlamıyorum.」

Biz AI güvenliğinin hangi açık sorunlara sahip olduğunu yazmak istedik. O zamanlar AI güvenliği genellikle çok soyut bir şekilde ele alınıyordu, bu konuyu o zamanın gerçek ML çalışmalarına indirmek istedik. Bu doğrultuda altı yedi yıldır başlatmış olduğumuz bu çalışma o zamanlar tuhaf bir fikirdi.

Chris Olah: "Bunu bir bakıma neredeyse bir politik proje olarak görüyorum. O zamanlar birçok insan güvenliği ciddiye almıyordu. Herkesin kabul edebileceği mantıklı bir sorun listesi oluşturmak istedik, çoğu zaten literatürde mevcuttu, daha sonra çeşitli kurumlardan itibarlı insanları bulup ortak imza atmalarını istedik."

Uzun süren bir süre boyunca hatırlıyorum ki, bu konuda beyin içindeki yirmiye yakın araştırmacıyla iletişim halindeydim ve destek sağlamaya çalışıyordum. Eğer sadece soruna bakarsanız, bugün geriye dönüp bakıldığında her şeyin doğru olduğu kesin değil, belki doğru sorunlar değildi. Ancak bunu bir fikir birliği oluşturma süreci olarak görmeyi başarırsak: "Burada gerçek bir sorun var, ciddiye alınmaya değer" kanıtını yaratırsak, o zaman bu önemli bir an olur.

Jack Clark: "Sonunda çok tuhaf bir bilim kurgu dünyasına girersiniz, hatırlıyorum ki Anthropic'in erken dönemlerinde Constitutional AI hakkında konuşuyorduk, Jared "Dil modeline bir anayasa yazarsak, davranışı değişir" dedi. O zamanlar bu çok çılgınca görünüyordu. Neden bu fikri ciddiye aldınız?"

Jared Kaplan: "Dario ile uzun süre tartıştık, bence AI'da basit yaklaşımlar genellikle çok etkilidir. İlk versiyon oldukça karmaşıktı, daha sonra sürekli basitleştirildi, en sonunda şöyle oldu: Modelin seçim yapma yeteneğinden faydalanarak, ona neyi aradığını açıkça belirten ipuçları veriyoruz, sonra doğrudan prensipleri yazabiliriz."

Dario Amodei: "Bu, "Büyük Hesaplama Bloğu" (The Big Blob of Compute), "Acı Dolu Ders" (The Bitter Lesson), "Ölçekleme Hipotezi" (Scaling Hypothesis) meselesine geri dönüyor: AI'ye net bir amaç ve veri vermeniz yeterli olacaktır. Bir dizi talimat, bir dizi prensip, dil modeli bunları okuyabilir ve kendi davranışıyla karşılaştırabilir, eğitim hedefi burada yatıyor. Bu nedenle benim ve Jared'ın görüşü: Yapılabilir bir şey var, detaylar sürekli olarak ayarlanabilir."

Jared Kaplan: "Benim için erken dönemler çok garip geçti. Fizikten gelip AI'ın heyecanını artıya çevirdim, ancak o zamanlar insanların genel atmosferi hakkında kolayca unutulmaya müsait. O zamanlar bu konuları Dario ile konuştum, birçok AI araştırmacısının AI kışı psikolojik olarak çok fazla zarar görmüş gibi hissettiğini düşünüyorum, sanki "iddialı olmak" hoş karşılanmıyormuş gibi. Güvenliği tartışmadan önce, AI'nın çok güçlü ve yararlı olabileceğine inanmalısınız, ancak o zamanlar bir tür iddiasızlık yasağı vardı. Fizikçiler için bir avantaj, "kibir"leriydi, genellikle büyük çapta şeyler yapardılar, geniş vizyonları tartışma konusu yaparlardı."

Dario Amodei：「Bence bu gerçek oldu, 2014'te birçok konuşulamayan şey vardı. Bu aynı zamanda akademik dünyanın genel bir sorunu gibi, belirli alanlar dışında, kurumlar giderek daha riskten kaçınır hale geldi, endüstriyel AI de bu zihniyeti devraldı, benim tahminime göre ancak 2022'ye kadar bundan çıkabilecek.」

Chris Olah：「Ve 'muhafazakâr'ın iki şekli daha var: biri riski ciddiye almak, diğeri ciddiye almayı ve bir fikrin başarılı olabileceğine inanmayı kibir olarak görmeyi içeriyor. Biz o zaman ikincisinin egemen olduğu durumdaydık. Tarihte, 1939'da nükleer fizik tartışmaları da benzerdi: Fermi çekinceliydi, Szilard veya Teller riski ciddiye aldı.」

Dario Amodei：「Benim son on yılda öğrendiğim en derin derslerden biri şu: 'herkesin bildiği' olarak kabul edilen birçok şey aslında sürü etkisi tarafından olgunluk maskesi takmıştır. Birkaç kez gece yarısı ani bir şekilde değişime uğradığında, 'Hayır, biz buna bahse giriyoruz.' dersiniz. Belki yanılmış olabilirsiniz, ama gürültüyü görmezden gelerek bahse girersiniz. Sadece %50 doğru olsanız bile, diğerlerinin katkıda bulunmadığı birçok şeyi katkıda bulunursunuz.」

Toplumun Yapay Zeka İle İlgili Tutumu Değişiyor

Jared Kaplan：「Bugün bazı güvenlik konularında da durum böyle: dışarıdan toplumun pek çok güvenlik sorununun teknolojiden doğal olarak kaynaklanmayacağına dair bir anlaşması var; ancak Anthropic'te yaptığımız araştırmalarda, bu sorunların gerçekten doğal olarak ortaya çıkabileceğini gördük.」

Daniela Amodei：「Ancak son 18 ayda bu durum değişiyor, aynı zamanda dünyanın yapay zeka hakkındaki duygusu da açıkça değişiyor; kullanıcı araştırması yaptığımızda, genel kullanıcıların yapay zekanın dünya genelindeki etkisinden endişe duyduğunu daha sık duyuyoruz.」

Bazen iş, önyargı, toksisite, bazen de 'Dünyayı karıştıracak mı, insan işbirliği şeklini değiştirecek mi' sorusu, aslında bunların hiçbirini tam olarak tahmin etmedim.」

Sam McCandlish：「Nedeni bilinmeyen bir şekilde, ML araştırma camiası genellikle 'Yapay Zeka çok güçlenirse' konusunda halktan daha iyimser değil.」

Jared Kaplan：「2023'te Ben ve Dario Beyaz Saray'a gideceğiz, toplantıda Harris, Raimondo'nun temel mesajı şuydu: Sizi gözlüyoruz, yapay zeka önemli, ciddiyetle izliyoruz, ancak 2018'de 'Başkan'ın sizi arayıp dil modelini takip ettiklerini söyleyeceğinizi düşünmezsiniz.'」

Tom Brown: "İlginç olan, birçok insanın bu konuda henüz emin olunmayan bir şeye giriş yaptığımızdır, Fermi'nin atom bombasına şüpheyle yaklaştığı gibi, atom bombasının üretilebileceğine dair bazı kanıtlar olduğunu gösteren bazı kanıtlar vardır, ancak üretilemeyeceğine dair birçok kanıt da vardır, ancak sonunda denemeye karar verir. Çünkü öyleyse, etkisi büyük olacaktır, bu yüzden değerlidir."

2015-2017 arasında, yapay zekanın büyük bir şey olabileceğine dair bazı kanıtlar vardı ve bu kanıtlar sürekli artmaktaydı. 2016 yılında bir danışmanımla konuştum: Girişimcilik yaptım, yapay zeka güvenliği yapmak istiyorum, ancak matematik yeterince güçlü değil, ne yapacağımı bilmiyorum. O zamanki bazıları karar alma teorisine hakim olmanız gerektiğini söyledi; bazıları da çılgın yapay zeka olayı olmayacağını söyledi, gerçekten destekleyen insanlar çok azdı.

Jack Clark: "2014 yılında ImageNet Trend Raporu'nu yaptığımda deli olarak görüldüm. 2015 yılında NVIDIA'nın makalelerinde sürekli GPU'ya atıfta bulunacağımı düşündüğümde, yine deli olarak nitelendirildim; 2016'da habercilikten ayrılıp yapay zekaya geçtiğimde, hala "hayatının hatasını yaptın" diye bir e-posta aldım. O zamanlar birçok açıdan, ciddi bir şekilde "ölçeklenecek" bahsine yatırım yapmak gerçekten deliceydi."

Jared Kaplan: "Nasıl karar verdin? Kararsız mıydın?"

Jack Clark: "Ters bir bahis yaptım: Tam zamanlı bir yapay zeka muhabiri olmamı ve maaşımın ikiye katlanmasını istedim, kabul etmeyeceklerini biliyordum. Sonra bir gece uyuyup uyanıp istifa ettim. Her gün dosya okuyordum çünkü bir şeyin büyük ve çılgın bir şey olduğunu hep hissedersin, bir noktada yüksek bir inançla bahse girmen gerektiğini düşünürsün."

Tom Brown: "Ben o kadar cesur değildim, altı ayımı salladım."

Daniela Amodei: "Dahası, o zamanlar "Mühendislerin de yapay zekayı önemli ölçüde ileri taşıyabileceği" fikri çok yaygın değildi. O zamanlar "Yapay zeka sadece araştırmacılar tarafından yapılabilir" deniliyordu, bu yüzden tereddüt etmen doğaldı."

Tom Brown: "Sonradan OpenAI şunu dedi: "Yapay zekaya güvenliği konusunda mühendislikle yardımcı olabilirsin." O zaman katıldım. Daniela, OpenAI'dayken sen yöneticimdin, ne zaman katıldın?"

Daniela Amodei: "Stripe'ta beş buçuk yıl çalıştım, Greg benim eski patronumdu. Greg'i ve Dario'yu tanıştırmıştım. O zamanlar OpenAI'yi kuruyordu, ona şunu söyledim: "Tanıdığım en zeki insan Dario'dur. Eğer onu ekibe dahil edebilirsen, bu senin şansındır." Sonra Dario OpenAI'ye katıldı."

Belki seninle aynı şekilde, Ben de Stripe'dan ayrıldıktan sonra ne yapmak istediğimi düşünüyorum. Stripe'a katılmamın nedeni, daha önce kar Amacı gütmeyen kuruluşlar ve uluslararası kalkınma alanında çalışırken, kendimi daha fazla beceriye ihtiyaç duyduğumu hissettim, aslında o zamanlar o alan'a geri döneceğimi düşünüyordum.

Stripe'a katılmadan önce, kendimden daha kötü durumda olan insanlara yardım etmek için yeterli yetkiye sahip olmadığımı hissettim. Bu yüzden diğer teknoloji şirketlerine odaklandım, daha büyük bir etki yaratmak için yeni bir yol bulmayı umarak, o zamanlar OpenAI'nin iyi bir seçenek olduğunu düşündüm. Kar Amacı gütmeyen bir kuruluştu ve çok önemli ve anlamlı bir hedefe ulaşmayı amaçlıyordu.

AI'nın potansiyeline her zaman inanmışımdır, çünkü Dario hakkında bilgi sahibiydim ve gerçekten yönetimde yardımcı olacak birine ihtiyaçları vardı, bu yüzden işimin ve geçmişimin bu işe çok uygun olduğunu düşündüm. O zamanlar şöyle düşündüm: "Bu bir kar Amacı gütmeyen bir kuruluş, burada çok yetenekli, güzel bir vizyona sahip insanlar var, ancak işleyişleri biraz karmaşık görünüyor." Ve bu zorluk beni heyecanlandırdı, çünkü içinde yer alabilirdim.

O zamanlar kendimi bir çok yönlü oyuncu gibi hissediyordum, sadece takım üyelerini yönetmekle kalmıyor, aynı zamanda bazı teknik ekipleri yönlendirmek, organizasyonun genişlemesinden sorumlu olmak, organizasyon genişleme işlerine liderlik etmekle kalmıyor, dil ekibiyle çalıştım, daha sonra bazı diğer görevleri üstlendim. Bazı politika meselelerine de katkıda bulundum, Chris ile de birlikte çalıştım. Şirkette çok yetenekli insanlar olduğunu düşündüm, bu beni özellikle buraya katılmak ve şirketin daha verimli ve düzenli hale gelmesine yardımcı olmak için motive etti.

Jack Clark: "GPT-3'ü bitirdikten sonra "güven ve güvenlik" hakkında ne düşündüğünü hatırlıyorum."

Daniela Amodei: "Önceden Stripe'da "güven ve güvenlik" ekibine liderlik ettim. Bu tür bir teknoloji için, güven ve güvenlik konusunu düşünmeniz belki ihtiyacınız olabilir. Bu aslında yapay zeka güvenliği araştırması ve daha pratik gündelik iş arasında bir köprüdür, yani modelleri gerçekten güvenli hale getirmenin yolları."

"Bu teknolojinin gelecekte büyük bir etkiye sahip olacağını öne sürmek çok önemlidir. Aynı zamanda gelecekteki daha riskli senaryolarla başa çıkmak için temel oluşturacak daha pratik işler yapılması gerektiğini bilmemiz gerekir."

Sorumlu Genişleme Politikası: AI'nın Güvenli Gelişimini Sağlama

Jack Clark: "Bu, Sorumlu Ölçeklendirme Politikası'nın (RSP, Responsible Scaling Policy) nasıl ortaya çıktığını, neden bu konuya odaklandığımızı ve onu şu anda nasıl uyguladığımızı, özellikle modelin güvenilirlik ve güvenlik yönlerinde şu anda yaptığımız çalışmaları düşünerek tam olarak tartışabileceğimiz bir konu."

Dario Amodei: "Başlangıçta, aslında Paul Christiano ve benim tarafımdan önerildi, yaklaşık 2022 yılının sonlarında. İlk düşünce, bazı güvenlik sorunlarını çözmek için bir yöntem bulana kadar modelin belirli bir ölçeğe genişlemesini geçici olarak sınırlamalı mıyız?"

Ancak daha sonra, genişlemeyi belirli bir noktada sınırlamak ve sonra tekrar sınırlamayı kaldırmak oldukça garip geldi. Bu nedenle, bir dizi eşik belirlemeye karar verdik. Model bir eşiğe ulaştığında, modelin ilgili güvenlik yeteneklerine sahip olup olmadığını değerlendirmek için bir dizi test yapılması gerekmektedir.

Her eşiğe ulaşıldığında, daha katı güvenlik ve koruma önlemleri alınmalıdır. Ancak, aslında baştan beri bir fikrimiz vardı: Bu işin üçüncü taraf tarafından yürütülmesi belki daha iyi olurdu. Yani bu politika, tek bir şirketin sorumlu olduğu bir politika olmamalıydı, aksi takdirde diğer şirketler bu politikayı benimsemeye istekli olmayabilirdi. Bu nedenle, Paul bu politikayı kişisel olarak tasarladı. Tabii ki, zaman içinde birçok detay değişti. Bizim ekibimiz ise bu politikanın daha iyi çalışmasını nasıl sağlayabileceğini araştırmaya devam etti.

Bu kavramı şekillendirdikten sonra, Paul neredeyse bu kavramı duyurur duyurmaz, biz de kendi versiyonumuzu bir veya iki ay içinde yayınladık. Aslında, ekibimizdeki birçok üye bu sürece derinlemesine dahil oldu. Kendimin en azından bir taslağı yazdığımı hatırlıyorum, ancak tüm belge birkaç kez revize edildi.

Tom Brown: "RSP, Anthropic için bir tür 'anayasalı' gibidir. Bu, yol gösterici nitelikte bir temel belge olduğundan, doğruluğunu ve kusursuzluğunu sağlamak için büyük çaba ve zaman harcamaya istekliyiz."

Daniela Amodei: "Bence, RSP'nin Anthropic'in gelişimi sürecinde gerçekten çok ilginç bir rolü var. Birkaç aşamadan geçti ve uygulanmasını sağlamak için farklı becerilere ihtiyaç duyuyor. Örneğin, bazı büyük fikirler var, bu kısmen Dario, Paul, Sam ve Jared gibi kişiler tarafından ele alınıyor, onlar, 'Temel prensiplerimiz nedir? Hangi mesajı iletmek istiyoruz? Yolumuzun doğru olduğunu nasıl belirleyebiliriz?' gibi konuları düşünüyorlar."

Ancak bunun dışında, çok pratik bir iş düzeyinde çalışma da var, sürekli olarak yapılan geri bildirimlerle bazı ayrıntıları değerlendirme ve ayarlama süreci gibi. Örneğin, belirli bir güvenlik seviyesinde belirli hedeflere ulaşmayı bekliyorduk, ancak bunu başaramazsak, yeniden değerlendiririz ve iş sonuçlarımızdan sorumlu olabileceğimizden emin oluruz.

Ayrıca, organizasyon yapısıyla ilgili birçok ayarlama da var. Örneğin, RSP'nin organizasyon yapısını yeniden tasarlamaya karar verdik, bu da sorumlulukların daha net bir şekilde ayrılmasını sağlıyor. Bu belgeyi anlamlı kılan öneme benzer şekilde Anayasa'yı kullanmayı seviyorum. Amerika'nın Anayasa'yı uygulamak için Mahkeme, Yüksek Mahkeme, Başkan, Senato, Temsilciler Meclisi gibi bir dizi kurum ve kuruluş oluşturduğu gibi. Bu kurumlar diğer sorumlulukları da üstlense de varlıklarının büyük ölçüde Anayasa'yı korumak için olduğu gibi, biz Anthropic'teki RSP' de benzer bir süreçten geçiyoruz.

Sam McCandlish:「Aslında bu, güvenlik konusundaki temel bakış açımızı yansıtıyor: Güvenlik sorunları çözülebilir.」 Bu çok karmaşık ve zor bir görevdir ve büyük miktarda zaman ve enerji gerektirir.

Otomobil güvenliği alanında olduğu gibi, ilgili kurumlar ve kuruluşlar yıllar süren gelişim sürecinden geçerek oluşturulmuştur. Ancak karşı karşıya kaldığımız sorun şu: Bu işleri tamamlamak için yeterince vaktimiz var mı? Bu nedenle, AI güvenliği için gerekli olan temel kurumları hızlı bir şekilde belirleyip burada öncülük etmeli ve bu kurumların diğer yerlerde benimsenip yayılmasını sağlamalıyız.

Dario Amodei:「Bu aynı zamanda iç organizasyonda işbirliğine de katkıda bulunuyor, çünkü eğer organizasyonun herhangi bir parçası güvenlik değerlerimize uygun davranmıyorsa, RSP bir şekilde sorunu ortaya çıkaracaktır, değil mi? RSP, güvenlik standartlarına uymayan planları ilerletmelerini engelleyecektir. Bu nedenle, herkesi sürekli hatırlatan bir araç haline gelir ve güvenliğin ürün geliştirme ve planlama sürecinde temel bir gereklilik olduğundan emin olur. Biz, boş sloganlar söylemiyoruz, güvenliği her adımda gerçekten içselleştiriyoruz. Eğer yeni katılan biri bu prensipleri kabul etmezse, kendisini buraya entegre edemediğini fark eder. Bu yöne uyum sağlamak zorundadır ya da devam etmesinin zor olacağını fark eder.」

Jack Clark:「Zamanla, RSP giderek önem kazanmaya başladı. Binlerce saat çalışmamıza emek verdik ve Senatörlere RSP'yi açıklarken şunu söyledim:「Teknolojimizin kötüye kullanılmasını önleyen ve aynı zamanda güvenliği sağlayan önlemler aldık.」 Genellikle verdikleri yanıt şudur:「Bu oldukça normal geliyor. Her şirket böyle yapmıyor mu zaten?」 Bu beni biraz gülerek ağlatıyor, aslında her şirket bunu yapmıyor.」

Daniela Amodei：「Ayrıca, RSP'nin, ekip değerlerinin tutarlılığını teşvik etmenin ötesinde, şirketin şeffaflığını artırdığını düşünüyorum. Çünkü amacımızın ne olduğunu net bir şekilde kaydettiği için, şirket içinde herkes anlayabilir ve aynı zamanda dışarıdaki insanlar güvenlik hedefimizi ve yönelimimizi net bir şekilde bilebilirler. Henüz mükemmel olmasa da sürekli olarak optimize etmeye ve geliştirmeye devam ediyoruz.」

Benim için açıkça belirtmek "odaklandığımız temel sorunun ne olduğunu", iş ilerlemesine "güvenlik" kelimesini istediğimiz gibi kullanamayız, örneğin "güvenlik sorunu nedeniyle bir şey yapamayız" veya "güvenlik sorunu nedeniyle bir şey yapmalıyız." Gerçek amacımızın herkesin neyi kastettiğimizi net bir şekilde anlamasını sağlamak olduğunu düşünüyorum.

Dario Amodei：「Uzun vadede, gerçekten güvenliği tehlikeye atan şey genellikle bu sık sık yapılan 'güvenlik tatbikatları'dır. Daha önce şunu demiştim: 'Eğer haftada bir bina varsa ve her seferinde yangın alarmı çalıyorsa, bu aslında çok güvensiz bir binadır.' Çünkü gerçek bir yangın olduğunda kimse umursamayabilir, alarmın doğruluğuna ve kalibrasyonuna çok dikkat etmemiz gerekiyor.」

Chris Olah：「Başka bir açıdan bakıldığında, RSP'nin birçok düzeyde sağlıklı teşvik mekanizmaları oluşturduğunu düşünüyorum. Örneğin, şirket içinde, RSP her ekibin teşvik mekanizmasını güvenlik hedefleriyle uyumlu hale getirir, bu da güvenlik açısından yeterli ilerleme kaydedilmediğinde ilgili çalışmanın durdurulacağı anlamına gelir.」

Dışarıdan bakıldığında, RSP diğer yöntemlere göre daha sağlıklı teşvik mekanizmaları yaratabilir. Örneğin, bir gün önemli adımlar atmamız gerektiğinde, 'modelimizin belirli bir aşamaya geldiğini ancak güvenliğini henüz garanti edemediğimizi kabul etmek zorunda kaldığımızda', RSP bu kararı destekleyen net bir çerçeve ve kanıt sağlar. Bu çerçeve önceden mevcuttur ve net ve anlaşılır bir şekilde ortaya konmuştur. RSP'nin erken versiyonları hakkında konuştuğumuzda, potansiyelini tam olarak fark etmemiş olabilirim, ancak şimdi diğer yöntemlerden daha etkili olduğunu düşünüyorum.」

Jared Kaplan：「Bu görüşlere katılıyorum, ancak doğru politikaların oluşturulması, standartların değerlendirilmesi ve sınırların belirlenmesi konusundaki zorlukları hafife aldığımızı düşündüğümü düşünüyorum. Bu konularda birçok iterasyon yaptık ve hala optimize etmeye devam ediyoruz. Zor bir sorun, bazı yeni teknolojiler için, bazen neyin tehlikeli neyin güvenli olduğunu net bir şekilde belirlemek zordur. Çoğu zaman devasa bir gri alanla karşılaşırız. Bu zorluklar, RSP'nin geliştirilmesinde ilk başlarda çok heyecanlandığımı ama hala aynı şekilde heyecan duyduğumu gösterdi. Ancak bu arada, bu stratejiyi net bir şekilde uygulamanın ve gerçekten işe yarattığını görmek için daha karmaşık ve zorlu olduğunu başlangıçta düşündüğümden daha fazla fark ettim.」

Sam McCandlish：「Gri Bölge, tam olarak kestirilemeyen bir yerdir çünkü her yerdedir. Gerçekten uygulamaya başladığınızda sorunların nerede olduğunu keşfedebilirsiniz. Bu nedenle, amacımız tüm içeriği mümkün olan en erken aşamada uygulamaktır, böylece potansiyel sorunları en kısa sürede bulabiliriz.」

Dario Amodei：「Gerçekten mükemmel olabilmek için üç ila dört kez iterasyon yapmanız gerekiyor, iterasyon son derece güçlü bir araçtır, neredeyse hiçbir zaman ilk seferinde tamamen doğru yapamazsınız, bu yüzden karşılaştığınız riskler sürekli artıyorsa, bu iterasyonları mümkün olan en erken aşamada tamamlamanız gerekiyor, sona kadar beklemeyin.」

Jack Clark：「Aynı zamanda, şirket içinde bir kurum kültürü ve iş akışı oluşturmanız da gereklidir. Belirli ayrıntılar zamanla değişebilir, ancak takımın iş yürütme kapasitesini geliştirmek en önemlisidir.」

Tom Brown：「Anthropic'in hesaplama kaynakları yönetiminden sorumluyum, benim için dış paydaşlarla iletişim kurmamız gerekiyor, farklı dış paydaşlar teknolojinin gelişim hızına farklı bakış açılarına sahiptir. Ben de başlangıçta teknolojinin bu kadar hızlı gelişmeyeceğini düşündüm, ancak sonradan fikrim değişti, bu nedenle bu konuyu çok iyi anlıyorum. RSP'nin benim için özellikle yararlı olduğunu düşünüyorum, özellikle teknolojinin yavaş gelişeceğini düşünen insanlarla iletişimde; Onlara şunu söyleyebiliriz: 'Teknolojinin çok acil bir duruma ulaşmadan extreme güvenlik önlemleri almamıza gerek yok.' Eğer 'Benceşeyler uzun bir süre boyunca acil hale gelmeyecek.' derlerse, ben de şunu söyleyebilirim: 'Tamam, o zaman şu an için aşırı güvenlik önlemleri almamıza gerek yok.' Bu dış dünyayla iletişimi daha akıcı hale getiriyor.」

Jack Clark：「Peki, RSP'nin herkes üzerinde hangi alanlarda etkili olduğunu düşünüyorsunuz?」

Sam McCandlish：「Her şey değerlendirmeye dayalıdır, her ekip değerlendirme yapıyor. Örneğin, eğitim ekibiniz sürekli olarak değerlendirme yapmaktadır, bu modelin yeterince güçlü hale gelip gelmediğini belirlemeye çalışıyoruz ve bu modelin potansiyel bir tehlike oluşturup oluşturmadığını belirlemeye çalışıyoruz.」

Daniela Amodei：「Aslında bu, modelin performansını RSP standartlarına göre değerlendirmemiz gerektiği anlamına gelir, endişe duyabileceğimiz belirtilerin varlığını kontrol etmek içerir.」

Sam McCandlish：「Modelin en düşük kapasitesini değerlendirmek nispeten kolaydır, ancak modelin en yüksek kapasitesini değerlendirmek son derece zor olabilir. Bu nedenle, bu soruları yanıtlamak için büyük çaba harcadık: 'Bu model bazı tehlikeli görevleri yerine getirebilir mi? Düşünce haritaları, en iyi olay veya bazı araçlar gibi henüz düşünmediğimiz bazı yöntemler var mı, bu yöntemler modelin oldukça tehlikeli davranışları gerçekleştirmesini sağlar mı?'」

Jack Clark:「Politika oluşturma sürecinde, bu değerlendirme araçları çok yardımcı oluyor. Çünkü 'güvenlik' çok soyut bir kavramdır ve 'Şu modeli yayınlayabilir miyiz' dediğimde ve bir değerlendirme aracımız olduğunu söylediğimizde, o zaman politika yapıcılar, ulusal güvenlik uzmanları ve CBRN (kimyasal, biyolojik, radyolojik ve nükleer) alanındaki uzmanlarla işbirliği yapabilir, kesin değerlendirme standartları belirleyebiliriz. Bu belirli araçlar olmadan, bu işbirliği hiç gerçekleşmeyebilir. Ancak net standartlar olduğunda, insanlar katkıda bulunmaya daha istekli olur, doğruluğunu sağlamamıza yardımcı olur. Bu nedenle bu açıdan, RSP'nin rolü çok önemlidir.」

Daniela Amodei:「RSP benim için de çok önemli ve sık sık çalışmama etki ediyor. RSP hakkında düşünme şeklimin ilginç olduğunu düşünüyorum, daha çok onun 'tonu'ndan, yani ifade şeklinden geliyor. Yakın zamanda RSP'nin tonunu büyük ölçüde değiştirdik, çünkü önceki tonu çok teknikti ve hatta bazılarına karşıt bir his uyandırıyordu. Kendimi insanların katılımını isteyeceği bir sistem kurmak için çok zaman harcadım.」

Eğer RSP, herkesin kolayca anlayabileceği bir belgeyse, o zaman çok daha iyi olurdu. Şu anki OKR (Hedefler ve Anahtar Sonuçlar) belgemiz gibi. Örneğin, RSP'nin ana hedefi nedir? Hedefe ulaşıp ulaşmadığımızı nasıl anlarız? Mevcut AI Güvenlik Derecesi (ASL) nedir? ASL-2 mi yoksa ASL-3 mü? Herkesin odaklanması gereken konuları bildiği zaman, olası sorunları tespit etmek daha kolay olur. Aksine, eğer RSP çok teknikse ve sadece az sayıda insan anlayabiliyorsa, o zaman gerçek kullanımı büyük ölçüde azalır.

RSP'nin daha iyi anlaşılabilir bir yöne doğru ilerlediğini görmek beni mutlu ediyor. Şimdi, şirketteki çoğu insanın, hatta belki de herkesin, hangi pozisyonda olursa olsun, bu belgeyi okuyup, 'Bu makul. AI geliştirirken bu ilkelerin rehberliğini dilerim, bu sorunlara neden önem vermemiz gerektiğini de anlıyorum. İşimde bir sorunla karşılaşırsam, genel hatlarıyla neye dikkat etmem gerektiğini biliyorum' dediği bir belge olduğunu düşünüyorum. RSP'yi, fabrikada çalışan birinin 'Emniyet kemeri buraya bağlanmalı, ama şu anda burada bağlı değil' diyerek sorunu hızlıca fark etmesi kadar kolay hale getirmeyi umuyoruz.

Temel nokta, sağlıklı bir geri bildirim mekanizması oluşturmaktır, böylece yönetim kadrosu, yönetim kurulu, şirketin diğer departmanları ve araştırma ve geliştirme çalışmalarını yürüten ekipler arasında sorunsuz iletişim sağlanabilir. Çoğu sorunun ortaya çıkma nedeni çoğu zaman iletişim eksikliği veya bilgi iletiminde sapma olduğundan eminim. Eğer sorunlar sadece bu nedenlerden kaynaklanıyorsa, bu çok üzücü olurdu, değil mi? Sonuç olarak, yapmamız gereken şey, bu prensipleri somutlaştırmak ve herkesin anlayabileceği şekilde basitleştirmektir.

Anthropic'ın Kuruluş Hikayesi

Sam McCandlish:「Aslında, aramızda şirket kurma niyetiyle başlayan kimse yoktu. Sadece bu sorumluluğun bizim üzerimize düştüğünü hissettik, çünkü yapılacak tek şey, yapay zekanın doğru yönde ilerlemesini sağlamaktı ve bu taahhüdü neden verdiğimizin sebebi de buydu.」

Dario Amodei:「İlk düşüncem oldukça basitti, sadece bir şekilde icat etmek ve keşfetmek istediğim yeni şeyler bulmak istedim. Bu düşünce beni yapay zeka alanına yönlendirdi ve yapay zeka araştırması çok miktarda mühendislik desteği gerektiriyor, sonuç olarak büyük miktarda finansal destek de gerekiyor.」

Ancak fark ettim ki bir şirket kurmak ve ortamı yönetmek için net bir hedef ve plan olmazsa, birçok şey tamamlanabilir ancak beni uzaklaştıran teknoloji endüstrisindeki hatalara neden olabilir. Bu hatalar genellikle aynı kişiden, aynı tutumdan ve aynı düşünce modelinden kaynaklanır. Bu yüzden bir noktada, bu işi yapmanın tamamen yeni bir şekilde yapılması gerektiğini anladım, neredeyse kaçınılmaz bir şeydi.」

Jared Kaplan:「Mezuniyet okulunda olduğumuz zamanları hatırlıyorum, senin bir kamuya yararlılık amacıyla bilimsel araştırma yoluyla keşfetmeye çalışan kapsamlı bir planın vardı. Bence bu şimdiki düşüncemizle oldukça benzer. O zamanlar 'Project Vannevar' adında bir projen vardı, bu amaca ulaşmayı hedefliyordu. Ben o zamanlar bir profesördüm, o zamanın durumunu inceledim ve yapay zekanın etkisinin son derece hızlı bir şekilde arttığını derin bir inançla fark ettim.」

Ancak, yapay zeka araştırmasının yüksek miktarda fon gerektirmesi ve bir fizik profesörü olarak, akademik araştırmanın bu ilerlemeleri desteklemek için tek başıma yeterli olamayacağını fark ettim. Güvenilir insanlarla birlikte çalışmak, yapay zekanın doğru yönde ilerlemesini sağlamak için bir kurum kurmak istiyordum. Ancak dürüst olmak gerekirse, kimseye bir şirket kurmayı önermem ve böyle bir arzum hiç olmadı. Benim için bu sadece bir hedefe ulaşmanın bir aracıydı. Genellikle, başarının anahtarı, dünyada anlamlı bir amaç gerçekleştirmeyi gerçekten önemsediğinizde, ardından bu amacı gerçekleştirmenin en iyi yolunu bulmaktan geçer.

Güven Kültürü Nasıl Oluşturulur

Daniela Amodei:「Takım olarak stratejik avantajlarımızı sık sık düşünüyorum, bunlardan biri biraz şaşırtıcı görünebilir ancak oldukça önemli olan bir faktör de yüksek düzeyde güven aramızdaki. Bir grup insanın ortak bir misyona sahip olmasını sağlamak çok zordur, ancak Anthropic'te bu misyonu giderek daha fazla insana başarılı bir şekilde iletebiliyoruz. Bu ekipte, liderlik dahil herkes, ortak misyon nedeniyle bir araya geliyor. Misyonumuz hem açık hem de saf, teknoloji endüstrisinde bu tür durumlar yaygın değildir.」

Benim gördüğüm, çabaladığımız hedefin saflıkla dolu bir anlamla dolu olduğu. Hiç kimse bir şirket kurmak için başlamadı. Sadece bunu yapmak zorunda olduğumuzu hissettik. Çalışmamızı eski yerimizde sürdüremezdik, bu yüzden işi kendi elimize almak zorundaydık.

Jack Clark: 「O zamanlar, GPT-3'ün ortaya çıkmasıyla ve hepimizin tanık olduğu veya dahil olduğu projelerle, örneğin ölçeklendirme yasaları gibi, 2020'de yapay zeka'nın gelişme eğilimini net bir şekilde gördük. Eğer hemen harekete geçmezsek, belki de dönüşü olmayan bir kritik noktaya çok yakında ulaşabiliriz. Bu çevreye etki etmek için harekete geçmeliyiz.」

Tom Brown: 「Daniela'nın görüşlerine devam etmek istiyorum, gerçekten de ekip içinde büyük bir güven var. Her birimiz açıkça biliyoruz ki bu ekibe katıldık çünkü dünyaya katkıda bulunmak istiyoruz. Gelirimizin %80'ini topluma fayda sağlayacak teşebbüslere bağışlama taahhüdü de dahil olmak üzere, bu doğal olarak desteklediğimiz bir konu: 'Evet, elbette yapacağız.' Bu tür bir güven çok özel ve nadir bir şeydir.」

Daniela Amodei: 「Bence Anthropic çok az politik olana sahip bir şirket. Elbette bakış açımız genel halktan farklı olabilir, kendime bunu sürekli hatırlatıyorum. İşe alım sürecimiz ve ekip üyelerinin özellikleri, buradaki kültürü 'ofis siyaseti'ne karşı neredeyse doğal bir şekilde dirençli hale getiriyor.」

Dario Amodei: 「Ve ekip ruhu, ekip ruhu hayati derecede önemlidir. Ürün ekibi, araştırma ekibi, güvenlik ekibi, pazarlama ekibi veya politika ekibi olsun, herkes şirketin ortak bir hedefine ulaşmak için çalışıyor. Şirket içinde farklı bölümlerin tamamen farklı hedeflere sahip olması genellikle karmaşaya yol açar. Başka bir bölümün kendi çalışmalarını sabote ettiğine inanıyorsa, bu son derece anormal bir durumdur.」

Benim düşünceme göre, en önemli başarılarımızdan biri şirketin bütünlüğünü başarılı bir şekilde korumaktır. Bu tür bir mekanizma olan RSP gibi şeyler burada önemli bir rol oynar. Bu mekanizma, şirket içinde bazı bölümlerin sorunlar yaratıp diğer bölümlerin sorunları düzeltmeye çalıştığı bir durumun olmadığından emin olur. Bunun yerine, tüm bölümlerin kendi işlevlerini yerine getirdiği, aynı zamanda birleşik bir değişim teorisi çerçevesi altında işbirliği yaptığı bir ortam sağlar.」

Chris Olah:「Başlangıçta OpenAI'e katılmamın nedeni, orada yapay zeka güvenliği araştırmasına odaklanabileceğim kar amacı gütmeyen bir organizasyon olmasıydı. Ancak zamanla, bu modelin benim için tamamen uygun olmadığını fark etmeye başladım ve bu da beni bazı zor kararlar almaya zorladı. Bu süreçte Dario ve Daniela'nın takdirine çok güveniyordum, ancak ayrılmak istemiyordum. Daha fazla yapay zeka laboratuvarı kurmanın dünyaya faydalı olmayabileceğini düşündüğüm için ayrılmaktan çok tereddüt ediyordum.」

Sonunda ayrılma kararını verdiğimizde, hala bir şirket kurmaya karşı çekingen kaldım. Daha önce bir kar amacı gütmeyen kuruluş kurmamız gerektiğini savunmuştum. Ancak sonunda, pratik olan tutum ve gerçeklik kısıtlamalarıyla yüzleşmek bize hedeflerimize ulaşmanın en iyi yolunun Anthropic'i kurmak olduğunu anlamamızı sağladı.

Dario Amodei:「Öğrendiğimiz önemli bir ders şuydu: Vaadlerde bulunmaktan kaçının, vaatlerinizi yerine getirin. Gerçekçi olun, gerçekleri kabul edin ve dengeleme yapın, çünkü güven ve itibar herhangi bir politikadan daha önemlidir.」

Daniela Amodei:「Anthropic'in benzersizliği, takımın yüksek düzeyde güvenine ve uyumuna dayanmaktadır. Örneğin, Mike Krieger'ın güvenlik nedeniyle belirli ürünleri piyasaya sürmekte direnirken, Vinay'ın iş gereksinimlerini dengelemek için projeyi ilerletme konusundaki tartışmalarını gördüğümde çok özel hissettim. Ayrıca, teknik güvenlik ekibi ve akıl yürütme ekibinin mühendisleri de ürünün hem güvenli hem de kullanışlı olmasını nasıl sağlayacakları konusunda tartışıyorlar. Bu ortak hedef ve uygulamalı tutum, Anthropic çalışma ortamının en çekici özelliklerinden biridir.」

Dario Amodei:「Bir kuruluşun sağlıklı kültürü, herkesin ortak karşı karşıya olduğu dengelemenin anlaşılmasını ve kabul edilmesini sağlayabilmesindedir. Yaşadığımız dünya mükemmel değildir, her karar farklı çıkarlar arasında denge bulmayı gerektirir ve bu denge genellikle tamamen tatmin edici olamaz. Ancak, tüm ekip ortak bir hedefte bir araya geldiğinde, bu dengelemelerle yüzleşebilir ve herkes kendi pozisyonundan bütünsel hedefe katkıda bulunabilirse, bu sağlıklı bir ekosistemdir.」

Sam McCandlish:「Belirli bir açıdan bakıldığında, bu bir "yukarı yönlü yarış"tır. Evet, kesinlikle bu bir "yukarı yönlü yarış"tır. Bu tamamen risksiz bir seçenek olmasa da, işler ters gidebilir, ancak hepimiz şunun farkındayız: "Bu yaptığımız seçimdir."」

AI Zirvesine Doğru Yarış

Jack Clark:「Ancak pazar temelde pragmatiktir, bu nedenle Anthropic şirketi ne kadar başarılı olursa, diğer insanlar da bizi başarılı kılan uygulamaları taklit etmek için o kadar motive olur. Ayrıca, başarımız gerçek güvenlik çalışmamızla sıkı bir şekilde ilişkili olduğunda, bu başarı endüstride bir 'çekim' oluşturacak ve diğer şirketleri de bu yarışa katılmaya teşvik edecektir. Güvenlik kemeri geliştirdiğimiz gibi, diğer şirketler de taklit edebilir, bu sağlıklı bir ekosistemdir.」

Dario Amodei:「Ancak, 'Bu teknolojiyi geliştirmeyeceğiz ve başkalarından daha iyi yapamazsınız.' derseniz, bu yaklaşım işe yaramaz, çünkü mevcuttan geleceğe giden yolun geçerli olduğunu kanıtlamamışsınız demektir. Dünya, hem endüstrinin hem de belirli bir şirketin, toplumun 'teknoloji yok' durumundan 'teknolojinin güçlü bir şekilde var olduğu ve toplum tarafından etkin bir şekilde yönetildiği' duruma nasıl geçeceğini bulmalıdır. Bu hedefe ulaşmanın tek yolu, tek bir şirket düzeyinde, hatta nihayetinde tüm endüstri düzeyinde bu denge sorunlarıyla yüzleşmektir.」

Hem rekabetçiliği sürdürebilme, endüstride bazı alanlarda öncülük etme hem de teknolojinin güvenliğini sağlama konusunda bir denge bulmalısınız. Bunu başarabilirseniz, endüstriye olan çekiciliğiniz çok güçlü olacaktır. Düzenleyici ortamdan, farklı şirketlere katılmak isteyen yetenekli iş gücüne, hatta müşteri görüşüne kadar, tüm bu faktörler endüstriyi aynı yöne doğru hareket ettirecektir. Rekabetçiliği tehlikeye atmadan aynı zamanda güvenliği sağlayabilme yeteneğinizi kanıtlayabilirseniz, yani kazan-kazan çözümleri bulabilirseniz, diğer şirketler de bu uygulamayı benimseyerek motive olacaklardır.

Jared Kaplan:「Bence bu, RSP gibi mekanizmanın neden bu kadar önemli olduğunu anlatıyor. Teknolojinin gelişim yönünü net bir şekilde görebiliyor ve belirli sorunların üzerinde titizlikle durulması gerektiğini fark edebiliyoruz, ancak aynı zamanda 'Kurt geldi' yanılgısına düşmekten kaçınmalıyız ve sadece 'İnovasyon burada durmalı.' dememeliyiz. AI teknolojisinin müşterilere faydalı, yenilikçi ve keyifli bir deneyim sunmasına izin veren bir yol bulmalıyız, ancak aynı zamanda sistemlerin güvenliğini sağlamak ve diğer şirketlerin de güvenli bir zeminde başarı elde edebileceklerine inanmaları için gerekli kısıtlamalara bağlı kalmalıyız.」

Dario Amodei:「Birkaç ay sonra, RSP'yi piyasaya sürdüğümüzde, üç önde gelen AI şirketi de benzer mekanizmaları hızla başlattı. Açıklanabilirlik araştırması, başka bir alanda çığır açtığımız bir başka alan oldu. Ayrıca, AI güvenliği araştırma kuruluşlarıyla işbirliği yaptık ve bu genel güvenlik odaklanması derin etkiler yaratmaktadır.」

Jack Clark: "Evet, Frontier Red Team neredeyse hemen diğer şirketler tarafından taklit edildi. Bu iyi bir şey, tüm laboratuvarların olası yüksek riskli güvenlik sorunlarını test etmelerini umuyoruz."

Daniela Amodei: "Jack daha önce de belirttiği gibi, müşteriler güvenlik konusunda çok endişeli. Müşteriler modele yanıltıcı veriler üretmesini istemiyorlar, aynı zamanda modele güvenlik sınırlarını aşmak da kolay olmasın istemiyorlar. Müşteriler, modelin yararlı ve zararsız olmasını istiyorlar, sıklıkla müşteri iletişiminde onların 'Claude'ı seçiyoruz, çünkü daha güvenli olduğunu biliyoruz' dediklerini duyuyoruz. Bence, bu pazar üzerinde büyük etkisi var. Güvenilir ve güvenilir bir model sunabilmemiz, rakiplere ciddi bir pazar baskısı da getiriyor."

Chris Olah: "Belki de Dario'nun görüşlerini daha da genişletebiliriz. Bir görüşe göre, en etik davranış 'asil bir başarısızlık'tır. Yani, güvenlik için diğer hedefleri feda etmelisiniz, hatta kendinizi gerçekçi olmayan bir şekilde davranarak göstermelisiniz, böylece kariyerinize olan safiyetinizi göstermek için. Ancak, bence, bu yaklaşım aslında kendi kendini bozmaktır."

İlk olarak, bu yaklaşım karar alma yetkisini güvenliği göz ardı eden, güvenliği öncelikli olarak düşünmeyen kişilere devreder. Diğer taraftan, eğer zorlu kararları destekleyen en güçlü kanıtlara dayalı olarak teşvik mekanizmalarını hizalama yolu arıyorsanız, zorlu kararları en etkili şekilde destekleyen yerlere yerleştirme ve en etkili kanıtlara dayanma yolunu bulmak, o zaman Dario'nun bahsettiği 'yukarı doğru yarışmayı' tetikleyebilirsiniz. Bu yarışmada, güvenliği umursamayanlar marjinalleştirilir ve diğerleri sizin adımlarınıza zorla ayak uydurmak zorunda kalır, bu yarışmaya katılır."

Yapay Zeka'nın Geleceğine Bakış

Jack Clark: "Peki, bundan sonraki yapacaklarımızla ilgili olarak, hepinizin heyecan duyduğu şey nedir?"

Chris Olah: "Açıklanabilirlik konusunda heyecan duyulacak birçok neden olduğunu düşünüyorum. Bir tanesi açıkça güvenlik endişesinden kaynaklanır, ancak başka bir neden daha var, benim duygusal bir düzeyde heyecanlanmamı sağlayan ya da anlamamı sürükleyen o da şu: Nöral ağların oldukça harika olduğunu düşünüyorum ve içlerinde henüz görmediğimiz birçok güzellik var. Genellikle sinir ağlarını bir siyah kutu olarak görüyoruz, iç yapılarına özel ilgi duymuyoruz, ancak bunları derinlemesine incelediğinizde, içlerinin hayret verici yapılarla dolu olduğunu keşfedeceksiniz."

Bu, insanların biyolojiye yaklaşımlarının biraz benzemesine benziyor, bazı insanlar "evrim sıkıcı, uzun bir süre çalışan basit bir süreçtir ve sonra hayvanların yaratılmasına yol açar" gibi düşünebilirler. Ancak gerçekte, evrim tarafından yaratılan her hayvan şaşırtıcı bir karmaşıklık ve yapıyla doludur. Ve ben, evrimin bir tür optimizasyon süreci olduğunu düşünüyorum, nöral ağları eğitmek gibidir. Nöral ağların içinde aynen "yapay biyoloji"ye benzer karmaşık yapılar var. Bunları derinlemesine incelemeye istekliyseniz, karşınıza çıkacak birçok şaşırtıcı şey olduğunu göreceksiniz.

Ben, hen yeni gizemi yavaş yavaş açmaya başladığımızı hissediyorum. İçinde keşfetmeyi bekleyen çok şey var, inanılmaz derecede şaşırtıcı. Büyük kapısını yeni açmaya başladık ve bundan sonra yapacağımız keşiflerin çok heyecan verici ve harika olacağını düşünüyorum. Bazen hayal ediyorum, on yıl sonra bir kitapçıya girip nöral ağların açıklanabilirliği hakkında bir ders kitabı veya gerçekten nöral ağların "biyolojisi" hakkında bir kitap satın alacağımı ve kitapta hayret verici şeyler olacağını düşünüyorum. Gelecek on yılda, hatta birkaç yıl içinde, bu şeyleri gerçekten keşfetmeye başlayacağımıza inanıyorum, bu çılgın ve şaşırtıcı bir yolculuk olacak.

Jack Clark: "Birkaç yıl önce, biri çıksa da, 'Hükümet yapay zeka sistemlerini test etmek ve değerlendirmek için yeni kurumlar kuracak, ve bu kurumlar çok profesyonel olacak ve etkili olacak.' deseydi, bunun gerçek olduğuna inanmazdınız. Ama bu gerçekleşti. Hükümet, bu yeni teknoloji kategorisine karşı başa çıkma yeteneğine sahip 'yeni elçilikler' oluşturdu diyebiliriz, bu nereye gideceğini görmek için sabırsızlanıyorum. Bence bu aslında ulusların bu tür bir toplumsal dönüşüme başa çıkma yeteneği kazandığı anlamına geliyor, sadece şirketlere dayanmıyorlar ve bunun için dahil olabildiğim için çok mutluyum."

Daniela Amodei: "Şu anda bundan çok heyecan duyuyorum ama sadece gelecekte yapay zekanın insanlık adına neler yapabileceğini düşünmek, heyecanlanmamak imkansız. Şu anda Claude'ün bile aşı geliştirmeye, kanser araştırmasına ve biyolojik araştırmalara yardımcı olma belirtileri çok inanılmaz. Şu anda yapabildikleri şeyler bile şaşırtıcıken, üç beş yıl sonra Claude'ün gerçekten insanlık olarak karşı karşıya olduğumuz temel sorunlardan birçokını çözebileceğini hayal etmek, özellikle sağlık alanında, beni çok heyecanlandırıyor. Geçmişte uluslararası kalkınma çalışmaları yaptığım günleri hatırlıyorum, o zamanlar Claude o zamanki verimsiz işimi yapmama yardımcı olabilseydi, ne kadar harika olurdu."

Tom Brown: "Bence kişisel olarak, işimde Claude'ü kullanmaktan çok hoşlanıyorum. Bu yüzden son zamanlarda evde de sık sık Claude'ü kullanıp onunla bazı konuları konuşuyorum, en büyük değişiklik son zamanlarda kodlama oldu. Altı ay önce Claude'ü hiçbir programlama işini halletmek için kullanmamıştım, ekibimiz o zamanlar da pek kod yazmak için Claude kullanmıyordu, ancak durum şimdi büyük ölçüde değişti. Örneğin, Geçen hafta, Y Combinator'ın düzenlediği bir etkinlikte konuşma yaptım. Başlarda, herkese sordum: 'Şu anda kimler programlama için Claude kullanıyor?' Sonuçta neredeyse herkes el kaldırdı. Hemen hemen salondaki herkes el kaldırdı, bu dört ay öncesindeki durumla tamamen farklıydı."

Dario Amodei：「Ben heyecanlandığım şeyleri düşündüğümde, bunlardan biri, daha önce bahsettiğim ve artık bir fikir birliği sağlandığına dair görünen ancak aslında bu fikir birliğinin yakında yıkılacağı bir alan olan açıklanabilirlik. Açıklanabilirlik sadece yapay zeka sistemlerini yönlendirmenin ve güvenliğini sağlamanın temel bir unsuru olmanın ötesinde, aynı zamanda zekayla ilgili optimizasyon sorunları ve insan beyninin işleyişi hakkında derinlemesine bir anlayış içerir. Gelecekte Chris Olah'ın Tıp Nobel Ödülü alacağını söylemiştim.」

Geçmişte bir nörolog olduğum için, hala çözemediğimiz birçok psikolojik sorunun, şizofreni veya duygudurum bozuklukları gibi, belirli bir daha yüksek düzeydeki sistem sorunuyla ilişkili olduğunu düşünüyorum. Ancak insan beyninin karmaşıklığı ve doğrudan araştırılabilirliği zorluğu nedeniyle, bu sorunların tamamen anlaşılması oldukça zordur. Yine de sinir ağları mükemmel bir benzetme olmasa da, insan beyni kadar çözülemeyen ve etkileşimde bulunulamayan yapılar barındırmazlar. Zamanla, sinir ağları daha iyi bir benzetme aracı haline gelecektir.

Bağlantılı bir diğer alan, yapay zekanın biyolojide kullanımıdır. Biyoloji son derece karmaşık bir konudur ve hala birçok nedenle insanlar buna şüpheyle yaklaşmaktadır, ancak bu şüphenin fikir birliği yavaş yavaş çözülmeye başladığını düşünüyorum. Kimya alanında AlphaFold'a Nobel Kimya Ödülü verildiğini gördük, bu muazzam bir başarıydı, ve yüzlerce 'AlphaFold' yaratmamıza yardımcı olabilecek araçları geliştirmek için çaba harcamalıyız.

En son olarak, demokrasinin güçlendirilmesi için yapay zekayı kullanma. Yanlış şekilde geliştirilirse, yapay zeka otoriterliğin bir aracı haline gelebileceği endişesi taşıyoruz. Peki, yapay zekayı özgürlüğü ve kendi kendine yönetimi teşvik eden bir araç haline nasıl getirebiliriz? Bu alanın gelişiminin belki ilk iki alandan biraz önce olabileceğini düşünüyorum, ancak önemi bu iki alandan hiç de geri kalmaz.」

Jared Kaplan：「Sanırım en azından önceki düşüncelerinizle ilgili iki noktayı vurgulamak istiyorum. Birincisi, Antropik'e katılan birçok insanın nedeninin, yapay zeka bilimine büyük bir merak duymaları olduğunu düşünüyorum. Yapay zeka teknolojisinin ilerlemesiyle, insanlar yalnızca teknolojiyi ilerletmekle kalmamaları gerektiğine, aynı zamanda onu daha derinlemesine anlamaları ve güvenliğini sağlamaları gerektiğine giderek daha çok katılıyorlar. Yapay zeka gelişimi ve sorumluluğuna ilişkin ortak vizyona sahip olma yolunda birlikte çalışabileceğimiz sayının artıyor olması, heyecan verici bir şeydir ve geçtiğimiz yılın başından itibaren yaşanan birçok teknolojik ilerleme, bu tür bir fikir birliğinin oluşumunu gerçekten hızlandırdı.」

Diğer bir yön ise, pratik meselelere geri dönmek gerekirse, yapay zeka güvenliği konusunda çok iş yapıldığını düşünüyorum. Ancak son yaşanan bazı gelişmelerle birlikte, olağanüstü yüksek seviyeli sistemlerin potansiyel risklerine dair bazı başlangıç ​​bakış açıları kazandık. Bu da bize, bu riskleri doğrudan inceleyip araştırabilmemizi sağlayan açıklanabilirlik araştırması ve diğer güvenlik önlemleri aracılığıyla bu riskleri azaltabileceğimizi gösteriyor.

Bu şekilde, ileri seviye AI sistemlerinin potansiyel risklerini daha net anlayabiliriz, bu da misyonumuzu daha bilimsel ve kanıta dayalı bir şekilde ilerletmemizi sağlayacaktır. Bu nedenle, önümüzdeki altı ay boyunca çok heyecanlıyım, ileri seviye sistemlerin potansiyel sorunlarına yönelik anlayışımızı kullanarak, bu tuzaklardan kaçınmanın yollarını daha da araştıracağız.

Orijinal Video Bağlantısı

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia