Partnered With:

Transformer'ın sekiz kurucusu dokuz yıl sonra: Google hiçbirini elinde tutamadı

Bu makaleyi okumak için 48 Dakika

Sekiz yazar, dokuz yılın ardından Google'dan ayrılarak her biri kendi cevaplarını aramaya koyuldu.

Orijinal Başlık: "Transformer'ın Sekiz Ebeveyni Şimdi Nerede?"
Orijinal Kaynak: Makine Zihni

18 Haziran'da, Transformer makalesinin ortak yazarlarından Noam Shazeer, X'te ayrıldığını ve OpenAI'e katıldığını duyurdu. İki gün sonra, 2024 Nobel Kimya Ödülü sahibi ve AlphaFold ekibinin lideri John Jumper da Google DeepMind'dan ayrıldığını ve gideceği yerin Anthropic olduğunu açıkladı.

Bu iki haber peş peşe gelince, sermaye piyasalarında büyük bir tepki oluştu: Google'ın ana şirketi Alphabet'in hisse fiyatı bir ara %7'den fazla düştü ve piyasa değeri 300 milyar doların üzerinde buharlaştı. Birçok analiz kuruluşu bu satış dalgasını "yetenek göçüne" bağladı. D.A. Davidson analisti Gil Luria, Shazeer'in OpenAI'e, Jumper'ın ise Anthropic'e katılmasıyla peş peşe ayrılmalarının, piyasada Google'ın AI yetenek savaşında geride kaldığı endişesini yarattığını söyledi.

Shazeer'in bu ayrılışı özellikle dikkat çekici—bu onun Google'dan ikinci kez ayrılışı.

2021'de, şirketin kendi liderliğinde geliştirdiği sohbet robotunu kamuya açıklamak istememesine kızarak ayrıldı ve Character.AI'yi kurdu; Ağustos 2024'te Google, Character.AI'nin teknoloji lisansını yaklaşık 2,7 milyar dolara satın alarak onu DeepMind'a geri getirdi ve Gemini projesinin mühendislik başkan yardımcısı yaparak Jeff Dean ile birlikte projeyi yönetmesini sağladı. İki yıldan kısa bir süre sonra yine ayrıldı, bu sefer gittiği yer baş düşmanı OpenAI oldu.

Böylece, dokuz yıl önce yayımlanan "Attention Is All You Need" makalesinin sekiz ortak yazarının tamamı Google'dan ayrılmış oldu.

Kullanıcı Tyler Maran, şu anki durumlarını bir araya getiren bir görsel hazırladı ve bu görsel sosyal ağlarda çılgınca paylaşıldı.

Ancak bu görsel yakında güncelliğini yitirebilir. Son iki gün içinde piyasada, Nvidia'nın Essential AI'nin çekirdek ekibini sessizce bünyesine kattığı söylentileri dolaşıyor; bu ekipte Transformer makalesinin yazarlarından biri ve Essential AI'nin kurucu ortağı ve CEO'su Ashish Vaswani de yer alıyor. Yazı yayına hazırlanırken, Nvidia ve Essential AI bu konuda resmi bir yanıt vermedi.

Bu fırsatı değerlendirerek, 'Transformer'ın Babaları' olarak adlandırılan bu sekiz kişinin dokuz yıllık kariyer geçmişlerini ve şu anki gerçek konumlarını eksiksiz bir şekilde inceleyelim.

Belirtmek gerekir ki, Attention Is All You Need makalesindeki yazar sıralaması rastgeledir. Makalenin dipnotunda açıkça belirtildiği gibi: Tüm yazarlar eşit katkıda bulunmuştur, sıralama rastgeledir, bu nedenle 'ilk yazar' veya 'sorumlu yazar' gibi bir kavram yoktur. Bu yazıda da makaledeki orijinal imza sırasına göre bu sekiz kişiyi sırayla tanıtacağız.

'Her Şeyin Kökeni': Sekiz Sıradışı Google Çalışanı

Bugünkü konumlarını anlamak için önce 2017 yılına dönmemiz gerekiyor. O zamanlar, makine çevirisi alanında yaygın olan yaklaşım Tekrarlayan Sinir Ağlarıydı (RNN). Modeller, cümleleri kelime kelime sırayla işlemek zorundaydı, tıpkı tek şeritli bir yolda sırayla karşıdan karşıya geçmek gibi. Paralel hesaplama mümkün değildi ve eğitim hem yavaş hem de maliyetliydi.

Google Brain'deki sekiz kişi, neredeyse cüretkar bir fikri denemeye karar verdi: Tekrarlayan yapıyı tamamen atmak ve yalnızca 'dikkat mekanizmasını' bırakmak. Modelin cümlenin tamamını bir kerede görmesini ve hangi kelimeye odaklanması gerektiğine kendisinin karar vermesini sağlamak. Makale başlığındaki 'Attention Is All You Need' ifadesi, Beatles'ın All You Need Is Love şarkısından esinlenmiştir ve daha sonra birçok makale başlığı için taklit edilen bir biçim haline gelmiştir.

Makalenin yazar katkı açıklaması, her bir kişinin tam olarak ne yaptığını kısaca kaydeder:

· Jakob Uszkoreit, kendi kendine dikkat mekanizmasının tekrarlayan yapıların yerine kullanılmasını ilk öneren kişiydi ve bu fikrin erken doğrulamasına öncülük etti.

· Ashish Vaswani ve Illia Polosukhin, ilk Transformer modelini birlikte tasarladı ve uyguladı; projenin neredeyse her aşamasında yer aldılar.

· Noam Shazeer, ölçeklendirilmiş nokta çarpım dikkati, çok başlı dikkat mekanizması ve parametresiz konum temsili yöntemini önerdi; kendisi de neredeyse her şeyle bizzat ilgilenen bir diğer kişiydi.

· Niki Parmar, orijinal kod tabanında ve daha sonraki tensor2tensor çerçevesinde sayısız model varyantını tasarladı, uyguladı ve hata ayıkladı;

· Llion Jones da birçok yeni model varyantını denedi ve orijinal kod tabanı, çıkarım verimliliği optimizasyonu ve görselleştirme çalışmalarından sorumluydu;

· Łukasz Kaiser ve Aidan N. Gomez, tensor2tensor'ün çeşitli modüllerini oluşturmak, erken kod tabanını değiştirmek ve deneysel sonuçlar ile araştırma verimliliğini büyük ölçüde artırmak için sayısız gün ve gece harcadı.

Bu açıklama aynı zamanda bir detayı dolaylı olarak ortaya koyuyor: Makaledeki yazar sıralaması rastgele olmasına rağmen, Uszkoreit, Vaswani, Polosukhin ve Shazeer'in mimari düzeyde daha merkezi roller üstlendiği, Parmar, Jones, Kaiser ve Gomez'in ise mühendislik uygulaması ve sistem kurulumunda bayrağı taşıdığı açıktır – bu, sekiz kişinin daha sonra farklı yollar seçerken kişilik ve uzmanlık farklılıklarının erken bir göstergesidir.

"Transformer" adının kendisinin de bir anekdotu vardır. Uszkoreit bu kelimenin telaffuzunu beğendi ve ekip içinde kendilerine "Team Transformer" adını verdiler; erken tasarım belgelerinin kapağında Transformers animasyonundan altı karakterin çizimi vardı.

Makale yayımlandığından bu yana, atıf sayısı 260.000'i aştı ve 21. yüzyılın en çok atıf alan makalelerinden biri oldu.

Ashish Vaswani

Vaswani, 1986 doğumlu, Hintlidir. 2002 yılında Hindistan'daki Birla Teknoloji Enstitüsü'nden (BIT Mesra) Bilgisayar Bilimleri lisans derecesini aldı, ardından ABD'ye giderek Güney Kaliforniya Üniversitesi'nde David Chiang'in danışmanlığında doktorasını tamamladı; araştırma alanı istatistiksel makine çevirisi ve sinir ağı dil modellemesiydi. Doktorasını bitirdikten sonra, Güney Kaliforniya Üniversitesi Bilgi Bilimleri Enstitüsü'nde iki yıl bilgisayar bilimcisi olarak çalıştı ve 2016'da Google Brain'e araştırma bilimcisi olarak katıldı; 2021'e kadar burada çalıştı.

Makalenin yazar katkı açıklamasına göre, Vaswani, Illia Polosukhin ile birlikte orijinal Transformer modelini tasarladı ve uyguladı; "projenin neredeyse her aşamasına katılan" kilit isimlerden biriydi.

Google'dan ayrıldıktan sonra Vaswani, 2021 yılında Niki Parmar ve eski OpenAI Mühendislik Başkan Yardımcısı David Luan ile birlikte Adept AI'yı kurdu ve baş bilim insanı olarak görev yaptı. Amaç, herhangi bir yazılımda bağımsız olarak işlem yapabilen "davranış modelleri" geliştirmekti.

Adept, bir ara 400 milyon doların üzerinde fon topladı ve değeri yaklaşık 1 milyar dolara ulaştı, ancak ürün bir türlü piyasaya sürülemedi ve ekip içinde anlaşmazlıklar baş gösterdi. Vaswani ve Parmar erken ayrılma kararı aldı; Vaswani'nin Adept'teki baş bilim insanı görevi Kasım 2022'de sona erdi.

2023'ün başında Vaswani ve Parmar tekrar bir araya gelerek Essential AI'yı kurdu ve Vaswani CEO oldu. Şirket, Google, Nvidia ve AMD'den stratejik yatırımlar aldı: Tohum turunda 8,3 milyon dolar Thrive Capital liderliğinde, 2023 sonundaki 56,5 milyon dolarlık A Serisi turu ise March Capital liderliğinde gerçekleşti; Google, Nvidia, AMD, KB Investment ve Franklin Templeton gibi kurumlar da katıldı.

2026'nın başında şirket, Lightspeed Venture Partners liderliğinde ve Thrive Capital'in katılımıyla 175 milyon dolarlık B Serisi fonlama turunu tamamladı. Değeri 1 milyar dolara ulaşarak resmen bir unicorn oldu.

2025'in sonunda şirket, Hint matematikçi Ramanujan'ın adını taşıyan ilk açık kaynak model serisi Rnj-1'i yayınladı.

Ancak son iki gün içinde rüzgar tersine döndü. Haberlere göre Nvidia, Essential AI'nın çekirdek ekibini işe alıyor ve Vaswani de bu ekibin içinde; gelecekte Nvidia'nın açık kaynak modeli Nemotron'un geliştirilmesine katılacak.

Kaynaklara göre bunun oldukça gerçekçi bir nedeni var: Essential AI'nın fonlaması zorluklarla karşılaşıyor ve Vaswani ile ekibini Nvidia'nın rakibi AMD'nin kampından çekmek (AMD, Essential AI'nın erken dönem stratejik yatırımcılarından biriydi ve şirket uzun süredir AMD'nin GPU'larına bağımlıydı) başlı başına karlı bir hamle.

Essential AI'dan birkaç araştırmacı (Alok Tripathy ve Saurabh Srivastava dahil) LinkedIn profillerini güncelleyerek Nvidia'ya katıldıklarını gösterdi. Ancak şu ana kadar ne Nvidia ne de Essential AI bu haberi resmi olarak doğruladı.

Noam Shazeer

Shazeer, 1976 yılında Philadelphia'da doğdu ve Ortodoks bir Yahudi'dir; babası Dov Shazeer, matematik öğretmenliğinden mühendisliğe geçmiş bir kişidir, kız kardeşi ise İbrani Koleji tarafından haham olarak atanmıştır. Genç yaşta olağanüstü bir yetenek sergiledi; 1994 yılında ABD takımının bir üyesi olarak Uluslararası Matematik Olimpiyatı'na katıldı ve tam puanla altın madalya kazandı. Ardından Duke Üniversitesi'nde matematik ve bilgisayar bilimi okudu, Angier B. Duke Anma Bursu'nun sahibi oldu ve Putnam Matematik Yarışması'nda ödül aldı.

2000 yılında Shazeer, Google'a katıldı ve ilk büyük başarısı Google aramasının yazım denetimi özelliğini düzeltmek oldu.

Transformer makalesinin yazar katkılarına göre, ölçeklenmiş nokta çarpım dikkati, çok başlı dikkat mekanizması ve parametresiz konum temsil yöntemini önerdi; Vaswani ve Polosukhin dışında, "neredeyse her ayrıntıya katılan" kişi oldu.

2017'de Transformer makalesine ortak yazarlık yaptıktan sonra, meslektaşı Daniel De Freitas ile birlikte Meena adlı sohbet robotunu geliştirdi, ancak Google ihtiyatlı davranarak bunu kamuya açık bir şekilde yayınlamadı. İkili, 2021'de işten ayrılarak Character.AI'yi kurdu; bir dönem a16z gibi kurumlardan 150 milyon doların üzerinde fon topladı ve popüler bir rol yapma sohbet uygulaması haline getirdi.

Ağustos 2024'te hikaye bir dönüm noktası yaşadı: Google, Character.AI ile bir lisans anlaşmasına vardı; bildirildiğine göre tutar 2,7 milyar dolara kadar çıktı. Shazeer ve De Freitas, küçük bir meslektaş grubuyla birlikte Google DeepMind'a geri döndü; Shazeer, mühendislik başkan yardımcısı olarak atandı ve Jeff Dean ile Oriol Vinyals ile birlikte Gemini projesine liderlik etti.

Character.AI'de yaklaşık %30 ila %40 arasında hisseye sahip olduğu için, bu anlaşma kişisel olarak tahmini 750 milyon ila 1 milyar dolar arasında bir nakit çıkışı sağladı. 2026'da ABD Ulusal Mühendislik Akademisi üyesi seçildi ve kariyeri zirvede görünüyordu.

Ancak sadece birkaç ay sonra, bir kez daha ayrılmayı seçti; bu seferki hedef OpenAI'dı. Bildirildiğine göre, "mimari araştırma" adlı bir alanın sorumluluğunu üstlenecek ve bu, OpenAI'nin halka arz (IPO) için kadro genişletme dönemine denk geldi (şirket, 8 Haziran'da ABD Menkul Kıymetler ve Borsa Komisyonu'na gizli bir S-1 dosyası sunmuştu ve değerleme söylentileri 852 milyar dolara kadar çıkıyordu).

OpenAI CEO'su Sam Altman, nadir görülen bir şekilde kamuoyu önünde açıklama yaparak: "OpenAI'ın kurulduğu ilk günden beri, iş birliği yapmayı en çok istediğim kişilerden biriydi" dedi ve bu işe alımın "tam on yıldır planlandığını" ekledi.

Google için bu, pahalıya mal olan bir "başarısız geri alma" oldu: İki yıl önce 2,7 milyar dolar harcayarak geri getirdikleri kişi, şimdi en büyük rakiplerine katıldı ve bu durum, bu hafta Google hisselerindeki büyük düşüşün doğrudan nedenlerinden biri haline geldi.

Niki Parmar

Parmar, Hindistan'ın Pune şehrinde doğdu ve lisans eğitimini Pune Bilgisayar Teknolojisi Enstitüsü'nde (Pune Institute of Computer Technology) Bilgi Teknolojileri alanında tamamladı. Okul yıllarında, Andrew Ng ve Peter Norvig'in açık çevrimiçi dersleri sayesinde yapay zeka ve makine öğrenimine ilgi duydu. Ardından ABD'ye giderek Güney Kaliforniya Üniversitesi'nde Bilgisayar Bilimleri alanında yüksek lisans yaptı ve Profesör Morteza Dehghani ile birlikte makine öğrenimi yöntemlerini kullanarak sosyal bilim sorunlarını araştırdı.

2015 yılında Parmar, Google Araştırma'ya yazılım mühendisi olarak katıldı ve 2017'de Google Brain'e araştırma yazılım mühendisi olarak geçti. Bildirildiğine göre, o dönemde Google Brain ekibindeki en genç ve doktorası olmayan tek araştırmacıydı.

Makalenin yazar katkı açıklamasına göre, ilk kod tabanında ve daha sonraki tensor2tensor çerçevesinde sayısız model varyantını tasarladı, uyguladı ve hata ayıkladı. Makale yayımlandıktan sonra, Transformer'ı dil dışındaki alanlara taşımaya devam etti ve kendine dikkat mekanizmasını görüntü oluşturma ve bilgisayarlı görüye genişletme araştırmalarına katıldı.

2021'de Parmar, Google'dan ayrıldı ve Ashish Vaswani, David Luan ve diğerleriyle birlikte Adept AI'yı kurarak Baş Teknoloji Sorumlusu oldu. Vaswani gibi o da Adept'ten erken ayrıldı ve 2023'ün başında Vaswani ile birlikte Essential AI'yı kurarak ortak kurucu olarak devam etti.

Ancak Essential AI'nın daha sonraki B Serisi fonlamasını ve tek boynuzlu at statüsünü bekleyemedi. 2024'ün sonunda Parmar, Essential AI'dan sessizce ayrıldı ve Anthropic'e katıldı; bu haberi 2025 Şubat ayında kamuoyuna duyurdu. X'te şunları yazdı: "Bugün, her zamanki gibi paylaşmak için uygun bir gün: Geçen Aralık ayında Anthropic'e katıldım."

Daha sonra Claude 3.7 Sonnet'in geliştirilmesine katıldı; bu, Anthropic tarihindeki en önemli model lansmanlarından biriydi. Şu anda Anthropic'te Teknik Ekip Üyesi (Member of Technical Staff) olarak çalışıyor ve ileri düzey yetenek araştırmaları ile pekiştirmeli öğrenme alanlarına odaklanıyor.

Bir zamanlar ayrılmaz iki ortak yazar, iki kez birlikte girişim kuran bir ekip, sonunda tamamen farklı iki sona ulaştı: Parmar, bir yıldan fazla bir süre önce sessizce ayrıldı ve önde gelen bir laboratuvara katıldı; Vaswani ise Essential AI'yı ileriye taşımaya devam etti, ta ki bu hafta rakip bir firmanın eliyle karşılanana kadar.

Jakob Uszkoreit

Uszkoreit, dilbilimci bir ailede doğdu. Babası Hans Uszkoreit, tanınmış bir hesaplamalı dilbilimcidir. Oğlu "sadece dikkat mekanizmasının yeterli olduğu" hipotezini ortaya attığında, babasının bile şüpheleri vardı. Uszkoreit, Berlin Teknik Üniversitesi'nde doktorasını tamamladı ve daha sonra Google Brain'de "Seçkin Bilim İnsanı" (Distinguished Scientist) seviyesine ulaştı.

Makalenin yazar katkı açıklamasına göre, döngüsel sinir ağlarını kendi kendine dikkat mekanizmasıyla değiştirme fikrini ilk ortaya atan ve bu fikrin erken doğrulamasını yöneten kişi Uszkoreit'ti; bu hipotezin tohumu aslında 2016 yılında Ankur Parikh, Oscar Täckström ve Dipanjan Das ile birlikte yazdığı "Ayrıştırılabilir Dikkat Modeli" makalesinde atılmıştı.

"Transformer" adı, onun bu kelimenin telaffuzunu sevmesi nedeniyle belirlendi; ekip içinde kendilerine "Team Transformer" diyorlardı ve erken dönem tasarım belgelerinin kapağında Transformers animasyonundan altı karakter yer alıyordu.

2020'nin sonunda, DeepMind'ın AlphaFold2'si, Transformer benzeri modellerin protein katlanması gibi "biyolojinin kutsal kâsesi" seviyesindeki sorunları çözebileceğini kanıtladı. Ayrıca, derin öğrenmenin biyolojiyi gerçekten değiştirememesinin nedeninin algoritma değil, veri eksikliği olduğunu giderek daha net anladı. "Bu neredeyse ahlaki bir yükümlülük haline geldi," diye hatırladı daha sonra.

Böylece 2021 yılında Stanford Üniversitesi'nde biyokimya profesörü ve ünlü RNA tasarım oyunu Eterna'nın geliştiricisi Rhiju Das ile birlikte Inceptive'i kurdu. Şirket merkezi Berkeley'de, araştırma ekibi ise Berlin'de kaldı; kendisi Berlin'de yaşıyor, çalışanlar ise Zürih, Londra, Vancouver ve ABD'nin Doğu Yakası'ndaki birçok şehre dağılmış durumda.

Şirketin temel yaklaşımı deneyleri tersine çevirmek: önce veri toplayıp sonra model eğitmek yerine, robotlar ve insan gücüyle büyük ölçekte yepyeni RNA deney verileri üretip bunları modele beslemek.

Inceptive, NVIDIA, a16z, Obvious Ventures, Section 32 gibi kurumlardan yaklaşık 120 milyon dolar fon topladı. En son gelişme bu ay yaşandı: Haziran başında, RNA interferans tedavisinin öncüsü Alnylam Pharmaceuticals, Inceptive ile stratejik bir iş birliği imzaladı. Inceptive'in temel modelini kullanarak siRNA aday ilaçlarının tasarımını hızlandırmayı hedefleyen anlaşmanın ön ödemesi 30 milyon dolar olurken, bildirildiğine göre anlaşmanın potansiyel toplam değeri yaklaşık 2 milyar dolara ulaşabiliyor.

Uszkoreit açıklamasında şunları söyledi: "Çoğu ilaç tasarımı hâlâ deneme yanılmaya dayanıyor; binlerce molekül test ediliyor ve birinin başarılı olması umuluyor. Inceptive'in çıkış noktası farklı: Yaşam, son derece karmaşık yasalara tabidir ve bunları yalnızca yapay zekâ öğrenebilir."

Sekiz yazardan sadece o tamamen biyoteknoloji alanına geçiş yaptı ve bu da tam olarak o makalenin yıllar önce bıraktığı bir kehaneti doğruluyor: Dikkat mekanizmasının potansiyeli, makine çevirisinin çok ötesindedir.

Llion Jones

Jones Galli'dir, Birmingham Üniversitesi mezunudur ve 2011 yılında Google'da yazılım mühendisi olarak işe başlamış, on yılı aşkın süre çalışmıştır. Sekiz yazar arasında doktorası olmayan, tamamen mühendislik sezgileriyle yolunu bulan nadir kişilerdendir.

Makalenin yazar katkılarına göre, çok sayıda yeni model varyantını denemiş, ilk kod tabanından, çıkarım verimliliği optimizasyonundan ve görselleştirme çalışmalarından sorumlu olmuştur.

Daha sonra o belirleyici anı şöyle anlatmıştı: "O sırada modelin bazı kısımlarını tamamen kesip atmaya başlamıştık, sırf performansın ne kadar düşeceğini görmek için. Şaşırtıcı bir şekilde, performans daha da iyileşti." İşte bu, "döngüsel yapıların aslında gereksiz olduğu" hipotezinin ilk kez doğrulandığı andı.

2023 yılında Jones, yine Google kökenli David Ha ile birlikte Tokyo'da Sakana AI'yı kurdu. "Sakana" Japoncada "balık" anlamına geliyor. Ha CEO, Jones CTO, şirketin diğer kurucu ortağı Ren Ito ise COO olarak görev yapıyor.

Jones şu anda Tokyo'da yaşıyor ve sosyal medyada kendisini "Tokyo'da yaşayan Galli AI araştırmacısı" olarak tanıtıyor. Bu şirketin araştırma yönü, belirgin bir şekilde akıma karşı bir renk taşıyor: Sadece hesaplama gücü ve parametreleri yığmak yerine, doğal evrimin mantığından ilham alarak daha küçük modellerin bir balık sürüsü gibi işbirliği yapmasını sağlamak. Şirketin temsil edici araştırma sonuçları arasında Continuous Thought Machine (Sürekli Düşünce Makinesi) ve uçtan uca otonom araştırma yapabilen "AI Scientist" projesi yer alıyor.

Son zamanlarda şirket, yüksek performanslı Sakana Fugu modelini de piyasaya sürdü.

Sakana AI, Mart 2026'da tamamlanan B Serisi yatırım turu da dahil olmak üzere toplam 379 milyon dolar fon topladı; Mitsubishi Electric de yatırımcıları arasında yer alıyor. Mart 2026'da şirket ayrıca Mitsubishi UFJ Financial Group (MUFG) ile çok yıllı bir işbirliği anlaşması imzaladı. MUFG, Sakana'nın teknolojisini bankacılık iş sistemlerini dönüştürmek için kullanmayı planlıyor. Bildirildiğine göre bu anlaşma, yaklaşık 1,5 milyar dolar değerindeki bu şirketin bir yıl içinde kâra geçmesini sağlayabilir.

Jones, birçok platformda salt "scaling" (ölçeklendirme) konusunda şüphelerini dile getirdi.

Mart 2026'da bir bankacılık sektörü iç etkinliğinde, mevcut AI araştırmalarının garip bir gerçekle karşı karşıya olduğunu söyledi: Büyük miktarda yatırım ve yetenek akışı var, teoride daha fazla atılım yaratması gerekir, ancak gerçek etki tam tersi olabilir: Yatırımcılar sonuçları görmek için baskı yapıyor, rekabet ilk çıkışı yapmak için acele ettiriyor ve araştırmacılara "özgürce keşfetme" alanı daralıyor.

Şirket içinde her zaman "KPI'sız" küçük bir araştırma özgürlüğü alanı bulundurduklarını belirtti, çünkü bir sonraki atılımın bu tür sonuçları düşünülmeyen uzun vadeli yatırımlardan gelmesi kaçınılmazdır - bu aslında o Google Brain ofisinde Transformer'ın doğduğu yöntemdir.

Ayrıca sıkça alıntılanan bir söz söyledi: Yeni bir mimarinin Transformer'ı gerçekten yerinden etmesi için sadece "daha iyi" olması yetmez, "açıkça ve tartışmasız daha iyi" olması gerekir.

Aidan N. Gomez

Gomez, sekiz yazar arasında en genç olanıdır. Makale yayınlandığı yıl, sadece 20 yaşında bir lisans stajyeri olarak Google Brain'de çalışıyordu ve Toronto Üniversitesi'nde bilgisayar bilimi ve matematik çift anadal yapıyordu.

Makalenin yazar katkılarına göre, Łukasz Kaiser ile birlikte sayısız gece gündüz çalışarak tensor2tensor çerçevesinin çeşitli modüllerini inşa etti, eski kod tabanını değiştirdi ve deneysel sonuçlar ile araştırma verimliliğini büyük ölçüde artırdı. "O zamanlar sadece dikkat mekanizmasının tam olarak nasıl çalıştığını anlamaya çalışıyordum," diye hatırlıyor daha sonra, "Bunun 'her şeyin mimarisi' haline geleceğini hiç düşünmemiştim." Makaleden sonra Oxford Üniversitesi'nde doktora yapmaya gitti, eğitimine ara verip girişim kurdu ve ancak 2024'te resmi olarak doktorasını aldı – denilebilir ki girişimcilik yaparken bir yandan da diplomasını tamamladı.

2019'da Gomez, Ivan Zhang ve Nick Frosst ile birlikte Cohere'ı kurdu ve şirketi kurumsal yapay zeka hizmet sağlayıcısı olarak konumlandırdı. Tüketici odaklı sohbet robotlarının maliyetli rekabetinden bilinçli olarak kaçındı ve veri gizliliği, yerelleştirilmiş dağıtım ve çok dilli yeteneklere odaklandı. Müşterileri çoğunlukla büyük işletmeler ve çeşitli ülkelerin hükümetleriydi.

2023'te Gomez, Time dergisi tarafından seçilen yapay zeka alanındaki en etkili 100 kişi arasına girdi ve iki kurucu ortağıyla birlikte o yıl Maclean's dergisinin AI trend öncüleri listesinde birinci sırayı aldı; Nisan 2025'te ise elektrikli araç şirketi Rivian'ın yönetim kuruluna seçildi.

Bu nispeten "çekici olmayan" strateji, şirketin oldukça iyi finansal veriler elde etmesini sağladı: 2026 ortası itibarıyla Cohere'ın yıllık yinelenen geliri 200 milyon doları aştı, geçen yıla göre 6 kat büyüdü, brüt kar marjı yaklaşık %70 oldu ve toplam fonlama 1,7 milyar dolara yaklaştı; şirketin değeri yaklaşık 7 milyar dolar. Ağustos 2025'te şirket, Uber'in halka arzında yer alan Francois Chadwick'i ilk CFO olarak işe aldı ve çalışanların ikincil piyasada hisse satışı için bir pencere de açıldı. Gomez defalarca halka arzın "yakın" olduğunu söylese de, şirket henüz düzenleyici kurumlara bir izahname sunmadı.

Gomez, son yıllarda giderek daha fazla jeopolitik anlamda bir yapay zeka sözcüsü haline geldi. Bu hafta Fortune dergisinde bir makale yayınlayarak ülkeleri "dijital egemenlik" konusunu ciddiye almaya çağırdı.

Makale, Anthropic modeline erişim izinlerinin yakın zamanda kısıtlanması olayına doğrudan atıfta bulunarak, ülkelerin geleceklerini birkaç merkezi teknoloji devine "kiralamamaları" konusunda uyardı ve ülkelerin kendi değerlerini, dillerini ve hukuk sistemlerini korurken farklı yapay zeka tedarikçilerine güvenebilecekleri gerçekten çeşitliliğe sahip bir ekosistem oluşturulmasını önerdi.

Ayrıca, "yapay zeka kıyameti" tarzı varoluşsal risklere ilişkin endişelerin abartıldığını kamuoyu önünde ifade etti ve kendisini daha çok endişelendiren gerçek riskin, sosyal medyada otomatik olarak büyütülen yanlış bilgiler olduğunu söyledi. Gomez artık sadece modelin kendisinden değil, dünyanın ne tür bir yapay zeka kullanacağına kimin karar verme hakkına sahip olduğundan bahsediyor.

Łukasz Kaiser

Kaiser Polonyalıdır. Akademik geçmişi mantık, otomat teorisi, algoritmik model teorisi ve oyun teorisi gibi teorik bilgisayar bilimi alanlarına dayanmaktadır: Wrocław Üniversitesi'nden matematik ve bilgisayar bilimi alanında çift yüksek lisans derecesi almış, doktorasını Almanya'daki Aachen Teknik Üniversitesi'nde tamamlamış, ardından Fransa Ulusal Bilimsel Araştırma Merkezi'nde (CNRS) ve Paris VII Üniversitesi'nde kadrolu bir pozisyona sahip olmuş, mantık ve otomat teorisi üzerine saf teorik araştırmalara odaklanmıştır.

Daha sonra uygulamalı alana yönelmiş ve Google Brain'de yaklaşık 8 yıl çalışmış, bu süre zarfında TensorFlow'un ortak yazarlarından biri olmuş, Samy Bengio ile "Aktif Bellek Dikkatin Yerini Alabilir mi?" başlıklı erken dönem bir makale ve Ilya Sutskever ile "Sinirsel GPU Öğrenme Algoritması" üzerine bir makale yayınlamıştır.

Makalenin yazar katkı açıklamasına göre, Aidan N. Gomez ile sayısız gece gündüz çalışarak tensor2tensor çerçevesini oluşturmuş, deneysel sonuçları ve araştırma verimliliğini önemli ölçüde artırmıştır.

Sekiz yazar arasında, girişim kurmaya gitmeyen ve büyük laboratuvarlarda saf araştırma yapmaya devam eden tek kişidir.

2021 yılında OpenAI'e katılmıştır, o zamanlar ChatGPT henüz piyasaya sürülmemişti. OpenAI'de Codex'in (daha sonra GitHub Copilot'un teknik temeli haline gelmiştir) ve buna eşlik eden HumanEval programlama kriterinin geliştirilmesinde yer almış, ayrıca GSM8K matematik problemi veri seti üzerinde araştırma yapmıştır. Bu çalışma, "modelin çıkarım sırasında biraz daha fazla hesaplama yapmasına ve birkaç kez daha örnekleme yapmasına izin vermenin" doğruluğu önemli ölçüde artırabileceğini erken bir aşamada göstermiştir — bu, daha sonraki çıkarım modeli paradigmasının embriyosudur.

Ayrıca GPT-4 teknik raporunun imzacı yazarlarından biridir ve daha sonra OpenAI'in ilk çıkarım modeli o1'in (Eylül 2024'te yayınlanmıştır) temel katkıcısı olmuş, "araştırma lideri" seviyesinde bir rol olarak kabul edilmiş, bu rol o3 ve daha yeni çıkarım paradigmalarına, günümüzdeki GPT-5 serisine kadar devam etmiştir.

Son olarak Matt Turck'in sunduğu MAD Podcast'te, Transformer'ın matematiksel olarak herhangi bir sorunu çözebileceğinin kanıtlandığını, yeter ki modelin yeterli sayıda ara çıkarım adımı üretmesine izin verilsin, demiştir. Bir anlamda bu, dokuz yıl önceki o makaleye gecikmiş, daha kesin bir dipnottur.

Illia Polosukhin

Polosukhin, Harkiv, Ukrayna doğumlu olup, lisans eğitimini uygulamalı matematik alanında tamamlamış ve Uluslararası Üniversite Programlama Yarışması (ICPC) şampiyonudur. Kendi ifadesine göre, on yaşında Matrix filmini izledikten sonra yapay zekaya neredeyse takıntılı bir ilgi duymaya başlamıştır. 2014 yılında Google'a katılarak TensorFlow ile ilgili araştırma çalışmalarında yer almış, ayrıca makine okuma anlama ve soru-cevap sistemleri üzerine araştırmalar yapmıştır.

Makalenin yazar katkı açıklamasına göre, Ashish Vaswani ile birlikte orijinal Transformer modelini tasarlayıp uygulamış, kendi sorumluluğu ise bu mimarinin makine çevirisi görevlerindeki etkinliğini doğrulamak olmuştur.

Makale yayımlandıktan sonra 2017'de Google'dan ayrılmış ve Alexander Skidanov ile birlikte başlangıçta NEAR.AI adında bir yapay zeka şirketi kurmuştur. Ancak kısa süre sonra, merkeziyetsiz altyapı geliştirmenin model yapmaktan daha ilginç olabileceğini fark etmişler ve şirket 2018 civarında blockchain projesi NEAR Protocol'e dönüşmüştür.

NEAR, Nightshade adlı parçalama (sharding) teknolojisini kullanmakta ve Aurora aracılığıyla Ethereum ile uyumlu ikinci katman ağları sunmaktadır. 2020 yılında ana ağı resmen faaliyete geçmiş ve bugüne kadar a16z, Coinbase, Tiger Global Management, Hashed, Dragonfly Capital gibi kurumlardan 530 milyon doların üzerinde fon toplamıştır.

Günümüzde Polosukhin, ilk iki kimliğini yeniden birleştirmeye çalışmaktadır: Mart 2026'da medyaya, "Blockchain'in gelecekteki kullanıcıları insanlar değil, AI ajanları olacak" demiş ve NEAR'ı ajan ekonomisinin "mutabakat katmanı" olarak konumlandırmıştır.

Aynı yılın Nisan ayında, otonom AI ajanlarıyla başa çıkmak için daha kapsamlı bir düzenleyici çerçeve oluşturulması çağrısında bulunmuş; mevcut kurum ve sistemlerin bu tür sistemlerin getirdiği sorumluluk ve sistemik risk sorunlarını ele almaya hazır olmadığını belirterek, daha net hesap verebilirlik mekanizmaları ve "insanın döngüde olduğu" bir denetim çağrısı yapmıştır.

Şu anda Portekiz'de ikamet etmektedir. "Çığır açan LLM makalesi yazmak" ile "milyarlarca dolar değerinde bir blockchain şirketi yönetmek" kimlikleri arasında, her ikisine de aynı anda sahip olan dünyada muhtemelen tek kişidir.

Sekiz Yol, Keşfetmeye Devam

Mart 2024'te, NVIDIA GTC konferansında, sekiz yazardan yedisi (Niki Parmar mazereti nedeniyle katılamadı) ilk kez bir grup olarak aynı sahnede yer aldı ve Jensen Huang'ın röportajına katıldı.

Jensen Huang şunları söyledi: "Bugün keyfini çıkardığımız her şey, o ana kadar uzanıyor."

Konuşmanın sonunda, her birine üzerinde "Dünyayı değiştirdiniz (You transformed the world)" yazan imzalı bir NVIDIA DGX-1 süper bilgisayar hatıra plaketi verdi. Aynı yılın Kasım ayında, Japonya NEC C&C Vakfı, o yılki C&C Ödülü'nü bu sekiz kişiden oluşan "Transformer Ekibi"ne verdi. Onlarla aynı sahnede ödül alanlar, kıtalararası denizaltı fiber optik kablo iletim teknolojisi üzerinde çalışan üç kıdemli mühendisti. Tamamen farklı iki alandaki altyapı inşaatçıları, aynı ödülde bir araya getirildi.

Dokuz yıl geçti ve bu sekiz kişinin hayat yolları, neredeyse bir daha kesişmeyecekleri noktalara dağıldı: Silikon Vadisi'ndeki kurumsal hizmet alanı, Tokyo'daki evrimsel algoritma laboratuvarı, Berlin'deki moleküler biyoloji şirketi, Portekiz'deki bir blok zinciri protokolü ve bu hafta hâlâ yeniden yapılanan birkaç önde gelen AI laboratuvarı.

Ancak yıllar içinde söylediklerini bir araya getirdiğinizde, tekrarlanan ortak bir yargıyla karşılaşırsınız: Kimse gerçekten Transformer'ın son nokta olduğuna inanmıyor.

Aidan N. Gomez, dünyanın Transformer'dan daha iyi bir şeye ihtiyacı olduğunu söylüyor; Llion Jones, bir sonraki mimarinin onu yerinden etmek için "açıkça ve tartışmasız daha iyi" olması gerektiğini söylüyor; Łukasz Kaiser ise hâlâ matematiksel bir dille, dokuz yıl önce doğan bu mimarinin insanlığı daha ne kadar ileri götürebileceğini açıklamaya çalışıyor.

Belki de bu makalenin bıraktığı en kalıcı miras budur: Sekiz yazarı dünyanın dört bir yanına dağılmış olsa da, hiçbiri bir sonraki cevabı aramayı bırakmadı.