Partnered With:

Veri merkezlerini terk eden bu girişimler yeni yapay zeka modelleri oluşturuyor

Bu makaleyi okumak için 9 Dakika

Araştırmacılar, yapay zekanın mevcut ana akım inşa paradigmasını altüst edebilecek yeni bir tür büyük dil modeli (LLM) eğitmeyi başarıyla başardılar

Orijinal kaynak: Wired
Orijinal yazar: Will Knight

Araştırmacılar, dünyanın dört bir yanına dağılmış GPU kümelerini kullanarak özel ve kamuya açık verileri birleştirdiler ve yeni bir tür büyük dil modeli (LLM) eğitmeyi başardılar. Bu, yapay zekanın mevcut ana akım inşa paradigmasını altüst edebilecek bir atılımdır.

Geleneksel olmayan yollar izleyen iki yapay zeka girişimi Flower AI ve Vana, Collective-1 adını verdikleri bu yeni modeli yaratmak için bir araya geldi. Flower AI, eğitim görevlerinin yüzlerce ağa bağlı bilgisayara dağıtılmasına olanak tanıyan bir teknoloji geliştirdi ve çözümleri, birçok şirket tarafından merkezi bilgi işlem gücü veya veriye ihtiyaç duymadan AI modellerini eğitmek için kullanıldı. Vana, X platformu, Reddit ve Telegram özel mesajları da dahil olmak üzere çeşitli bir veri kaynağı sağlıyor.

Modern standartlara göre, Collective-1 küçüktür; 7 milyar parametresi (birlikte bir modelin gücünü belirler) günümüzün en gelişmiş modellerindeki yüz milyarlarca parametreden (örneğin ChatGPT, Claude ve Gemini'nin temelindeki modellerden) çok uzaktır.

Cambridge Üniversitesi'nde bilgisayar bilimcisi ve Flower AI'nın kurucu ortağı olan Nic Lane, bu dağıtılmış yaklaşımın Collective-1'in ölçek sınırlamalarını aşma potansiyeline sahip olduğunu belirtti. Flower AI'nın geleneksel veriler kullanarak 30 milyar parametreli bir modeli eğittiğini ve bu yılın ilerleyen zamanlarında 100 milyar parametreli bir model geliştirmeyi planladığını, bunun da sektör liderlerinin seviyesine yakın bir seviye olduğunu açıkladı. Lane, "Bunun, insanların yapay zeka hakkındaki düşünme biçimlerini kökten değiştirme potansiyeli var ve biz bunu ilerletiyoruz" dedi. Girişim, çok modlu modeller oluşturmak için eğitimlerine sesin yanı sıra görselleri de dahil ediyor.

Dağıtılmış modelleme, yapay zeka endüstrisindeki güç dinamiklerini de yeniden şekillendirebilir.

Yapay zeka şirketleri şu anda modeller oluşturmak için iki temel unsura güveniyor: devasa eğitim verileri ve veri merkezlerinde yoğunlaşan devasa bilgi işlem gücü. Bu veri merkezleri, ultra yüksek hızlı fiber optik ağlar aracılığıyla gelişmiş GPU kümelerine bağlanıyor. Ayrıca web'den alınan ve kamuya açık olan veri kümelerine (bunların bir kısmı telif hakkıyla korunan materyaller içerse de) büyük ölçüde güveniyorlar; bunlara web sayfaları ve kitap içerikleri de dahil.

Bu model, yalnızca güçlü finansal kaynaklara sahip şirketlerin ve büyük miktarda yüksek kaliteli çiplere erişimi olan ülkelerin en değerli son teknoloji modelleri geliştirebileceği anlamına geliyor. Meta'nın Llama'sı ve Deep Quest'in R1'i gibi açık kaynaklı modeller bile büyük veri merkezlerine sahip şirketlerden geliyor. Dağıtık yaklaşım, küçük ve orta ölçekli işletmelerin ve üniversitelerin merkezi olmayan kaynakları entegre ederek ekolojik yapay zeka geliştirmelerine olanak tanır veya geleneksel altyapıdan yoksun ülkelerin birden fazla veri merkezini ağ oluşturarak daha güçlü modeller oluşturmasına olanak tanır.

Lane, yapay zeka sektörünün tek bir veri merkezinin sınırlarını aşan yeni yaklaşımları giderek daha fazla tercih edeceğine inanıyor. "Veri merkezi modeliyle karşılaştırıldığında, dağıtık çözüm bilgi işlem gücünü daha zarif bir şekilde ölçeklendirebilir" diye açıkladı.

Güvenlik ve Gelişen Teknolojiler Merkezi'nde yapay zeka yönetimi uzmanı olan Helen Toner, Flower AI'nın çözümünün "yapay zeka rekabeti ve yönetimi için potansiyel olarak önemli etkileri olduğunu" belirtti. "En son teknolojiye uyum sağlamak hala zor olsa da, hızlı takip stratejisi olarak oldukça değerlidir." dedi.

Böl ve yönet

Dağıtılmış yapay zeka eğitiminin özü, hesaplama gücü tahsisinin mantığını yeniden yapılandırmaktır. Büyük bir dil modeli oluşturmak, sisteme büyük miktarda metin girmeyi ve etkili yanıtlar üretmek için parametreleri ayarlamayı gerektirir. Geleneksel veri merkezleri, eğitim görevlerini yürütülmek üzere farklı GPU'lar arasında böler ve ardından bunları periyodik olarak birleşik bir ana modele entegre eder.

Yeni teknolojiler, daha önce büyük veri merkezlerinde yapılan işlerin, birbirlerinden birkaç mil uzakta bulunan ve yalnızca sıradan ağlarla bağlanan donanım aygıtlarına dağıtılmasına olanak sağlıyor.

Sanayi devleri de dağıtılmış öğrenmeyi araştırıyor. Geçtiğimiz yıl Google araştırmacıları, dağıtılmış eğitimin verimliliğini artıran "Dağıtılmış Yol Kombinasyonu" (DiPaCo) adlı yeni bir çerçeve önerdi. Collective-1 benzeri modeller inşa etmek için Lane, Çinli ve İngiliz bilim insanları tarafından ortaklaşa, daha verimli bir veri gösterim yöntemi ve eğitim paylaşım entegrasyon çözümü kullanan Photon adında yeni bir araç geliştirildi. Lane, sürecin geleneksel eğitimden daha yavaş olmasına rağmen daha esnek olduğunu ve donanım hızlandırmalı eğitimin her an eklenebileceğini kabul ediyor.

Photon, Pekin Posta ve Telekomünikasyon Üniversitesi ve Zhejiang Üniversitesi'ndeki araştırmacılar tarafından geliştirildi ve geçen ay açık kaynaklı hale getirildi. Flower AI'nın ortağı Vana, kullanıcıların kişisel verilerini yapay zeka geliştiricileriyle yeni yollarla paylaşmasına olanak sağlamak için çalışıyor; yazılımı, kullanıcıların X ve Reddit gibi platformlardan özel veriler katkıda bulunmasına, kullanımları belirlemesine ve hatta maddi ödüller almasına olanak tanıyor.

Vana'nın kurucu ortağı Anna Kazlauskas, bu adımın kullanıcılara daha fazla kontrol sağlarken, henüz kullanılmayan veri potansiyelinden yararlanmayı amaçladığını söyledi. "Genellikle yapay zeka modellerinde kullanılamayan bu kamuya açık olmayan veriler ilk kez temel modelleri eğitmek için kullanılıyor ve kullanıcılar, kendi verileriyle oluşturulan modellerin hak ve çıkarlarına sahip olabiliyor" diye vurguladı.

University College London'da bilgisayar bilimcisi olan Mirco Musolesi, dağıtılmış eğitimin temel değerinin yeni veri türlerinin kilidini açmakta yattığını belirtti: "Bunu son teknoloji modellere uygulamak, AI endüstrisinin tıp ve finans gibi alanlarda eğitim için merkezi olmayan hassas verileri kullanmasına olanak tanırken, veri merkezileşmesinin risklerinden kaçınmasını sağlıyor."