Orjinal Başlık: "IOSG Haftalık Özet｜Hash Gücünden Akıl Yeteneğine: Pekiştirmeli Öğrenme Destekli Merkezi Olmayan AI Yatırım Haritası"

Orjinal Yazar: Jacob Zhao, IOSG Ventures

Yapay Zeka, şu anda "Model Uydurma" odaklı istatistiksel öğrenmeden, "Yapısal Çıkarım" temelli bir yetenek sistemi olan son eğitim (Post-training) üzerine olan öneminin hızla arttığı bir sürece doğru ilerliyor. DeepSeek-R1'ın ortaya çıkışı, büyük model çağında pekiştirmeli öğrenme'nin paradigmaları değiştiren bir dönüşüm işareti olarak kabul ediliyor. Endüstri genelinde kabul gören görüş şudur: Ön eğitim, modelin genel yetenek tabanını oluştururken, pekiştirmeli öğrenme artık yalnızca bir değer hizalaması aracı olmaktan çıkmış ve akıl yürütme kalitesini ve karmaşık karar alma yeteneğini sistemli bir şekilde artırabileceği kanıtlanmıştır. Bu nedenle pekiştirmeli öğrenme, zeka seviyesini sürekli artıran bir teknik yol olarak evrilmektedir.

Aynı zamanda, Web3, merkezi olmayan bir hash gücü ağı ve şifreleme teşvik sistemleri aracılığıyla AI üretim ilişkilerini yeniden yapılandırmaktadır. Pekiştirmeli öğrenmenin rollout örnekleme, ödül sinyali ve doğrulanabilir eğitim gibi yapısal gereksinimleri, blockchain'in hash gücü iş birliği, teşvik dağıtımı ve doğrulanabilir yürütmeyle doğal olarak uyumlu hale gelmektedir. Bu araştırma raporu, AI eğitim paradigmasını ve pekiştirmeli öğrenme tekniklerini systematik olarak çözümlemekte, pekiştirmeli öğrenme × Web3 yapısının avantajlarını tartışmakta ve Prime Intellect, Gensyn, Nous Research, Gradient, Grail ve Fraction AI gibi projeleri analiz etmektedir.

AI Eğitiminin Üç Aşaması: Ön Eğitim, Komut İyileştirmesi ve Son Eğitim Hizalaması

Modern büyük dil modelleri (LLM) eğitiminin genel yaşam döngüsü genellikle üç temel aşama olarak belirlenir: ön eğitim (Pre-training), gözetimli ince ayar (SFT) ve son eğitim (Post-training/RL). Bu üç aşama, "dünya modeli oluşturma - görev yeteneği enjekte etme - akıl yürütme ve değerler oluşturma" rollerini üstlenmektedir ve hesaplama yapısı, veri gereksinimleri ve doğrulama zorluğu merkezi olmayan yapıyla ne kadar uyumlu olduğunu belirlemektedir.

· Ön Eğitim (Pre-training), büyük ölçekli kendiliğinden denetimli öğrenme (Self-supervised Learning) aracılığıyla modelin dil istatistik yapısını ve çapraz modlu dünya modelini oluşturur; LLM yeteneklerinin temelidir. Bu aşama, trilyonlarca kelime öbeği üzerinde küresel senkronizasyonla eğitim gerektirir, binlerce H100'ün homojen kümesine dayanır, maliyetin %80-95'ini oluşturur ve bant genişliği ve veri haklarına son derece duyarlıdır, bu nedenle yüksek derecede merkezi bir ortamda gerçekleştirilmelidir.

· Süpervize İnce Ayar (Supervised Fine-tuning), görev kabiliyetini ve talimat formatını enjekte etmek için kullanılır, veri miktarı düşüktür ve maliyet yaklaşık olarak %5-15'tir. İnce ayarlama hem tam eğitim (full training) hem de Parametre Verimli İnce Ayarlama (PEFT) yöntemi kullanılarak gerçekleştirilebilir, burada LoRA, Q-LoRA ve Adaptör (Adapter) endüstride yaygın olarak kullanılan yöntemlerdir. Ancak hala gradyanları senkronize etmek gerekmektedir, bu da merkezsizleşme potansiyelini sınırlar.

· Sonraki Eğitim (Post-training), modelin çıkarım yeteneğini, değerlerini ve güvenli sınırını belirleyen birkaç iterasyon aşamasından oluşur. Bu aşamada, güçlendirme öğrenme sistemleri (RLHF, RLAIF, GRPO) ve RL olmayan tercih optimizasyon yöntemleri (DPO) ile birlikte Proses Ödül Modeli (PRM) gibi yöntemler kullanılır. Bu aşamadaki veri miktarı ve maliyet daha düşüktür (%5-10) ve genellikle Rollout ve politika güncellemelerine odaklanır; doğal olarak asenkron ve dağıtılmış yürütme desteği sağlar, düğümlerin tam ağırlığa sahip olması gerekmez, doğrulanabilir hesaplama ve zincir tabanlı teşvikle bir araya gelerek açık, merkezi olmayan eğitim ağları oluşturabilir, Web3 için en uygun eğitim aşamasıdır.

Güçlendirme Öğrenme Teknolojisinin Genel Bakışı: Mimarlık, Çerçeveler ve Uygulamalar

Güçlendirme Öğrenmenin Sistem Mimarisi ve Temel Aşamaları

Güçlendirme öğrenme (Reinforcement Learning, RL), modelin karar verme yeteneğini geliştirmek için "çevre etkileşimi - ödül geribildirimi - politika güncellemesi" ile sürdürülen bir süreçtir. Temel yapısı, durum, eylem, ödül ve politika tarafından oluşturulan geri besleme döngüsünden oluşur. Tam bir RL sistemi genellikle üç tür bileşeni içerir: Politika (Policy ağı), Rollout (Deneyim örnekleme) ve Öğrenen (Learner). Politika ve çevre etkileşimi trajeler oluşturur, Öğrenen ödül sinyallerine göre politikayı günceller ve sürekli iterasyon, sürekli optimize edilen bir öğrenme süreci oluşturur:

1. Politika Ağı (Policy): Durumdan aksiyon üretir, sistemdeki karar alma sürecidir. Eğitim sırasında tutarlılığı sağlamak için merkezi geriye yayılım gereklidir; çıkarım sırasında farklı düğümlere dağıtılabilir ve paralel olarak çalıştırılabilir.

2. Deneyim Biriktirme (Rollout): Düğümler politikaya göre etkileşimde bulunarak durum-eylem-ödül gibi bir izlem oluşturur. Bu süreç yüksek derecede paralel, iletişimi minimal olup donanım farklılıklarına duyarsızdır ve merkezi olmayan yapıda genişletme için en uygun aşamadır.

3. Öğrenen (Learner): Tüm Rollout izlemelerini birleştirir ve politika gradyan güncellemesi yapar. Bu, işlem gücü ve bant genişliği gereksinimleri en yüksek olan modüldür ve genellikle kararlı bir yakınsama sağlamak için merkezi veya hafif merkezi bir dağıtıma sahiptir.

Güçlendirme Öğrenme Aşama Çerçevesi (RLHF → RLAIF → PRM → GRPO)

Güçlendirme öğrenme genellikle beş aşamaya ayrılabilir ve genel süreç aşağıdaki gibidir:

Veri Üretme Aşaması (Politika Keşfi)

Belirli bir girdi ipucu verildiğinde, politika modeli πθ, sonraki tercih değerlendirmesi ve ödül modellemesi için çoklu aday akıl yürütme zinciri veya tam izleme oluşturur, politika keşfinin kapsamını belirleyerek.

Tercih Geribildirimi Aşaması (RLHF / RLAIF)

· RLHF (İnsan Geribildiriminden Güçlendirme Öğrenme), çoklu aday yanıtlar, insan tercih etiketlemesi, eğitim ödül modeli (RM) ve PPO ile politikayı optimize ederek modelin insan değerlerine daha uygun çıkmasını sağlar, GPT-3.5 → GPT-4'ün kilit bir parçasıdır.

· RLAIF (AI Geribildiriminden Güçlendirme Öğrenme), şahitlik eden YZ veya anayasa tarzı kurallarla insan etiketlemesini değiştirerek tercih edinmeyi otomatikleştirir, maliyeti önemli ölçüde düşürür ve ölçeklenebilirlik özelliklerine sahiptir, Anthropic, OpenAI, DeepSeek vb. gibi yaygın hizalama kalıplarını benimsemiştir.

Ödül Modelleme Aşaması (Ödül Modelleme)

Tercih, girdiye bir ödül modeli, çıktıyı ödüle eşleştirerek öğretir. RM modeline "doğru cevap nedir" öğretirken, PRM modeline "doğru muhakemeyi nasıl yapacağını" öğretir.

· ÖD (Ödül Modeli): Sonuç değerlendirmesi için kullanılan, yalnızca çıktıya puan veren bir modeldir:

· İşlem Ödül Modeli PÖD (Process Reward Model): Artık sadece sonucu değerlendirmeyen, her bir adımın akıl yürütmesi, her bir token, her bir mantıksal bölüm için puan veren, aynı zamanda OpenAI o1 ve DeepSeek-R1'in temel teknolojisi olan bir modeldir, özünde "modeli nasıl düşüneceğini öğretme" işlemidir.

Ödül Doğrulama Aşaması (ÖDVK / Ödül Doğruluk)

Ödül sinyali üretimi ve kullanımı sürecine "doğrulanabilir kısıtlamalar" getirerek, ödülün mümkün olduğunca tekrarlanabilir kurallardan, gerçeklerden veya fikir birliğinden gelmesini sağlayarak, ödül hilesini ve önyargı riskini azaltmayı ve açık ortamlarda denetlenebilirlik ve genişletilebilirliği artırmayı amaçlar.

Strateji Optimizasyon Aşaması (Politika Optimizasyonu)

Ödül modelinin sağladığı sinyale göre politika parametrelerini θ güncelleme işlemidir, daha güçlü bir akıl yürütme yeteneği, daha yüksek güvenlik ve daha istikrarlı bir davranış modeli elde etmek için politika πθ′. Ana akım optimizasyon yöntemleri şunları içerir:

· PPO (Yakınsak Politika Optimizasyonu): RLHF'ün geleneksel optimizasyon aracıdır, istikrarlı olmasıyla bilinir, ancak karmaşık akıl yürütme görevlerinde genellikle yavaş yakınsama, yetersiz istikrar gibi sınırlamalarla karşılaşır.

· GRPO (Grup İlişkili Politika Optimizasyonu): DeepSeek-R1'in temel inovasyonudur, aday yanıt grup içi üstünlük dağılımını modellemek için yapılan bir yaklaşımdır, basit sıralamadan ziyade beklenen değeri değerlendirir. Bu yöntem, ödül miktarı bilgisini korur, akıl yürütme zinciri optimizasyonu için daha uygundur, eğitim süreci daha istikrarlıdır, derin akıl yürütme senaryolarına yönelik önemli bir güçlendirme öğrenme optimizasyon çerçevesi olarak kabul edilir.

· DPO (Doğrudan Tercih Optimizasyonu): Pekiştirmeli öğrenmeyi gerektirmeyen bir son eğitim metodudur: İz yolu oluşturmaz, ödül modeli oluşturmaz, tercihler üzerinde doğrudan optimizasyon yapar, maliyeti düşüktür, etkisi istikrarlıdır, bu nedenle Llama, Gemma gibi açık kaynaklı modellerin hizalanmasında yaygın olarak kullanılır, ancak akıl yürütme yeteneğini artırmaz.

Yeni Politika Dağıtımı Aşaması (New Policy Deployment)

Optimize edilmiş modelin performansı şu şekildedir: Daha güçlü bir çıkarım zinciri oluşturma yeteneği (Sistem-2 Çıkarım), insan veya AI tercihlerine daha uygun davranışlar, daha düşük yanılsama oranı, daha yüksek güvenlik. Model, sürekli iterasyonlar sırasında tercihleri öğrenmeye, süreci optimize etmeye ve karar kalitesini artırmaya devam eder, bir döngü oluşturur.

Güçlendirme Öğreniminin Endüstriyel Uygulama Beş Büyük Sınıflandırması

Güçlendirme Öğrenme (Reinforcement Learning), erken dönemde oyun zekasından endüstri-ötesi otonom karar çekirdeği çerçevesine evrilmiş olup, uygulama senaryoları teknik olgunluk ve endüstriyel uygulanabilirlik düzeylerine göre beş büyük kategoriye ayrılabilir ve her biri kendi alanında önemli ilerlemeler sağlamıştır.

· Oyun ve Strateji Sistemleri (Game & Strategy): RL, ilk doğrulanan alandır, AlphaGo, AlphaZero, AlphaStar, OpenAI Five gibi "mükemmel bilgi + açık ödül" ortamlarında, RL insan uzmanlara yetişebilen hatta onları aşabilen karar zekasını sergilemiş, modern RL algoritmalarının temelini atmıştır.

· Robotlar ve Somut Zeka (Embodied AI): RL, sürekli kontrol, dinamik modelleme ve ortam etkileşimi aracılığıyla robotların manipülasyon, hareket kontrolü ve cross-modal görevler (örneğin RT-2, RT-X) öğrenmelerini sağlayarak endüstriyelleşmeye hızla ilerlemektedir, gerçek dünya robotlarının uygulanmasının temel teknik rotasıdır.

· Dijital Çıkarım (Digital Reasoning / LLM System-2): RL + PRM, büyük modellerin "dil taklidi"den "yapısal çıkarım"a geçişini desteklemekte, başarı örnekleri arasında DeepSeek-R1, OpenAI o1/o3, Anthropic Claude ve AlphaGeometry bulunmaktadır, bunun özü, ödül optimizasyonunun çıkarım zinciri seviyesinde gerçekleştirilmesidir, sadece nihai cevabın değerlendirilmesi değil.

· Otomatik Bilimsel Keşif ve Matematiksel Optimizasyon (Scientific Discovery): RL, etiket olmayan, karmaşık ödül yapısı ve geniş arama uzayında en iyi yapı veya stratejiyi aramakta, AlphaTensor, AlphaDev, Fusion RL gibi temel ilerlemeleri gerçekleştirmiştir, insan sezgilerini aşan keşif yeteneği sergilemektedir.

· Ekonomik Karar Alma ve Ticaret Sistemi: RL, strateji optimizasyonu, yüksek boyutlu risk kontrolü ve uyarlamalı ticaret sistemleri oluşturmak için kullanılır, geleneksel nicel modelden daha belirsiz bir ortamda sürekli öğrenme yapabilme özelliği ile zeki finansın önemli bir bileşenidir.

Güçlendirme Öğrenme ve Web3'ün Doğal Uyumu

Güçlendirme öğrenme (RL) ile Web3'ün yüksek uyumu, her ikisinin de temelde "ödül tarafından yönlendirilen sistemler" olmasından kaynaklanmaktadır. RL, stratejiyi optimize etmek için ödül sinyaline dayanır, blok zincir ise katılımcı davranışlarını koordine etmek için ekonomik teşvike dayanır, bu da ikisinin mekanizma düzeyinde doğal olarak uyumlu olmalarını sağlar. RL'ın temel gereksinimleri - büyük ölçekli heterojen Rollout, ödül dağıtımı ve doğrulama - tam da Web3'ün yapısal avantajını oluşturmaktadır.

Neden ve Eğitimin Ayrılması

Güçlendirme öğrenmenin eğitim süreci açıkça iki aşamaya ayrılabilir:

· Rollout (Keşif Örnekleme): Model mevcut stratejiye dayalı olarak büyük miktarda veri üretir, yüksek hesaplama yoğunluğuna sahip ancak seyrek iletişimli bir görevdir. Bu, düğümler arasında sık iletişim gerektirmez, küresel olarak dağıtılmış tüketici sınıfı GPU'lar üzerinde paralel bir şekilde üretim için uygundur.

· Güncelleme (Parametre Güncelleme): Toplanan verilere dayanarak model ağırlıklarını günceller ve bu işlem yüksek bant genişliğine sahip merkezi bir düğüm tarafından gerçekleştirilir.

"Neden - Eğitim Ayrımı", merkezi olmayan heterojen hesaplama gücü yapısına doğal olarak uyar: Rollout, açık bir ağa dış kaynak olarak verilebilir, katkılar token mekanizması ile hesaplanırken, model güncellemeleri stabiliteyi sağlamak için merkezi olarak tutulur.

Doğrulanabilirlik (Doğrulanabilirlik)

ZK ve Proof-of-Learning, düğümlerin kestirimin gerçekten yapılıp yapılmadığını doğrulamasını sağlar ve açık ağlardaki dürüstlük sorununu çözer. Kod, matematik çıkarım gibi deterministik görevlerde, doğrulayıcılar sadece cevabı kontrol etmek zorundadır ve bu, merkezi olmayan RL sisteminin güvenilirliğini önemli ölçüde artırır.

Teşvik Katmanı, Token Ekonomisine Dayalı Geri Bildirim Üretim Mekanizması

Web3'ün token mekanizması, RLHF/RLAIF tercih geri bildirim katkıda bulunucularını doğrudan ödüllendirebilir, böylece tercih verilerinin şeffaf, hesaplanabilir, izin gerektirmeyen bir teşvik yapısı oluşturulur; paylaşımda bulunma ve kısıtlama (Staking/Slashing) geri bildirimin kalitesini daha da sınırlar, geleneksel kalabalık kaynağa göre daha verimli ve hizalanmış bir geri bildirim pazarı oluşturur.

Multi-Ajanlı Güçlendirme Öğrenimi (MARL) Potansiyeli

Blockchain temelde açık, şeffaf, sürekli evrim geçiren çoklu ajan ortamıdır, hesaplar, akıllı sözleşmeler ve ajanlar sürekli teşvik güdüsüyle stratejilerini ayarlarlar, bu da büyük ölçekli MARL deney alanları oluşturma potansiyeline sahip olmalarını doğal olarak sağlar. Henüz erken aşamada olmasına rağmen, durumunun açık olması, yürütülmesinin doğrulanabilir olması, teşvikin programlanabilir olması gibi özellikleri, gelecekte MARL'ın gelişimine ilkesel bir avantaj sağlar.

Klasik Web3 + Güçlendirme Öğrenimi Proje Analizi

Yukarıdaki teorik çerçeve temelinde, mevcut ekosistemde en temsilci projelerden birine kısa bir analiz yapacağız:

Prime Zeka: Asenkron Güçlendirme Öğrenim Paradigması prime-rl

Prime Zeka, küresel açık işlem gücü pazarı oluşturmayı, eğitim engelini düşürmeyi, işbirlikçi merkezi olmayan eğitimi teşvik etmeyi ve tamamen açık kaynaklı süper zeka teknoloji yığınını geliştirmeyi hedeflemektedir. Sistemi, Prime Compute (Birleşik Bulut/Dağıtık İşlem Gücü Ortamı), INTELLECT Model Family (10B–100B+), Açık Güçlendirme Öğrenimi Ortam Merkezi (Çevreler Hub) ve Büyük Ölçekli Sentetik Veri Motoru (SYNTHETIC-1/2) içerir.

Prime Zeka'nın çekirdek altyapı bileşeni prime-rl çerçevesi, asenkron dağıtılmış ortam için tasarlanmış ve güçlendirme öğrenmeyle yüksek derecede ilişkilidir, diğer bileşenler arasında bant genişliği kısıtlamalarını aşan OpenDiLoCo iletişim protokolü, hesap bütünlüğünü sağlayan TopLoc doğrulama mekanizması vb. bulunmaktadır.

Prime Zeka Çekirdek Altyapı Bileşenleri Genel Bakışı

Teknik Temel: prime-rl Asenkron Güçlendirme Öğrenme Çerçevesi

prime-rl, Prime Zeka'nın çekirdek eğitim motorudur, büyük ölçekli asenkron merkezi olmayan ortamlar için tasarlanmış olup, Actor–Learner'ın tamamen ayrılmış şekilde yüksek işlem hızı çıkarımı ve istikrarlı güncelleme sağlamak için bir araya geldiği bir yapıdadır. Yürütücü (Rollout Worker) ve Eğitmen (Trainer) artık senkronize bir şekilde engellememekte, düğümler her an katılabilmekte veya çıkabilmektedir, yalnızca en son stratejiyi sürekli olarak çekip yeni veri oluşturup yüklemeleri gerekmektedir:

· Yürütücü Aktör (Dağıtım İşçileri): Model çıkarımı ve veri oluşturmadan sorumludur. Prime Intellect, Yürütücü Aktör tarafında vLLM çıkarım motorunu entegre etmiştir. vLLM'nin PagedAttention teknolojisi ve Sürekli Toplu İşleme (Continuous Batching) yeteneği, Aktör'ün çıkarım izini çok yüksek bir verimlilikle oluşturmasını sağlar.

· Öğrenci Öğrenen (Eğitmen): Strateji optimizasyonundan sorumludur. Öğrenen, paylaşılan deneyim yeniden oynatma tamponundan veriyi asenkron olarak çekip gradyan güncellemesi yapar, tüm Aktörlerin mevcut yığını tamamlamasını beklemek zorunda değildir.

· Koordinatör (Orkestratör): Model ağırlıklarını ve veri akışını yönetir.

prime-rl'nin Anahtar İnovasyon Noktaları

· Tam Asenkron (Gerçek Asenkroni): prime-rl, geleneksel PPO'nun senkronizasyon paradigmasını terk eder, yavaş düğümleri beklemeye gerek yoktur, yığın hizalamasına ihtiyaç duyulmaz; bu sayede herhangi sayıda ve performansta GPU her zaman bağlanabilir, merkezi olmayan RL'nin uygulanabilirliğini sağlar.

· Derin Entegrasyon FSDP2 ve MoE: FSDP2 parametre dilimleme ve MoE seyrek aktivasyon aracılığıyla, prime-rl, dağıtılmış ortamda yüksek verimlilikte yüz milyarlık modeli eğitmeyi sağlar, Aktör yalnızca etkin uzmanları çalıştırır, bellek ve çıkarım maliyetini büyük ölçüde azaltır.

· GRPO+ (Grup Relatif Politika Optimizasyonu): GRPO Eleştirmen ağını ortadan kaldırır, hesaplama ve bellek maliyetini önemli ölçüde azaltır, asenkron ortama doğal olarak uyum sağlar, prime-rl'nin GRPO+ ayrıca kararlılaştırma mekanizması aracılığıyla yüksek gecikme koşullarında güvenilir yakınsamayı sağlar.

INTELLECT Model Ailesi: Merkezi Olmayan RL Teknolojisinin Olgunluk İşareti

INTELLECT-1 (10B, Ekim 2024): İlk kez, OpenDiLoCo'nun, kıtalararası heterojen bir ağda yüksek verimli eğitiminin kanıtını sunmuştur (iletişim oranı <2%, hesaplama kapasitesi kullanımı %98), coğrafi bölgesel eğitimde fiziksel farkındalığı kırmıştır;

INTELLECT-2（32B, Nisan 2025）, İlk İzin Verilen RL Modeli olarak, prime-rl ve GRPO+ 'nın çok adımlı gecikme, asenkron ortamda kararlı yakınsama yeteneğini doğrulayan, küresel açık güç katılımını sağlayan merkezi olmayan bir RL başarır;

INTELLECT-3（106B MoE, Kasım 2025）, Sadece 12B parametre etkinleştiren seyrek bir mimari kullanarak, 512×H200 üzerinde eğitilmiş ve bayrak gemisi seviyesinde çıkarım performansı (AIME 90.8%, GPQA 74.4%, MMLU-Pro 81.9% vb.) elde eden ve genel performansı kendi başına çok daha büyük merkezi kapalı kaynak modelini yakın hale getiren bir mimari gerçekleştirir.

Prime Intellect ayrıca birkaç destekleyici altyapı oluşturmuştur: OpenDiLoCo, zaman seyrek iletişim ve niceliksel ağırlık farkı aracılığıyla iletişim miktarını yüzlerce kat azaltarak, INTELLECT-1'in üç kıtayı aşan ağda %98 verimliliği korumasını sağlar; TopLoc + Denetleyiciler, merkezi olmayan güvenilir yürütme katmanı oluşturarak, parmak izi ve kum havuzu doğrulaması ile çıkarım ve ödül verilerinin gerçekliğini sağlar; SENTETİK veri motoru, büyük ölçekli yüksek kaliteli çıkarım zincirleri üretir ve 671B modelini tüketici sınıfı GPU kümesinde verimli bir şekilde çalıştırır, bu da akış hattı paralelliği ile gerçekleşir. Bu bileşenler, merkezi olmayan RL için veri üretimi, doğrulama ve çıkarım kapasitesini sağlayan temel mühendislik altyapısını sağlar. INTELLECT Serisi, bu teknoloji yığınının olgun bir şekilde dünya standartlarına uygun modeller üretebileceğini kanıtlar ve merkezi olmayan eğitim sisteminin kavramsal aşamadan uygulamalı aşamaya geçtiğini işaret eder.

Gensyn: Pekiştirme Öğrenme Çekirdek Yığını RL Swarm ve SAPO

Gensyn'ın amacı, küresel boşta kapasiteyi bir araya getirerek açık, güvene dayalı, sınırsız ölçeklenebilir bir AI eğitim altyapısı oluşturmaktır. Temel noktaları arasında cihazlar arası standartlaştırılmış yürütme katmanı, noktadan noktaya koordinasyon ağı ve güvene dayalı görev doğrulama sistemi bulunmaktadır ve akıllı sözleşmeler aracılığıyla görevleri ve ödülleri otomatik olarak tahsis eder. Pekiştirme öğrenmeye odaklanarak, Gensyn RL Swarm, SAPO ve SkipPipe gibi temel mekanizmaları tanıtır ve üretim, değerlendirme, güncelleme üç aşamayı ayırır, küresel farklı GPU'lardan oluşan bir "sürü" ile topluca evrimleşmeyi sağlar. Sonuç olarak sunulan şey, sadece saf hesaplama gücü değil, aynı zamanda doğrulanabilir zeka (Verifiable Intelligence)'dır.

Gensyn Yığınına Güçlü Öğrenme Uygulaması

RL Swarm: Merkezsiz İşbirlikçi Güçlendirme Öğrenme Motoru

RL Swarm, benzersiz bir işbirliği modeli sergilemektedir. Artık yalnızca görev dağıtımı değil, insan toplumunun öğrenme sürecini simüle eden merkezsiz bir "üretim-değerlendirme-güncelleme" döngüsüdür, işbirlikçi öğrenme sürecine benzetilen sonsuz bir döngü:

· Çözücüler (Yürütücüler): Yerel model çıkarımı ve Rollout üretimiyle görevli, düğümler arası tür çeşitliliğine engel değil. Gensyn, yüksek kapasiteli yerel çıkarım motorunu (örneğin CodeZero) entegre ederek yalnızca cevap değil tam bir iz yolunu çıkış verebilir.

· Tasarlayıcılar (Önericiler): Dinamik olarak görevler oluşturur (matematik soruları, kod sorunları vb.), görev çeşitliliğini ve Müfredat Öğrenme benzeri zorluk seviyesine uyumu destekler.

· Değerlendiriciler: Donmuş "hakem modeli" veya kurallar kullanarak yerel Rollout'ları değerlendirir, yerel ödül sinyali üretir. Değerlendirme süreci denetlenebilir, kötü niyetli davranış alanını azaltır.

Üçü, merkezi olmayan bir P2P RL organizasyon yapısı oluşturur, büyük ölçekli işbirlikçi öğrenmeyi tamamlamak için merkezi planlama olmaksızın çalışabilir.

SAPO: Merkezsiz Yeniden Yapılandırma için Strateji Optimizasyon Algoritması

SAPO (Swarm Sampling Policy Optimization), "Pazarlama Ortak Rollout ve Gradientsiz Sinyal Örneği Filtreleme, Gradyanı Paylaşma" prensibi üzerine odaklanarak, büyük ölçekli merkezsiz Rollout örnekleme kullanır ve alınan Rollout'ları yerel üretim olarak görür, böylece merkezi olmayan koordinasyon, gecikme farklılıkları yüksek olan bir ortamda kararlı bir şekilde yakınsar. Kritik ağa, yüksek hesaplama maliyetine sahip PPO'ya veya GRPO'ya dayanmak yerine, SAPO, tüketici sınıfı GPU'ların bile etkili bir şekilde büyük ölçekli güçlendirme öğrenme optimizasyonuna katılmasını sağlayan çok düşük bant genişliğiyle çalışır.

RL Swarm ve SAPO aracılığıyla, Gensyn, Güçlendirme Öğrenme'yi (özellikle sonradan eğitim aşaması RLVR'sını) doğal olarak merkezsiz mimariye uygun olduğunu kanıtlamıştır - çünkü büyük ölçekli, çeşitlendirilmiş keşfe (Rollout) ve yüksek frekanslı parametre senkronizasyonuna değil dayanır. PoL ve Verde'nin doğrulama sistemi ile birleştirilerek, Gensyn, trilyonlarca parametreli modelin eğitiminde, tek bir teknoloji devine bağımlı olmayan alternatif bir yol sunar: küresel milyonlarca farklı GPU'dan oluşan, kendi kendini evrimleştiren süper zeki bir ağ.

Nous Research: Onaylanabilir Güçlendirme Öğrenme Ortamı Atropos

Nous Research, Merkezsiz, Kendini Evrimleştirebilen Bilişsel Altyapı seti oluşturmaktadır. Ana bileşenleri olan Hermes, Atropos, DisTrO, Psyche ve World Sim, sürekli bir döngü içindeki zeka evrim sistemini oluşturmak üzere düzenlenmiştir. Geleneksel "Ön Eğitim-Son Eğitim-Çıkarım" lineer süreçten farklı olarak, Nous, DPO, GRPO, Reddetme Örnekleme vb. güçlendirme öğrenme tekniklerini benimseyerek veri üretimini, doğrulamayı, öğrenmeyi ve çıkarımı sürekli bir geri besleme döngüsü olarak birleştirir ve sürekli gelişen bir kapalı çevre yapar.

Nous Research Bileşenleri Genel Bakışı

Model Katmanı: Hermes ve Çıkarım Yeteneğinin Gelişimi

Hermes serisi, Nous Research'in kullanıcılar için ana model arabirimidir ve evrimi, endüstrinin geleneksel SFT/DPO hizalamadan çıkarım güçlendirme öğrenmeye (Mantıksal RL) geçiş yolunu net bir şekilde göstermektedir:

· Hermes 1–3: Talimat hizalamı ve erken aşamada ajan yeteneği: Hermes 1–3, düşük maliyetli DPO'ya dayanarak sağlam talimat hizalamını gerçekleştirir ve Hermes 3, sentetik verilere ve ilk kez tanıtılan Atropos doğrulama mekanizmasına dayanır.

· Hermes 4 / DeepHermes: Düşünce zinciri aracılığıyla Sistem-2 tarzı yavaş düşünme ağırlıklarına yazılarak Test-Time Scaling ile matematiksel ve kod performansı artırılır ve "Reddetme Örnekleme + Atropos Doğrulama"ya dayanarak yüksek saflıkta çıkarım verileri oluşturulur.

· DeepHermes, dağıtıma zor olan PPO'nun yerine GRPO'yu benimseyerek çıkarım RL'in Psyche merkezsizleştirilmiş GPU ağında çalışmasını sağlar ve açık kaynaklı çıkarım RL'in ölçeklenebilirliğini sağlamak için mühendislik altyapısı oluşturur.

Atropos: Onaylanabilir Ödül Odaklı Güçlendirme Öğrenme Ortamı

Atropos, Nous RL sistemlerinin gerçek hub'ıdır. İpucunu, araç çağrısını, kod yürütme ve çok turlu etkileşimi standart bir RL ortamına dönüştürerek, doğrudan çıktının doğru olup olmadığını doğrulayabilen ve bu sayede belirli bir ödül sinyali sağlayabilecek, pahalı ve ölçeklenemez insan etiketlemesini yerine getirir. Daha da önemlisi, Psyche merkezsiz eğitim ağında Atropos, düğümlerin politikalarını gerçekten geliştirip geliştirmediğini doğrulamak için bir "hakem" olarak işlev görür, denetlenebilir Öğrenme Kanıtı'nı destekler ve dağıtılmış bir RL içinde ödül güvenilirliği sorununu temelden çözer.

DisTrO ve Psyche: Merkezi Olmayan Pekiştirme Öğrenmesi için Optimizasyon Katmanı

Geleneksel RLF (RLHF/RLAIF) eğitimi, merkezi yüksek bant genişliği kümesine dayanır, bu da açık kaynaklı ve çoğaltılabilir olmayan bir merkezi engeldir. DisTrO, momentumun çözülmüş ve gradyan sıkıştırmanın birleşimiyle RL'nin iletişim maliyetini birkaç büyüklük düşürerek eğitimin internet genişliğinde çalışmasını sağlar; Psyche ise bu eğitim mekanizmasını zincir üstü ağda dağıtarak düğümlerin yerel olarak çıkarım, doğrulama, ödül değerlendirmesi ve ağırlık güncelleme işlemlerini tamamlamasını sağlar, böylece tam döngülü bir RL oluşturur.

Altyapı Nouste, Atropos doğrulama düşünce zinciri; DisTrO eğitim iletişimini sıkıştırma; Psyche RL döngüsünü çalıştırma; World Sim karmaşık ortam sağlama; Forge gerçek çıkarımı toplama; Hermes tüm öğrenmeleri ağırlıklara yazma. Pekiştirme öğrenme, Nous mimarisinde veri, çevre, model ve altyapıyı birbirine bağlayan merkezi bir protokol olmanın ötesinde, Hermes'i sürekli olarak iyileşen bir canlı sistem haline getirir.

Gradient Ağı: Pekiştirme Öğrenme Mimarisi Echo

Gradient Ağı'nın temel vizyonu, "Açık Zekâ Protokol Yığını" ile AI hesaplama paradigmını yeniden yapılandırmaktır. Gradient'in teknoloji yığını, bağımsız olarak geliştirilebilen ve heterojen bir şekilde işbirliği yapabilen çekirdek protokollerden oluşur. Altyapı, alt seviye iletişimden üst seviye zekâ işbirliğine Parallax (dağıtılmış çıkarım), Echo (merkezi olmayan RL eğitimi), Lattica (N2N ağ), SEDM / Massgen / Symphony / CUAHarm (bellek, işbirliği, güvenlik), VeriLLM (güvenilir doğrulama), Mirage (yüksek sadakatli simülasyon) sırayla yer alır ve sürekli evrilen merkezi olmayan zeka altyapısını oluşturur.

Echo - Pekiştirme Öğrenme Eğitim Mimarisi

Echo, Gradient'in pekiştirme öğrenme çerçevesidir ve temel tasarım prensibi, eğitimin, çıkarımın ve veri (ödül) yolunun pekiştirme öğrenme sürecinden ayrılmasıdır, böylece Rollout oluşturmanın, politika iyileştirmenin ve ödül değerlendirmenin heterojen ortamlarda bağımsız olarak genişletilebilmesini ve planlanabilmesini sağlar. Çıkarım tarafı ve eğitim tarafı düğümlerinden oluşan heterojen bir ağda işbirliği yaparak, geniş alan heterojen ortamında eğitim istikrarını sürdürmek için hafif senkronizasyon mekanizması kullanır, bu da geleneksel DeepSpeed RLHF / VERL'de çıkarımın ve eğitimin karışık çalışmasından kaynaklanan SPMD başarısızlığını ve GPU kullanımı sınırlamasını etkili bir şekilde hafifletir.

Echo, Algoritma Gücünü En Üst Seviyede Kullanmak İçin "Çıkarım-Eğitim Çift Küme Mimarisi"ni kullanır; her iki küme de bağımsız olarak çalışır ve birbirini engellemez:

· Örnekleme Kapasitesini En Üst Seviyede Kullanma: Çıkarım Kümesi, Tüketici Düzeyi GPU'lar ve uç cihazlar tarafından oluşturulan Yüksek Kapasiteli Örnekleyiciyi, Paralel Eşlik ile birleştirerek, iz yolunu oluşturmaya odaklanır;

· Gradyan Algoritmasını En Üst Seviyede Kullanma: Eğitim Kümesi, Merkezi Küme veya Küresel Çoklu Konumlar'da çalışabilen Tüketici Düzeyi GPU Ağları tarafından, gradyan güncellemesi, parametre senkronizasyonu ve LoRA ince ayarı ile ilgilenerek, öğrenme sürecine odaklanır.

Strateji ve veri tutarlılığını sürdürmek için, Echo, Sıralı (Sıralı) ve Eşzamanlı (Eşzamanlı) olmak üzere iki tür hafif senkronizasyon protokolü sunar, böylece strateji ağırlıkları ile iz yolu arasında çift yönlü tutarlılık yönetimi sağlanır:

· Çekme (Pull) Modunda Sıralı Alım|Hassasiyet Öncelikli: Eğitim tarafı, yeni iz yolu çekmeden önce çıkarım düğümünü zorunlu olarak model sürümünü güncellemeye zorlar, böylece iz yolunun tazeliğini sağlar, strateji eskiliğinden çok hassas görevler için uygundur;

· İtme-Çekme (Push-Pull) Modunda Eşzamanlı Alım|Verimlilik Öncelikli: Çıkarım tarafı sürekli olarak etiketli iz yolları oluştururken, eğitim tarafı kendi ritmine göre tüketir, koordinatör versiyon sapmasını izler ve ağırlık yenilemeyi tetikler, cihaz kullanımını en üst düzeye çıkarır.

Altta, Echo, Parallax (Düşük Bant Genişliği Ortamlarda Heterojen Çıkarım) ve Hafif Dağıtılmış Eğitim Bileşenleri (örneğin VERL) üzerine inşa edilmiş olup, LoRA'ya dayanarak düğümler arası senkronizasyon maliyetini azaltır ve güçlendirme öğrenmenin küresel heterojen ağlar üzerinde istikrarlı bir şekilde çalışmasını sağlar.

Grail: Bittensor Ekosisteminin Pekiştirme Öğrenimi

Bittensor, benzersiz Yuma İkna Mekanizması aracılığıyla, devasa, seyrek, durağan olmayan bir ödül işlevi ağı inşa etmiştir.

Bittensor Ekosistemi'ndeki Covenant AI, SN3 Templar, SN39 Basilica ve SN81 Grail aracılığıyla, öntanımlı eğitimden RL sonrası eğitime dikey bütünleşik bir boru hattı kurmuştur. SN3 Templar, temel modelin öntanımını, SN39 Basilica, dağıtılmış hesaplama pazarını sağlarken, SN81 Grail, RL sonrası eğitim için "doğrulanabilir çıkarım katmanı" olarak hareket eder ve RLHF/RLAIF'in merkezi süreci olan temel modelden hizalı stratejiye döngüsel olarak optimize eder.

GRAIL'ın amacı, Her güçlendirme öğrenme rollout'unun gerçekliğini ve model kimliği bağlılığını kriptografiyle kanıtlamak ve RLHF'nin güvenilir bir şekilde güven olmadan yürütülmesini sağlamaktır. Protokol, güvenilir bir zincir oluşturmak için üç katmanlı bir mekanizma kullanır:

1. Belirginlik Zorluğu Üretimi: drand rastgele işaret ve blok karması kullanılarak tahmin edilemez ancak yeniden üretilebilir zorluk görevi oluşturulur (Örneğin SAT, GSM8K), önceden hesaplama hilelerini önler;

2. PRF Dizininde Örnekleme ve çizim taahhütleri aracılığıyla gl token düzeyi logprob ve çıkarım zincirleri üzerinde doğrulayıcılar, rollout'un beyan edilen modele dayandığını çok düşük maliyetle doğrular;

3. Model Kimliği Bağlılığı: Çıkarım sürecini model ağırlığı parmak izi ve token dağılımının yapısal imzasıyla bağlayarak, model değiştirme veya sonuçların yeniden oynatılmasının hemen tanınmasını sağlar. Bu sayede, RL'de çıkarım yolu (rollout) için bir gerçeklik temeli sağlanır.

Bu mekanizma üzerinde, Grail alt ağı, GRPO tarzında doğrulanabilir sonrası eğitim sürecini gerçekleştirir: madenciler aynı konu için birden fazla çıkarım yolu oluşturur, doğrulayıcılar doğruluk, çıkarım zinciri kalitesi ve SAT tatminlik puanına dayanarak ve normalleştirilmiş sonuçları zincire yazar, TAO ağırlığı olarak. Açık deneyler, bu çerçevenin Qwen2.5-1.5B MATH doğruluğunu %12,7'den %47,6'ya yükselttiğini göstermiştir, hile koruyabileceğini ve model yeteneğini önemli ölçüde artırabileceğini kanıtlamıştır. Covenant AI'nın eğitim yığınında, Grail, merkezi olmayan RLVR/RLAIF'nin güven ve yürütme köprüsüdür ve şu anda resmi ana ağa geçiş yapmamıştır.

Fraction AI: Rekabetçi Güçlendirme Öğrenimine Dayalı AIYB

Fraction AI'nın mimarisi açıkça Rekabetçi Güçlendirme Öğrenimi (Reinforcement Learning from Competition, RLFC) ve oyunsallaştırılmış veri etiketlemesi etrafında oluşturulmuş olup, geleneksel RLHF'nin statik ödülünü ve insan etiketlemesini açık, dinamik bir rekabet ortamıyla değiştirir. Ajantlar farklı Alanlar arasında karşılaşır, bu göreceli sıralama ve Yapay Zeka Yargıcının puanı gerçek zamanlı ödülü oluşturur, bu da hizalamayı sürekli çevrimiçi çoklu ajanlı oyun sistemine dönüştürür.

Geleneksel RLHF ile Fraction AI'nin RLFC arasındaki temel fark:

RLFC'nin Temel Değeri, artık ödül tek bir modelden gelmek yerine sürekli evrim geçiren rakip ve değerlendiriciden gelir, ödül modelinin istismar edilmesini önler ve ekosistemin yerel optimum'a sıkışmasını çeşitli stratejiler aracılığıyla önler. Spaces'ın yapısı oyunun niteliğini belirler (sıfır toplam veya pozitif toplam) ve rekabet ve işbirliği arasında karmaşık davranışların ortaya çıkmasını teşvik eder.

Sistem mimarisi açısından, Fraction AI, eğitim sürecini dört temel bileşene ayırır:

· Ajanlar: Açık kaynaklı LLM tabanlı hafif politika birimleri, QLoRA ile fark ağırlık genişletmesi yaparak, düşük maliyetli güncelleme;

· Alanlar: İzole edilmiş görev alanı ortamları, ajanların ücretli giriş yapmasına ve galibiyet ve mağlubiyetle ödüllendirilmesine izin verir;

· AI Hakimleri: RLAIF tarafından oluşturulan anlık ödül katmanı, ölçeklenebilir, merkezi olmayan değerlendirme sağlar;

· Öğrenmenin Kanıtı: Politika güncellemelerini belirli bir rekabet sonucuna bağlar, eğitim sürecinin denetlenebilir ve hile karşıtı olmasını sağlar.

Fraction AI'ın özü, bir insan-makine işbirliği evrim motoru inşa etmektedir. Kullanıcılar, "Meta-optimizer" olarak strateji katmanında yer alır, Prompt Mühendisliği ve hiperparametre yapılandırması ile keşif yönünde rehberlik eder; ajanlar ise mikro düzeydeki rekabetlerde büyük miktarda yüksek kaliteli Tercih Çiftleri verilerini otomatik olarak oluştururlar. Bu model, veri etiketlemenin "Güvensiz Fezileme" aracılığıyla işletme döngüsüne entegre edilmesini sağlar.

Güçlendirme Öğrenimi Web3 Proje Mimarisi Karşılaştırması

Özet ve Gelecek Görünüm: Güçlendirme Öğrenimi × Web3 Yolu ve Fırsatı

Yukarıdaki önde gelen projelerin çözümlemesine dayanarak, gözlemlediğimiz nokta şudur: Her ne kadar ekiplerin yaklaşım noktaları (algoritma, mühendislik veya pazar) farklı olsa da, güçlendirme öğrenimi (RL) ve Web3 bir araya geldiğinde, temel mimari mantığın hepsi "ayrıştırma-doğrulama-teşvik" paradigmasına yüksek derecede yakınsadığını gözlemliyoruz. Bu sadece bir teknolojik tesadüf değil, aynı zamanda merkeziyetsiz bir ağın güçlendirme öğreniminin benzersiz özelliklerine uyum sağlamasının kaçınılmaz bir sonucudur.

Güçlendirme Öğrenme Genel Mimari Özellikleri: Temel Fiziksel Kısıtlamalar ve Güven Sorunlarını Çözme

1. Hareket ve Öğrenme Ayrımı (Rollout & Öğrenmeyi Ayırma)——Varsayılan Hesaplama Topolojisi

İletişim seyrek, paralel Rollout'lar küresel tüketici GPU'ya dış kaynak sağlar, yüksek bant genişliğine sahip parametre güncellemeleri az sayıda eğitim düğümüne odaklanır, Prime Intellect'in Asenkron Aktör-Öğrenen'inden Gradient Echo'nun İkili Küme Mimarisine kadar.

2. Doğrulama Odaklı Güven Katmanı (Doğrulama Odaklı Güven)——Altyapısal

Lisanssız ağda, hesaplama doğruluğu matematiksel ve mekanizma tasarımıyla zorunlu olarak sağlanmalıdır, bu temsilciler Gensyn'in PoL'u, Prime Intellect'in TOPLOC'u ve Grail'in şifreleme doğrulamasını içerir.

3. Tokenleştirilmiş Teşvik Döngüsü (Tokenleştirilmiş Teşvik Döngüsü)——Piyasa Kendini Düzenleme

Hash gücü temini, veri oluşturma, doğrulama sıralaması ve ödül paylaşımı bir döngü oluşturur, katılımı ödüllendirme yoluyla teşvik eder, hileleri bastırmak için Slash aracılığıyla ağın açık ortamda istikrarını ve sürekli evrimini korur.

Farklılaştırıcı Teknoloji Yolu: Ortak Mimaride Farklı “Atılım Noktaları”

Mimari benzer olsa da, her bir proje kendi genlerine dayalı olarak farklı teknolojik kale avları seçti:

· Algoritma Atılımı Takımı (Nous Araştırması): Dağıtılmış eğitimin temel çelişkisini (bant genişliği darboğazı) matematiksel temelde çözmeyi amaçlar. DisTrO Optimizasyoncu, gradyan iletişim miktarını binlerce kat sıkıştırmayı hedefler, evdeki geniş bantın da büyük model eğitimini destekleyebilmesini sağlamayı amaçlar, bu fiziksel kısıtlamalara karşı “boyut indirme” saldırısıdır.

· Sistem Mühendisliği Takımı (Prime Intellect, Gensyn, Gradient): Gelecek nesil "AI çalışma zamanı sistemi"ni inşa etmeye odaklanır. Prime Intellect'in ShardCast'i ve Gradient'in Parallax'ı, mevcut ağ koşullarında, aşırı mühendislik yöntemleriyle en yüksek heterojen küme verimliliğini elde etmek için tasarlanmıştır.

· Pazar Oyunu Teorisyeni (Bittensor, Fraction AI): Ödül Fonksiyonu tasarımına odaklanır. Karmaşık bir puanlama mekanizması tasarlayarak madencileri en iyi stratejiyi bulmaya teşvik eder ve akıllı gelişimi hızlandırır.

Avantajlar, Zorluklar ve Nihai Görünüm

Güçlendirme Öğrenme ve Web3'ün birleşiminde, sistem düzeyi avantajlar öncelikle masaüstü yapı ve yönetim yapısının yeniden yazılmasında görülür.

· Maliyet Yeniden Şekillendirme: RL sonrası eğitim, Örneklemeye olan ihtiyacı sınırsız olduğundan Web3, düşük maliyetle küresel uzun kuyruk hesaplama gücünü harekete geçirebilir, bu da merkezi bulut sağlayıcılarının karşılayamayacağı bir maliyet avantajıdır.

· Egemenliğin Hizalanması (Sovereign Alignment): Büyük şirketlerin yapay zeka değerlerine (Hizalama) olan tekeli kırar ve topluluk, Token oylamasıyla modelin "iyi cevabın ne olduğunu" belirleyebilir, bu da yapay zeka yönetiminin demokratikleşmesini sağlar.

Aynı zamanda, bu sistem iki büyük yapısal kısıtlamayla karşı karşıyadır.

· Bant Genişliği Engeli (Bandwidth Wall): DisTrO gibi yeniliklere rağmen, fiziksel gecikme 70B+ parametreli modellerin tam ölçekli eğitimini sınırlamaktadır, şu anda Web3 yapay zeka daha çok ayar ve akıl yürütmeyle sınırlıdır.

· Ödül Sahteciliği (Reward Hacking): Yüksek derecede teşvik edilen bir ağda, madenciler ödül kurallarını "aşırı uygulama" ve gerçek zekayı geliştirmek yerine puan toplama amacıyla aşırı uygulama eğilimindedir. Hile yapmaya karşı dayanıklı bir ödül fonksiyonu tasarlamak sonsuz bir mücadeledir.

· Kötücül Bizanslı İşçi Saldırısı (BYZANTINE Worker): Eğitim sinyalini aktif olarak manipüle etmek ve modelin yakınsamasını zehirlemek suretiyle. Hile yapmaya karşı sürekli olarak ödül fonksiyonları tasarlamak yerine, karşı koyucu dayanıklılığı olan bir mekanizma inşa etmek esastır.

Güçlendirme Öğrenme ve Web3'ün birleşimi, temelde "zeka nasıl üretilir, hizalanır ve değer dağıtılır" mekanizmasını yeniden yazmaktır. Evrim yolu üç tamamlayıcı yönde özetlenebilir:

1. Merkezi Olmayan Rollout Network: Hesaplama gücü madencilerinden strateji ağına, paralel ve doğrulanabilir Rollout'u küresel uzun kuyruklu GPU'lara dış kaynak kullanımı sağlamak; kısa vadede doğrulanabilir akıl yürütme pazarına odaklanma, orta vadede görevlere göre kümeleştirilmiş güçlendirme öğrenme alt ağına evrim geçirme;

2. Tercih ve Ödül Varlıklaştırması: İşaretlemeli Emekten Veri Paylaşımına. Tercih ve ödül varlıklaştırmasını gerçekleştirerek yüksek kaliteli geri bildirimi Varlıklaştırma Modeli'ne dönüştürün, yönetilebilir ve paylaşılabilir veri varlıklarına dönüştürün, "İşaretlemeli Emek"ten "Veri Paylaşımı"na yükseltin

3. Dikey Alanın "Küçük ve Güzel" Evrimi: Doğrulanabilir sonuçlar ve ölçeklenebilir getiri ile nüfuz edilebilir dikey senaryolarda küçük ancak güçlü özel RL Ajanlarının oluşturulması, DeFi strateji yürütme, kod oluşturma gibi, strateji geliştirmeyi ve değer yakalamayı doğrudan bağlantılı hale getirerek genel kapalı kaynaklı modellere karşı başarı şansı sunar.

Genel olarak, Güçlendirme Öğrenme × Web3'ün gerçek fırsatı, merkezi olmayan bir OpenAI sürümünü kopyalamakta değil, asıl fırsat, "zeka üretim ilişkisini" yeniden yazmaktadır: Eğitim işbirliğini açık hesaplama gücü pazarı haline getirin, ödül ve tercihi yönetilebilir bir şekilde zincir üstü varlık haline getirin, zeka tarafından sağlanan değerin artık platformda yoğunlaşmadığını, ancak eğitmenler, hizalayanlar ve kullanıcılar arasında yeniden dağıtıldığı bir yapıya dönüştürün.

Original Link

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia