Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Trilyon parametreli büyük modellerin güçlendirme öğrenme eşiğini aşmak: Açık kaynaklı prime-rl, 28 sunucu ile 131k bağlamı eğitebiliyor

Beating tarafından yapılan izlemeye göre, Prime Intellect, prime-rl 0.6.0 sürümü olan dağıtık pekiştirmeli öğrenme eğitim çerçevesini yayınladı. Bu sürüm, trilyon parametreli MoE (Uzman Karışımı) modelinin aşırı uzun bağlamlı ajan görevlerinde pekiştirmeli öğrenme (RL) eğitiminin önündeki engeli aştı.

Büyük modellerin 256k uzunluğundaki aşırı uzun metinleri okuması nadir değildir, ancak pekiştirmeli öğrenme eğitiminde, modelin kendi kendine deneme-yanılma yoluyla akıl yürütme alıştırması yapabilmesi için, grafik kartlarının 131k uzunluğundaki devasa ara aktivasyon değerlerini tamamen saklaması gerekir. Bu durum, bellek tüketiminin yüzlerce veya binlerce kat artmasına neden olur. Daha önce bu, binlerce grafik kartından oluşan büyük bir küme gerektiriyordu, ancak prime-rl 0.6.0, yalnızca 28 adet H200 sunucusu kullanarak GLM-5'in 131k bağlamlı pekiştirmeli öğrenme eğitimini başarıyla çalıştırdı ve her adımın süresini 5 dakikanın altında tuttu.

Karmaşık kod üretimi gibi deneme-yanılma görevlerinde, çok az sayıdaki uzun kuyruklu zaman alıcı görevin küresel adımı bloke ederek grafik kartı kaynaklarının uzun süre boş kalması sorununu çözmek için çerçeve, geleneksel senkron bekleme mekanizmasını kırdı ve tamamen ayrıştırılmış bir asenkron RL mimarisi benimsedi. Arka plan eğitmeni, yeni ağırlıkları hesapladıktan sonra devam eden deneme-yanılma görevlerinin bitmesini beklemez; doğrudan model metin üretirken güncellemeyi gerçek zamanlı olarak iletir. Dağıtılmış görevler, hızı korumak için eski stratejiyi kullanmaya devam ederken, yeni görevler önbelleği zorla yeniden oluşturmak için KV-cache tuzu enjekte eder. Asenkron güncellemelerde eğitim ve çıkarım adımlarının uyumsuzluğunun model mantığını bozma riskine karşı çerçeve, R3 (Rota Tekrar Oynatma) teknolojisini tanıttı. Bu teknoloji, uzman dağıtım verilerini doğrudan alt katmanda işleyerek veri dönüşümünden kaynaklanan sistem gecikmesini ortadan kaldırır ve iki taraf arasındaki uyumsuzluğu onda birine düşürerek asenkron eğitimi büyük ölçüde dengeler.

Alt katman kaynaklarının sıkıştırılmasında çerçeve, grafik kartı belleğinin uzun metinler tarafından şişirilmesi sorununu ince bir tasarımla tamamen çözdü. Çıkarım tarafı, okuma ve yazma hesaplamalarını ayıran bir mimari kullanarak büyük modelin çok sayıda ön bilgiyi okurken sonraki metin üretimini bloke etmesini önler; aynı zamanda birden fazla grafik kartını birleştirerek uzman bilgisini paylaşır ve Mooncake teknolojisini kullanarak birden fazla sunucunun boş belleğini ve diskini ortak bir önbellek havuzunda birleştirir. Aşırı uzun metinlerin paralel hesaplamasında, GLM-5'in benzersiz DSA seyrek dikkat mekanizması için çerçeve, özel bir paralel plan oluşturdu. Bu plan, modelin genel bir bakış açısına sahip olmasını sağlarken her katmandaki grafik kartları arasındaki veri iletişim maliyetini yalnızca bir kez düşürür. Eğitim tarafı ise DeepGEMM ile birleşerek DeepSeek V3 tarafından önerilen blok ölçeklendirmeli FP8 eğitimini uygular. Bu sayede eğitim ve çıkarım tarafları aynı hassasiyeti ve hesaplama çekirdeğini kullanır ve hassasiyet sapmalarından kaynaklanan eğitim çökmeleri temelden ortadan kaldırılır.

Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla