Beating tarafından yapılan izlemeye göre, Prime Intellect, prime-rl 0.6.0 sürümü olan dağıtık pekiştirmeli öğrenme eğitim çerçevesini yayınladı. Bu sürüm, trilyon parametreli MoE (Uzman Karışımı) modelinin aşırı uzun bağlamlı ajan görevlerinde pekiştirmeli öğrenme (RL) eğitiminin önündeki engeli aştı.
Büyük modellerin 256k uzunluğundaki aşırı uzun metinleri okuması nadir değildir, ancak pekiştirmeli öğrenme eğitiminde, modelin kendi kendine deneme-yanılma yoluyla akıl yürütme alıştırması yapabilmesi için, grafik kartlarının 131k uzunluğundaki devasa ara aktivasyon değerlerini tamamen saklaması gerekir. Bu durum, bellek tüketiminin yüzlerce veya binlerce kat artmasına neden olur. Daha önce bu, binlerce grafik kartından oluşan büyük bir küme gerektiriyordu, ancak prime-rl 0.6.0, yalnızca 28 adet H200 sunucusu kullanarak GLM-5'in 131k bağlamlı pekiştirmeli öğrenme eğitimini başarıyla çalıştırdı ve her adımın süresini 5 dakikanın altında tuttu.
Karmaşık kod üretimi gibi deneme-yanılma görevlerinde, çok az sayıdaki uzun kuyruklu zaman alıcı görevin küresel adımı bloke ederek grafik kartı kaynaklarının uzun süre boş kalması sorununu çözmek için çerçeve, geleneksel senkron bekleme mekanizmasını kırdı ve tamamen ayrıştırılmış bir asenkron RL mimarisi benimsedi. Arka plan eğitmeni, yeni ağırlıkları hesapladıktan sonra devam eden deneme-yanılma görevlerinin bitmesini beklemez; doğrudan model metin üretirken güncellemeyi gerçek zamanlı olarak iletir. Dağıtılmış görevler, hızı korumak için eski stratejiyi kullanmaya devam ederken, yeni görevler önbelleği zorla yeniden oluşturmak için KV-cache tuzu enjekte eder. Asenkron güncellemelerde eğitim ve çıkarım adımlarının uyumsuzluğunun model mantığını bozma riskine karşı çerçeve, R3 (Rota Tekrar Oynatma) teknolojisini tanıttı. Bu teknoloji, uzman dağıtım verilerini doğrudan alt katmanda işleyerek veri dönüşümünden kaynaklanan sistem gecikmesini ortadan kaldırır ve iki taraf arasındaki uyumsuzluğu onda birine düşürerek asenkron eğitimi büyük ölçüde dengeler.
Alt katman kaynaklarının sıkıştırılmasında çerçeve, grafik kartı belleğinin uzun metinler tarafından şişirilmesi sorununu ince bir tasarımla tamamen çözdü. Çıkarım tarafı, okuma ve yazma hesaplamalarını ayıran bir mimari kullanarak büyük modelin çok sayıda ön bilgiyi okurken sonraki metin üretimini bloke etmesini önler; aynı zamanda birden fazla grafik kartını birleştirerek uzman bilgisini paylaşır ve Mooncake teknolojisini kullanarak birden fazla sunucunun boş belleğini ve diskini ortak bir önbellek havuzunda birleştirir. Aşırı uzun metinlerin paralel hesaplamasında, GLM-5'in benzersiz DSA seyrek dikkat mekanizması için çerçeve, özel bir paralel plan oluşturdu. Bu plan, modelin genel bir bakış açısına sahip olmasını sağlarken her katmandaki grafik kartları arasındaki veri iletişim maliyetini yalnızca bir kez düşürür. Eğitim tarafı ise DeepGEMM ile birleşerek DeepSeek V3 tarafından önerilen blok ölçeklendirmeli FP8 eğitimini uygular. Bu sayede eğitim ve çıkarım tarafları aynı hassasiyeti ve hesaplama çekirdeğini kullanır ve hassasiyet sapmalarından kaynaklanan eğitim çökmeleri temelden ortadan kaldırılır.
