Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

MiniMax, Blackwell'e özel dikkat kütüphanesini açık kaynak olarak yayınladı, M3 ağırlıklarının bu Cuma yayınlanması bekleniyor.

动察 Beating tarafından yapılan takibe göre, MiniMax Geliştirici İlişkileri Sorumlusu Ryan Lee, NVIDIA Blackwell (SM100) GPU'larına yönelik yüksek performanslı dikkat kütüphanesi MiniMax Sparse Attention'ın (MSA) resmi olarak açık kaynak haline getirildiğini ve MIT lisansı ile yayımlandığını duyurdu. Ryan Lee ayrıca MiniMax-M3 ağırlıklarının bu Cuma günü yayımlanmasının beklendiğini belirtti.

MSA, MiniMax-M3'ün milyon seviyesindeki bağlam çıkarımında kullanılmış olup, her GQA grubunda en alakalı KV Bloklarını filtreleyerek yalnızca seçilen bloklar üzerinde dikkat hesaplaması gerçekleştirir. Makaleye göre, 1 milyon Token bağlamında, aynı yapılandırmadaki Dense GQA'ya kıyasla MSA, dikkat hesaplama miktarını 28,4 kat azaltmakta ve H800 GPU'da 14,2 kat ön doldurma hızlanması ile 7,6 kat kod çözme hızlanması sağlamaktadır.

Açık kaynak sürümü, aynı Python paketinde C++ JIT ve CuTe-DSL olmak üzere iki farklı uygulamayı entegre ederken, Dense FlashAttention ve Sparse Top-k Attention Kernel sunmakta ve BF16, FP8, NVFP4 ile FP4 gibi çeşitli hassasiyet formatlarını desteklemektedir. Şu anda esas olarak NVIDIA Blackwell (SM100) GPU'larına yönelik dağıtım için optimize edilmiştir.

举报 Düzeltme/Rapor
İlgiliÖnerilen
Paranın azlığı, kartın azlığı, insanın azlığı, aksine mükemmeliyetçi mühendislik yeteneğini ve mimari yeniliği ortaya çıkardı.
Goldman Sachs, MiniMax'in yeni ürünleri ve maliyet avantajlarıyla değerlemesini toparlayacağına inanıyor.
Markasız, tanıtıma dayanmayan, geliştiricileri 8 gün içinde oy kullanmaya teşvik eden bir etkinlik.
NVIDIA'nın Çin'deki Büyük Model Eğitimi Korumalığı, "Zorunlu"dan "İsteğe Bağlı"ya İndirgendi.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla