动察 Beating tarafından yapılan takibe göre, MiniMax Geliştirici İlişkileri Sorumlusu Ryan Lee, NVIDIA Blackwell (SM100) GPU'larına yönelik yüksek performanslı dikkat kütüphanesi MiniMax Sparse Attention'ın (MSA) resmi olarak açık kaynak haline getirildiğini ve MIT lisansı ile yayımlandığını duyurdu. Ryan Lee ayrıca MiniMax-M3 ağırlıklarının bu Cuma günü yayımlanmasının beklendiğini belirtti.
MSA, MiniMax-M3'ün milyon seviyesindeki bağlam çıkarımında kullanılmış olup, her GQA grubunda en alakalı KV Bloklarını filtreleyerek yalnızca seçilen bloklar üzerinde dikkat hesaplaması gerçekleştirir. Makaleye göre, 1 milyon Token bağlamında, aynı yapılandırmadaki Dense GQA'ya kıyasla MSA, dikkat hesaplama miktarını 28,4 kat azaltmakta ve H800 GPU'da 14,2 kat ön doldurma hızlanması ile 7,6 kat kod çözme hızlanması sağlamaktadır.
Açık kaynak sürümü, aynı Python paketinde C++ JIT ve CuTe-DSL olmak üzere iki farklı uygulamayı entegre ederken, Dense FlashAttention ve Sparse Top-k Attention Kernel sunmakta ve BF16, FP8, NVFP4 ile FP4 gibi çeşitli hassasiyet formatlarını desteklemektedir. Şu anda esas olarak NVIDIA Blackwell (SM100) GPU'larına yönelik dağıtım için optimize edilmiştir.
