动察 Beating tarafından yapılan takibe göre, yerli büyük model üreticisi MiniMax, Hugging Face üzerinde doğal çok modlu karma uzman (MoE) modeli MiniMax M3'ün ağırlıklarını açık kaynak olarak yayınladı. MiniMax M3'ün toplam parametre sayısı 428 milyar olup, tek Token'da 23 milyar parametre aktifleşiyor ve doğal olarak 1 milyon tokenlik ultra uzun bağlamı destekliyor. Dağıtım bellek maliyetini düşürmek için geliştirme ekibi eş zamanlı olarak MXFP8 kuantizasyon sürümünü yayınladı ve SGLang, vLLM, Transformers gibi ana akım çıkarım çerçevelerine uyum sağladı.
Çok modlu tasarımda MiniMax M3, eğitim sonrası aşamada çok modlu hizalama yapmak yerine, ön eğitim aşamasında metin, görüntü ve video ortak eğitimini gerçekleştirerek doğal anlamsal füzyon sağlıyor. Çalışma mekanizmasında model, karmaşık mantık ve araç düzenlemesi için Thinking (Düşünme) modu ile düşük gecikmeli diyalog ve kod üretimi için Non-thinking (Düşünmeme) modu olmak üzere iki çıkarım modu sunuyor.
Milyonlarca tokenlik ultra uzun bağlamı destekleyen temel çekirdek, eş zamanlı açık kaynak olarak yayınlanan hafif dikkat çekirdek kütüphanesi MiniMax Sparse Attention (MSA)'dır. Resmi verilere göre MSA, Gruplandırılmış Sorgu Dikkati (GQA) bloklu erişim mekanizmasını kullanıyor. 1 milyon tokenlik aşırı uzun bağlam testlerinde, NVIDIA Blackwell (SM100) mimarisi için optimize edilen MSA operatörü, geleneksel tam dikkat mekanizmasına kıyasla 9 kattan fazla ön doldurma hızlanması ve 15 kat kod çözme hızlanması sağlarken, çıkarım maliyetini önemli ölçüde düşürüyor.
