Beating'in izleme raporuna göre, büyük modellerin uzun vadeli yazılım mühendisliği görevlerini çözme yeteneğini değerlendirmeye odaklanan referans platformu DeepSWE, en son güncellemesini yayınlayarak MiniMax kodlama modeli MiniMax M3'ü resmi değerlendirmeye dahil etti. 113 gerçek açık kaynak görevinin değerlendirmesinde MiniMax M3, %20,4'lük bir Pass@1 başarı oranı elde etti. Bu performans, Moonlight'ın Kimi-k2.6'sının (%23,9) gerisinde kalsa da, Xiaomi'nin mimo-v2.5-pro'sunu (%19,5), Zhipu'nun GLM-5.1'ini (%17,5) ve Google Gemini 3.1 Pro (%9,7) ile DeepSeek V4 Pro'yu (%7,5) başarıyla geride bıraktı.
Daha önce (2 Haziran) bağımsız geliştirici @bleysg tarafından yayınlanan bağımsız değerlendirme sonuçlarına kıyasla, MiniMax M3'ün performansı önemli ölçüde iyileşti. Önceki bağımsız testlerde, 90 dakikalık normal zaman sınırı altında M3'ün katı başarı oranı yalnızca %13,3'tü (15/113) ve o dönemde yayınlanan model performanslarında Kimi ve GLM'nin gerisinde kalıyordu. Resmi testteki %20,4'lük başarı oranındaki bu belirgin artış, esas olarak MiniMax'ın 3 Haziran'da dağıttığı büyük çıkarım yükseltmesinden kaynaklanıyor. Bu yükseltme, ara sıra oluşan anormal Token üretme sorununu düzeltti ve uzun bağlam önbellek verimliliğini optimize ederek modelin uzun vadeli programlamadaki kod doğruluğunu belirgin şekilde iyileştirdi ve aynı zamanda önde gelen modellerle arasındaki farkı daralttı. Dikkat çekici bir şekilde, Pass@4'e (4 denemeye izin verilen başarı oranı) bakıldığında, MiniMax M3 %48,7'ye ulaşarak Kimi-k2.6 ile eşitleniyor ve GLM-5.1'in %38,9'unun önemli ölçüde üzerinde yer alıyor.
Ancak, yüksek kaynak ve hesaplama maliyeti hala MiniMax M3'ün zayıf noktası. Resmi referans testinde, M3'ün tek bir görevi çözmek için aracı adım medyanı 311 adıma kadar çıkarken, çıktı Token medyanı 91.000'e ve tek bir görevin ortalama maliyet medyanı 5,04 dolara ulaştı. Buna karşılık, Kimi-k2.6'nın tek bir görevi çözmek için medyan adım sayısı yalnızca 136,5 adım ve maliyet medyanı 2,70 dolar; Xiaomi mimo-v2.5-pro'nun medyan adım sayısı ise yalnızca 114,5 adım ve maliyet medyanı daha da düşük olarak 1,68 dolar. Veriler, M3'ün problem çözme üst sınırı ve başarı oranı açısından iyi bir performans sergilemesine rağmen, hesaplama verimliliği ve çıkarım maliyeti optimizasyonu konusunda diğer yerli ana akım modellere kıyasla hala büyük bir iyileştirme alanı olduğunu gösteriyor.
