动察 Beating tarafından yapılan izlemeye göre, bağımsız geliştirici @bleysg, MiniMax M3 kodlama modelinin DeepSWE uzun vadeli yazılım mühendisliği kıyaslamasındaki bağımsız gerçek dünya test sonuçlarını yayınladı. 113 gerçek açık kaynaklı özellik geliştirme görevini içeren testte, model 90 dakikalık standart süre içinde yalnızca %13,3 (15/113) katı standart geçiş oranı elde etti; bu, daha önce SWE-bench Pro kıyaslamasında resmi olarak açıklanan %59,0'lık değerlendirme puanından oldukça uzak. Yayınlanan DeepSWE sıralamasında M3'ün performansı, yerel ana akım modeller olan Kimi-k2.6 (%24) ve GLM-5.1 (%18) ile karşılaştırıldığında geride kalırken, Google'ın Gemini 3.1 Pro (%10) ve DeepSeek V4 Pro (%8) modellerinin önünde yer aldı.
Spesifik olarak, modelin JavaScript görevlerindeki geçiş oranı %40,0 (2/5), TypeScript'te %17,1 (6/35), Go'da %11,8 (4/34), Python'da %8,8 (3/34) olurken, 5 Rust görevinin tamamı başarısız oldu. Değerlendirme verileri, tam olarak çözülmemiş görevler arasında, 35 görevin gizli test geçiş oranının %90'ın üzerinde olduğunu ve "neredeyse geçti" olarak sınıflandırıldığını gösteriyor. Ayrıca, 113 görevin tamamında yalnızca 8 kez mevcut kodu bozma nedeniyle başarısızlık yaşandı; bu da modelin muhafazakar yamalar üretme eğiliminde olduğunu ve regresyon hatalarına yol açma olasılığının düşük olduğunu gösteriyor.
Ancak, iyi kod regresyon önleme performansına kıyasla, M3'ün çok yüksek çalıştırma maliyeti belirgin bir zayıflık olarak öne çıkıyor. DeepSWE kıyaslaması altında, modelin tek bir görevi çözmek için medyan çalıştırma adım sayısı 325 adıma, medyan çıktı Token sayısı 80.000'e ve medyan tek görev ortalama maliyeti 7,48 dolara ulaştı. Yüksek kaynak tüketimi, M3'ün ana akım öncü modellere kıyasla hesaplama verimliliğinde hala büyük bir iyileştirme potansiyeli olduğunu gösteriyor. Test raporu, zaman sınırlamalarının gevşetilmesi durumunda modelin genişletilmiş süre geçiş oranının %16,8'e (19/113) yükselebileceğini ve 90 dakikayı aşan toplam 4 ek çok dosyalı karmaşık görevin çözülebileceğini belirtiyor.
