Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

MiniMax M3 Bağımsız Değerlendirmesi: DeepSWE Geçiş Oranı %13,3 ile Kimi ve GLM'nin Gerisinde Kaldı

动察 Beating tarafından yapılan izlemeye göre, bağımsız geliştirici @bleysg, MiniMax M3 kodlama modelinin DeepSWE uzun vadeli yazılım mühendisliği kıyaslamasındaki bağımsız gerçek dünya test sonuçlarını yayınladı. 113 gerçek açık kaynaklı özellik geliştirme görevini içeren testte, model 90 dakikalık standart süre içinde yalnızca %13,3 (15/113) katı standart geçiş oranı elde etti; bu, daha önce SWE-bench Pro kıyaslamasında resmi olarak açıklanan %59,0'lık değerlendirme puanından oldukça uzak. Yayınlanan DeepSWE sıralamasında M3'ün performansı, yerel ana akım modeller olan Kimi-k2.6 (%24) ve GLM-5.1 (%18) ile karşılaştırıldığında geride kalırken, Google'ın Gemini 3.1 Pro (%10) ve DeepSeek V4 Pro (%8) modellerinin önünde yer aldı.

Spesifik olarak, modelin JavaScript görevlerindeki geçiş oranı %40,0 (2/5), TypeScript'te %17,1 (6/35), Go'da %11,8 (4/34), Python'da %8,8 (3/34) olurken, 5 Rust görevinin tamamı başarısız oldu. Değerlendirme verileri, tam olarak çözülmemiş görevler arasında, 35 görevin gizli test geçiş oranının %90'ın üzerinde olduğunu ve "neredeyse geçti" olarak sınıflandırıldığını gösteriyor. Ayrıca, 113 görevin tamamında yalnızca 8 kez mevcut kodu bozma nedeniyle başarısızlık yaşandı; bu da modelin muhafazakar yamalar üretme eğiliminde olduğunu ve regresyon hatalarına yol açma olasılığının düşük olduğunu gösteriyor.

Ancak, iyi kod regresyon önleme performansına kıyasla, M3'ün çok yüksek çalıştırma maliyeti belirgin bir zayıflık olarak öne çıkıyor. DeepSWE kıyaslaması altında, modelin tek bir görevi çözmek için medyan çalıştırma adım sayısı 325 adıma, medyan çıktı Token sayısı 80.000'e ve medyan tek görev ortalama maliyeti 7,48 dolara ulaştı. Yüksek kaynak tüketimi, M3'ün ana akım öncü modellere kıyasla hesaplama verimliliğinde hala büyük bir iyileştirme potansiyeli olduğunu gösteriyor. Test raporu, zaman sınırlamalarının gevşetilmesi durumunda modelin genişletilmiş süre geçiş oranının %16,8'e (19/113) yükselebileceğini ve 90 dakikayı aşan toplam 4 ek çok dosyalı karmaşık görevin çözülebileceğini belirtiyor.

举报 Düzeltme/Rapor
İlgiliÖnerilen
Paranın azlığı, kartın azlığı, insanın azlığı, aksine mükemmeliyetçi mühendislik yeteneğini ve mimari yeniliği ortaya çıkardı.
Markasız, tanıtıma dayanmayan, geliştiricileri 8 gün içinde oy kullanmaya teşvik eden bir etkinlik.
Goldman Sachs, MiniMax'in yeni ürünleri ve maliyet avantajlarıyla değerlemesini toparlayacağına inanıyor.
NVIDIA'nın Çin'deki Büyük Model Eğitimi Korumalığı, "Zorunlu"dan "İsteğe Bağlı"ya İndirgendi.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla