MiniMax M3.1 Flash sıralama manipülasyonu tartışmasına girdi: eski sorularda neredeyse tam puan, yeni sorularda neredeyse sıfır puan

动察 Beating AI hızlı haber: Büyük model değerlendirme blogeri "猫老板", MiniMax M3.1 Flash'ı test ederken modelin eski sorularda neredeyse tam puan aldığını, ancak yeni sorulara geçildiğinde neredeyse sıfır puan aldığını keşfetti. Model ortalama olarak her soru için on binlerce Token tüketiyor, ancak bazı zor soruları yalnızca yaklaşık 10 bin Token kullanarak doğru yanıtlayabiliyor. Bu olağandışı performans, modelin bazı soruların yanıtlarını önceden ezberlemiş olabileceği şüphesini doğuruyor.

猫老板 uzun süredir "致知" büyük model sıralama tablosunu yönetiyor ve kamuya açık olmayan özel bir soru bankası kullanarak esas olarak mantık, matematik ve programlama yeteneklerini test ediyor. Soru bankası genellikle 28 soru ve 270 test senaryosu içinde tutuluyor, her ay bazı sorular güncelleniyor, her soru 3 kez test ediliyor ve aynı zamanda en yüksek puan ile medyan puan istatistikleri tutuluyor. Bu kez M3.1 Flash'ın medyan puanı 51,76'ya ulaşarak önceki nesil M3'ün 23,86'sının iki katından fazlasına çıktı ve en yeni DeepSeek V4.1 Flash 1017'nin 56,03'üne yaklaştı.

Bazı geliştiriciler, modelin eski sorulara özel olarak eğitilmiş olabileceğini, ancak soru çözme yöntemini gerçekten öğrenmediğini düşünüyor. Değerlendirme puanlarını artırmak için modeli özel olarak optimize etme uygulaması Benchmaxxing olarak adlandırılıyor.