Meta'nın baş yapay zeka sorumlusu Alexandr Wang, SemiAnalysis'in "liste şişirme" iddialarını çürüttü: eski testler zaten doymuş durumda.

动察 Beating AI hızlı haberi: AI araştırma kuruluşu SemiAnalysis, Gemini 3.8 Flash ve Muse Spark 1.3'ü işaret ederek bunların şu anda en belirgin "benchmaxxed" modellerinden biri olduğunu, yani açık kıyaslamalara aşırı optimize edildiğini söylüyor. İki model, Terminal-Bench 2.1'de sırasıyla %89,4 ve %88,8 puan alarak GPT-6 Astra ve Claude Fable 5.1'e yaklaştı; ancak yeni yayınlanan Terminal-Bench 4.0'da yalnızca %19,1 ve %33,3'e düştü. Astra ve Fable 5.1 ise sırasıyla %57,7 ve %55,8'e sahip.

SemiAnalysis, sorunun açık kıyaslamaların giderek hedefli optimizasyona daha açık hale gelmesinden kaynaklandığından şüpheleniyor. Terminal-Bench 2.1'deki görevler tamamen açık; model üreticileri test sorularını doğrudan eğitimde kullanmasa bile, bu görevlere yüksek benzerlik gösteren pekiştirmeli öğrenme ortamı verilerini satın alabilir. Modeller bu sınavda giderek daha başarılı hale geliyor, ancak yeni görevlere genelleme yapamayabilir. Yine de SemiAnalysis, Google veya Meta'nın bu tür verileri satın aldığına dair doğrudan kanıt sunmadı.

Meta'nın baş AI sorumlusu Alexandr Wang daha sonra bu argümanın "aptalca" olduğunu söyleyerek karşı çıktı. Örnek olarak GPT-5.6 Sol'un da Terminal-Bench 2.1'deki %88,8'den 4.0'daki %37,3'e düştüğünü gösterdi. Açıklaması, 2.1'in doygunluğa ulaştığı ve artık en iyi modelleri etkili şekilde ayırt edemediği, 4.0'ın ise doygunluktan uzak olduğu yönünde. Terminal-Bench 4.0 gerçekten de doygun, açık çözümü olan veya başka sorunlar içeren 8 görevi kaldırdı, 19 soruyu değiştirdi ve zaman, CPU ile bellek gibi kaynak sınırlarını yeniden ayarladı.