动察 Beating tarafından yapılan izlemeye göre, model değerlendirme kuruluşu Artificial Analysis, API doğruluk sıralamasını yayımladı. Bu sıralama, aynı açık kaynak modeli farklı hizmet sağlayıcılara taşıdığınızda ne kadar yetenek korunduğunu test ediyor. İlk turda GLM-5.2, gpt-oss-120b ve DeepSeek V4 Pro test edildi ve toplam 44 API uç noktası kapsandı.
Hizmet sağlayıcılar arasında AWS, Microsoft Azure, Google Vertex, Cloudflare ve ayrıca Fireworks, DeepInfra, CoreWeave, SiliconFlow gibi AI çıkarım platformları yer alıyor. Artificial Analysis, resmi modelleri kendi başına dağıtarak puanı %100 olarak kaydediyor ve ardından aynı sorularla her API'yi test ediyor.
Sonuçlar, GLM-5.2'nin en düşük uç noktasının yalnızca %52 olduğunu ve neredeyse yarıya düştüğünü gösteriyor. gpt-oss-120b puanları %70 ile %101 arasında değişiyor. DeepSeek V4 Pro en istikrarlı olanı; 9 hizmet sağlayıcının tümü %97 ile %107 arasında puan alırken, resmi API en yüksek puanı elde etti.
Farklılıklar esas olarak niceleme, çıktı uzunluğu, çıkarım yapılandırması ve araç çağrısı işlemeden kaynaklanıyor. Aynı model adı altında gerçek yetenek tamamen farklı olabilir; API seçerken yalnızca fiyat ve hıza bakmak yeterli değildir.
