Yapay Zeka Değerlendirmesinde Büyük Değişim! Artificial Analysis, Sektör Yetenek Endeksini Tanıttı: Claude Fable 5 Zirvede, Açık Kaynak GLM-5.2 Kapalı Kaynak Sınırına Yaklaşıyor

动察 Beating tarafından yapılan izlemeye göre, geleneksel AI model değerlendirmeleri genellikle genel akademik veri kümelerine dayanmakta, bu da testlerde yüksek puanlar alınmasına rağmen işletmelerin gerçek uygulamalarında sapmalara yol açmaktadır. Değerlendirme kuruluşu Artificial Analysis, mevcut ajan ve programlama olmak üzere iki genel beceri endeksine ek olarak, altı sektör endeksi oluşturarak gerçek iş performansını değerlendirmeye başlamıştır (finans, hukuk, sağlık, operasyon, mühendislik ve ekonomi alanlarını kapsamaktadır).

Genel beceri endekslerinden farklı olarak, sektör endeksleri O*NET iş aktivitesi sınıflandırmasına dayanarak, gerçek iş rollerindeki görev dağılım sıklığını simüle eden özelleştirilmiş ağırlıklandırma kullanır. Bu endeksler, büyük modellerin temel yetenek testlerini (HLE muhakeme, LCR uzun metin işleme, GDPval ajan çalışması gibi) her sektörün uzmanlık bilgi tabanıyla (AA-Omniscience) birleştirir. İlk gerçek testte, kapalı kaynak model Claude Fable 5, sekiz endeksin tamamında birinci olurken, açık kaynaklı GLM-5.2, altı sektör endeksinin beşinde birinciliği elde etmiş ve mühendislik endeksinde 53 puan alarak Claude Sonnet 5'in 55 puanına yaklaşmıştır.

Değerlendirme ayrıca büyük bir verimlilik uçurumunu ortaya koymaktadır: Operasyon endeksinde, Claude Fable 5'in tek bir görev maliyeti (3,48 dolar), açık kaynaklı DeepSeek V4 Pro'nun (0,03 dolar) yüz katından fazladır; hukuk endeksinde ise Gemini 3.1 Pro önizleme sürümü, Claude Fable 5'ten neredeyse 7 kat daha hızlı olup yalnızca 11 puan geride kalmıştır.

Görev senaryolarına göre verimlilik ve maliyet-performans oranının ağırlıklı olarak dengelenmesi, dikey alanlarda AI model seçiminde yeni bir ölçüt haline gelmektedir.