Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

AA-Briefcase Yayını: Claude Fable5 Zirvede, GLM-5.2 İlk Üçe Girdi

Beating izleme raporuna göre, değerlendirme kuruluşu Artificial Analysis, büyük modellerin akıllı ajanları için özel olarak tasarlanmış ilk uzun dönemli bilgi çalışması değerlendirme standardı olan AA-Briefcase'i piyasaya sürdü. Değerlendirme, veri bilimi, ürün yönetimi, bankacılık operasyonları ve ağır sanayi stratejisi olmak üzere dört senaryoyu kapsıyor. Google, McKinsey ve Boston Consulting Group'tan sektör uzmanları tarafından geliştirilen bu standart, toplam 91 görevden oluşuyor ve gerçek, karmaşık iş projelerini simüle etmeyi amaçlıyor.

Standart, objektif sorular, analiz kalitesi ve düzen sunumu olmak üzere üç boyutta ikili karşılaştırma ve referans değerlendirmesi yapıyor. Sonuçlar, Anthropic bünyesindeki Claude Fable 5'in en yüksek genel puan olan AA-Briefcase Elo'yu aldığını, Claude Opus 4.8 (max) ve GLM-5.2 (max)'ın ise sırasıyla ikinci ve üçüncü sırada yer aldığını gösteriyor. Claude Fable 5 gibi güçlü bir model bile, katı tek görev tamamlama standardı altında yalnızca %3 mükemmellik oranına ulaşabildi ve 91 görevden 31'inde hiçbir model %50'nin üzerinde puan alamadı.

Açık kaynak modeller arasında, Zhipu AI'nın GLM-5.2 (max) modeli dikkat çekici bir performans sergiledi. Genel puanı Claude Opus 4.8 (max)'tan yalnızca 90 puan düşük olmasına rağmen, çalıştırma maliyeti Claude Opus 4.8 (max)'ın %25'inden daha az. Çalıştırma maliyetleri modeller arasında büyük farklılıklar gösteriyor; DeepSeek V4 Flash'ın tek görev maliyeti yalnızca 0,04 dolar iken, en pahalı model olan Claude Fable 5'in maliyeti 31 doları aşıyor. Analizler, görsel inceleme yeteneğinin teslimat çıktılarının düzen kalitesini artırmada kritik olduğunu ve düzen puanlamasında lider olan Claude Fable 5 ile Claude Opus 4.8 (max)'ın her görevde sırasıyla ortalama 21 ve 12 kez görüntü inceleme aracını kullandığını gösteriyor.

Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla