Beating izleme raporuna göre, değerlendirme kuruluşu Artificial Analysis, büyük modellerin akıllı ajanları için özel olarak tasarlanmış ilk uzun dönemli bilgi çalışması değerlendirme standardı olan AA-Briefcase'i piyasaya sürdü. Değerlendirme, veri bilimi, ürün yönetimi, bankacılık operasyonları ve ağır sanayi stratejisi olmak üzere dört senaryoyu kapsıyor. Google, McKinsey ve Boston Consulting Group'tan sektör uzmanları tarafından geliştirilen bu standart, toplam 91 görevden oluşuyor ve gerçek, karmaşık iş projelerini simüle etmeyi amaçlıyor.
Standart, objektif sorular, analiz kalitesi ve düzen sunumu olmak üzere üç boyutta ikili karşılaştırma ve referans değerlendirmesi yapıyor. Sonuçlar, Anthropic bünyesindeki Claude Fable 5'in en yüksek genel puan olan AA-Briefcase Elo'yu aldığını, Claude Opus 4.8 (max) ve GLM-5.2 (max)'ın ise sırasıyla ikinci ve üçüncü sırada yer aldığını gösteriyor. Claude Fable 5 gibi güçlü bir model bile, katı tek görev tamamlama standardı altında yalnızca %3 mükemmellik oranına ulaşabildi ve 91 görevden 31'inde hiçbir model %50'nin üzerinde puan alamadı.
Açık kaynak modeller arasında, Zhipu AI'nın GLM-5.2 (max) modeli dikkat çekici bir performans sergiledi. Genel puanı Claude Opus 4.8 (max)'tan yalnızca 90 puan düşük olmasına rağmen, çalıştırma maliyeti Claude Opus 4.8 (max)'ın %25'inden daha az. Çalıştırma maliyetleri modeller arasında büyük farklılıklar gösteriyor; DeepSeek V4 Flash'ın tek görev maliyeti yalnızca 0,04 dolar iken, en pahalı model olan Claude Fable 5'in maliyeti 31 doları aşıyor. Analizler, görsel inceleme yeteneğinin teslimat çıktılarının düzen kalitesini artırmada kritik olduğunu ve düzen puanlamasında lider olan Claude Fable 5 ile Claude Opus 4.8 (max)'ın her görevde sırasıyla ortalama 21 ve 12 kez görüntü inceleme aracını kullandığını gösteriyor.
