动察 Beating tarafından yapılan izlemeye göre, Kaliforniya Üniversitesi, Berkeley RDI öncülüğünde ve yüzlerce sektör uzmanının katılımıyla, yapay zeka ajanlarının gerçek dijital profesyonel işleri tamamlama yeteneğini değerlendirmek için yeni bir AI ajan değerlendirme standardı olan Agents' Last Exam (ALE) tanıtıldı. ALE, 55 dijital profesyonel alt alanı kapsamakta olup, insan uzmanların gerçek projelerinden elde edilen 1500'den fazla doğrulama görevini içermekte ve GUI ile CLI etkileşim ortamlarında sonuç doğrulamasını desteklemektedir.
İlk testler, Fable 5, GPT-5.5 ve Composer 2.5 gibi öncü sistemleri kapsadı. En son resmi web sitesi karşılaştırmasına göre, sürekli akıl yürütme ve derin uzmanlık gerektiren en zor görevlerde, test edilen tüm ajanların başarı oranı %0 olarak gerçekleşti. Bu hafta yeni piyasaya sürülen Fable 5 de sıfır puan aldı. Bunun temel nedeni, değerlendirmenin güvenlik politikalarını tetiklemesi ve Fable 5'in görevlerinin yaklaşık %35'inin eski Opus 4.8 sürümüne geri döndürülmesiydi; bu da genel performansın diğer listelere kıyasla çok daha düşük olmasına yol açtı. Tek görev API maliyeti açısından, Fable 5 yaklaşık 15,70 dolar iken, GPT-5.5 için 3,80 dolar ve Composer 2.5 için 1,33 dolar olarak gerçekleşti; aynı görevdeki maliyet 4 ila 12 kat daha yüksekti. Testler ayrıca, ajanların en yaygın başarısızlık nedeninin, sonuçları fiilen doğrulamadan, hatta dosyaları atlayarak veya verileri yanlış hesaplayarak erken başarı ilan etmek olduğunu ortaya koydu.
Komut satırı ajanları için, değerlendirme ekibi eş zamanlı olarak alt küme ALE-CLI'yı yayınladı. Mevcut Terminal-Bench ve SWE-bench-Pro ile karşılaştırıldığında, ALE-CLI 40 alt alanı kapsamakta olup, tek bir görev için insanların ortalama süresi saatler hatta haftalar sürmektedir. Komut satırı değerlendirmesinde, en iyi performans gösteren ajanın başarı oranı yalnızca %25,2 oldu. Değerlendirme ekibi, kullanışlı ajanların çağının geldiğini, ancak gerçekten insanların yerini alacak seviyeye ulaşmanın hâlâ uzun bir yol olduğunu belirtti.
