Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Ajan İşe Alım Sınavı: Fable 5'in En Zor Görevi Hâlâ Boş, Tek Soru Maliyeti 4 ila 12 Kat Daha Yüksek

动察 Beating tarafından yapılan izlemeye göre, Kaliforniya Üniversitesi, Berkeley RDI öncülüğünde ve yüzlerce sektör uzmanının katılımıyla, yapay zeka ajanlarının gerçek dijital profesyonel işleri tamamlama yeteneğini değerlendirmek için yeni bir AI ajan değerlendirme standardı olan Agents' Last Exam (ALE) tanıtıldı. ALE, 55 dijital profesyonel alt alanı kapsamakta olup, insan uzmanların gerçek projelerinden elde edilen 1500'den fazla doğrulama görevini içermekte ve GUI ile CLI etkileşim ortamlarında sonuç doğrulamasını desteklemektedir.

İlk testler, Fable 5, GPT-5.5 ve Composer 2.5 gibi öncü sistemleri kapsadı. En son resmi web sitesi karşılaştırmasına göre, sürekli akıl yürütme ve derin uzmanlık gerektiren en zor görevlerde, test edilen tüm ajanların başarı oranı %0 olarak gerçekleşti. Bu hafta yeni piyasaya sürülen Fable 5 de sıfır puan aldı. Bunun temel nedeni, değerlendirmenin güvenlik politikalarını tetiklemesi ve Fable 5'in görevlerinin yaklaşık %35'inin eski Opus 4.8 sürümüne geri döndürülmesiydi; bu da genel performansın diğer listelere kıyasla çok daha düşük olmasına yol açtı. Tek görev API maliyeti açısından, Fable 5 yaklaşık 15,70 dolar iken, GPT-5.5 için 3,80 dolar ve Composer 2.5 için 1,33 dolar olarak gerçekleşti; aynı görevdeki maliyet 4 ila 12 kat daha yüksekti. Testler ayrıca, ajanların en yaygın başarısızlık nedeninin, sonuçları fiilen doğrulamadan, hatta dosyaları atlayarak veya verileri yanlış hesaplayarak erken başarı ilan etmek olduğunu ortaya koydu.

Komut satırı ajanları için, değerlendirme ekibi eş zamanlı olarak alt küme ALE-CLI'yı yayınladı. Mevcut Terminal-Bench ve SWE-bench-Pro ile karşılaştırıldığında, ALE-CLI 40 alt alanı kapsamakta olup, tek bir görev için insanların ortalama süresi saatler hatta haftalar sürmektedir. Komut satırı değerlendirmesinde, en iyi performans gösteren ajanın başarı oranı yalnızca %25,2 oldu. Değerlendirme ekibi, kullanışlı ajanların çağının geldiğini, ancak gerçekten insanların yerini alacak seviyeye ulaşmanın hâlâ uzun bir yol olduğunu belirtti.

举报 Düzeltme/Rapor
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla