Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Aletler ne kadar iyi olursa olsun, insan kalbini tahmin edemezsiniz. Meituan, yeni bir akıllı ajan standardı olan VitaBench 2.0'ı yayınladı.

Beating tarafından yapılan izlemeye göre, Meituan LongCat ekibi, Singapur Ulusal Üniversitesi, Çin Bilim ve Teknoloji Üniversitesi, Pekin Posta ve Telekomünikasyon Üniversitesi ve Zhejiang Üniversitesi ile iş birliği yaparak akıllı ajan değerlendirme kriteri VitaBench 2.0'ı yayınladı. Değerlendirme sistemi, büyük dil modellerinin testini tek seferlik görevlerden uzun vadeli çok oturumlu yaşam hizmetlerine genişleterek, ajanların kişiselleştirilmiş modelleme ve aktif etkileşimdeki performansını değerlendiriyor.

Değerlendirme, 56 kullanıcı profili, 2000'den fazla dinamik tercih etiketi ve yemek siparişi, mağaza içi tüketim ve çevrimiçi seyahat gibi alanlarda 819 hizmet talebini içeren uzun döngülü insan-bilgisayar etkileşimini simüle ediyor. Testler, araç çağırma hata oranlarının önemli ölçüde azalmasıyla birlikte, kullanıcı tercihlerini yakalama ve uygulamanın, ajanların gerçek dünyaya entegrasyonunu sınırlayan temel darboğaz haline geldiğini ortaya koydu.

Birçok son teknoloji büyük dil modelinin değerlendirmesinde, modellerin uzun vadeli kişiselleştirilmiş hizmetlerdeki eksiklikleri açıkça ortaya çıktı. Tüm geçmişi okuyabilen en ideal tam bağlam modunda bile, en iyi performans gösteren Claude-Opus-4.6'nın dört bağımsız çalıştırmanın ortalama performansı (Avg@4) yalnızca 0,503 iken, düşünmeyen modeller arasında en güçlü olan DeepSeek-V4-Pro yalnızca 0,456 puan aldı.

Çoğu model, harici bellek modülleri ekledikten sonra tam bağlam taban çizgisini istikrarlı bir şekilde geçemedi. Ajanların kendi kendini kontrol eden belleği, güncellemeler sırasında sıklıkla bilgi kaybederken, geri alma destekli oluşturma (RAG) ise yüzeysel olarak benzer gürültüden kolayca etkileniyor. Aynı zamanda, düşünme modunun etkinleştirilmesi, kişiselleştirilmiş modellemede sistematik bir avantaj sağlamıyor; bu da gürültü filtreleme ve proaktif sorgulamanın yalnızca mantıksal çıkarımla çözülemeyeceğini gösteriyor.

Test ayrıca, büyük dil modellerinin proaktif sorgulama ve tercih uygulamasındaki temel zayıflıklarını da ortaya çıkardı. Bilgi yetersiz olduğunda, modeller sıklıkla körü körüne tahmin yapıp karar vermeye çalışarak, Claude ajanının aktif etkileşim görevlerindeki performansının 46,0'dan 27,4'e, DeepSeek'in 44,1'den 27,8'e ve GLM'nin 36,4'ten 19,3'e düşmesine neden oldu. Belleğe en doğru standart tercih verileri doğrudan girildiğinde bile, DeepSeek ve Claude yalnızca 52,7 ve 51,2 puan aldı; bu da büyük dil modellerinin gerçek karar alma süreçlerinde, kullanıcı tercihlerini makul bir şekilde sıralama, entegre etme ve uygulamanın, tercih çıkarma işleminin kendisinden çok daha zor olduğunu gösteriyor.

Hata nedenlerinin analizi, büyük dil modellerinin yetenekleri geliştikçe, araç kullanımıyla ilgili hataların önemli ölçüde azaldığını, buna karşılık tercih anlayışındaki sapmalardan kaynaklanan hataların baskın hale geldiğini gösteriyor. Ajanlar için gelecekteki temel engel, artık yalnızca araç çağırma değil, kullanıcının söylenmeyenlerini gerçekten anlamak ve hatırlamak olacak.

İlgiliÖnerilen
Meituan grubu, Shunwei Capital ve Liang Wenfeng’in bağlı kuruluşları kayda değer kazançlar elde etti; DJI ise erken dönemde yatırımı tamamlayamadığı için büyük bir getiriyi kaçırdı.
IPO öncesi gece, teknoloji yeni zengini Wang Xingxing, Unitree Technology'nin piyasa değerini nasıl 17.900 kat artırdı?
Hong Kong borsa tarihinin en hızlı servet yaratma dalgası
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla