Beating tarafından yapılan izlemeye göre, Meituan LongCat ekibi, Singapur Ulusal Üniversitesi, Çin Bilim ve Teknoloji Üniversitesi, Pekin Posta ve Telekomünikasyon Üniversitesi ve Zhejiang Üniversitesi ile iş birliği yaparak akıllı ajan değerlendirme kriteri VitaBench 2.0'ı yayınladı. Değerlendirme sistemi, büyük dil modellerinin testini tek seferlik görevlerden uzun vadeli çok oturumlu yaşam hizmetlerine genişleterek, ajanların kişiselleştirilmiş modelleme ve aktif etkileşimdeki performansını değerlendiriyor.
Değerlendirme, 56 kullanıcı profili, 2000'den fazla dinamik tercih etiketi ve yemek siparişi, mağaza içi tüketim ve çevrimiçi seyahat gibi alanlarda 819 hizmet talebini içeren uzun döngülü insan-bilgisayar etkileşimini simüle ediyor. Testler, araç çağırma hata oranlarının önemli ölçüde azalmasıyla birlikte, kullanıcı tercihlerini yakalama ve uygulamanın, ajanların gerçek dünyaya entegrasyonunu sınırlayan temel darboğaz haline geldiğini ortaya koydu.
Birçok son teknoloji büyük dil modelinin değerlendirmesinde, modellerin uzun vadeli kişiselleştirilmiş hizmetlerdeki eksiklikleri açıkça ortaya çıktı. Tüm geçmişi okuyabilen en ideal tam bağlam modunda bile, en iyi performans gösteren Claude-Opus-4.6'nın dört bağımsız çalıştırmanın ortalama performansı (Avg@4) yalnızca 0,503 iken, düşünmeyen modeller arasında en güçlü olan DeepSeek-V4-Pro yalnızca 0,456 puan aldı.
Çoğu model, harici bellek modülleri ekledikten sonra tam bağlam taban çizgisini istikrarlı bir şekilde geçemedi. Ajanların kendi kendini kontrol eden belleği, güncellemeler sırasında sıklıkla bilgi kaybederken, geri alma destekli oluşturma (RAG) ise yüzeysel olarak benzer gürültüden kolayca etkileniyor. Aynı zamanda, düşünme modunun etkinleştirilmesi, kişiselleştirilmiş modellemede sistematik bir avantaj sağlamıyor; bu da gürültü filtreleme ve proaktif sorgulamanın yalnızca mantıksal çıkarımla çözülemeyeceğini gösteriyor.
Test ayrıca, büyük dil modellerinin proaktif sorgulama ve tercih uygulamasındaki temel zayıflıklarını da ortaya çıkardı. Bilgi yetersiz olduğunda, modeller sıklıkla körü körüne tahmin yapıp karar vermeye çalışarak, Claude ajanının aktif etkileşim görevlerindeki performansının 46,0'dan 27,4'e, DeepSeek'in 44,1'den 27,8'e ve GLM'nin 36,4'ten 19,3'e düşmesine neden oldu. Belleğe en doğru standart tercih verileri doğrudan girildiğinde bile, DeepSeek ve Claude yalnızca 52,7 ve 51,2 puan aldı; bu da büyük dil modellerinin gerçek karar alma süreçlerinde, kullanıcı tercihlerini makul bir şekilde sıralama, entegre etme ve uygulamanın, tercih çıkarma işleminin kendisinden çok daha zor olduğunu gösteriyor.
Hata nedenlerinin analizi, büyük dil modellerinin yetenekleri geliştikçe, araç kullanımıyla ilgili hataların önemli ölçüde azaldığını, buna karşılık tercih anlayışındaki sapmalardan kaynaklanan hataların baskın hale geldiğini gösteriyor. Ajanlar için gelecekteki temel engel, artık yalnızca araç çağırma değil, kullanıcının söylenmeyenlerini gerçekten anlamak ve hatırlamak olacak.
